我注意到在训练期间经常发生这种情况。 通常，它似乎是通过权重引入内部或或卷积层中的。 这是因为梯度爆炸吗？还是因为权重初始化？还是可能是由于输入数据的性质引起的？ 有什么方法可以解决这个问题？

我在使用TensorFlow实现的许多神经网络代码中发现，正则化项通常是通过在损失值上手动添加一个附加项来实现的。 我的问题是：1.是否有比手动进行更简单或推荐的正规化方法 2.我也发现get_variable有一个regularizer。应该如何使用？根据我的观察，如果我们向其传递正则化（例如tf.contrib.layers.l2_regularizer，表示正则化项的张量将被计算并添加到名为tf.GraphKeys.REGULARIZATOIN_LOSSES的图集中，该集合是否会被TensorFlow自动使用（例如，优化器在训练时使用）？还是我自己使用该集合？

我正在尝试通过网格搜索优化KMeans聚类中的聚类数量，因此我不需要交叉验证。但在fit（）方法下，它有一个用于非监督学习的选项（例如，将None用于非监督学习）。如果想进行无监督学习，则需要在没有交叉验证的情况下进行学习，而且似乎没有摆脱交叉验证的选择。

我有一个具有两层的神经网络的示例。第一层有两个参数，并有一个输出。第二个参数应接受一个参数作为第一层的结果，并附加一个参数。它看起来应该像这样: 因此，我创建了一个具有两层的模型，并尝试将它们合并，但是它返回一个错误： 在result.add(merged)行上： 模型：

我尝试了解LSTM以及如何使用Keras构建它们。我发现，原则上有4种模式可以运行RNN（图中的4种正确模式） 我想知道，在Keras中，每个代码的简约代码片段会是什么样子。 像这样： 对于这4个模式中的每一个，都需要解释。

我试图了解该Flatten功能在Keras中的作用。 下面是我的代码，它是一个简单的两层网络。它接收（3，2）的二维数据，并输出（1，4）的一维数据： 输出y为（1、4）的向量。但是，如果我删除该Flatten行，则会输出（1、3、4）的y。 根据我对神经网络的了解，该model.add(Dense(16, input_shape=(3, 2)))函数正在创建一个具有16个节点的隐藏的全连接层。每一个节点都连接到3x2输入元素中的每个值。因此，该第一层的输出处的16个节点已经“平坦”。因此，第一层的输出应为（1、16）。然后，第二层将此作为输入，并输出形状为（1、4）的数据。 因此，如果第一层的输出已经“平坦”并且为（1，16），为什么我需要使用Flatten行？

如何在PyTorch中的网络中初始化权重和偏差（例如，使用He或Xavier初始化）？

是否有经验法则来确定何时使用遗传算法而不是神经网络来解决问题？ 我知道在某些情况下可以将两种方法混合使用，但是我正在寻找这两种方法之间的进一步比较。

在神经网络的输出层中，通常使用softmax函数来近似概率分布 由于指数的原因，计算起来很耗时。为什么不简单地执行Z变换以使所有输出均为正，然后通过将所有输出除以所有输出之和来进行归一化？