理工酷
资源下载
0
- 以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数，这相当于从多个不同的初始点开始搜索，这样就肯能陷入不同的局部极小，从中进行选择有可能获得更接近全局极小的结果
- 使用“模拟退火”技术，模拟退火是在每一步都以一定的概率接受比当前解更差的结果，从而有助于“跳出”局部极小。在每步迭代过程中，接受“次优解”的概率要随着时间的推移而逐渐降低，从而保证算法稳定、
- 使用随机梯度下降。这与标准梯度下降法精确计算梯度不同，随机梯度下降法在计算梯度时候加入了随机因素。于是，即便陷入局部极小点，它计算出的梯度仍可能不为零，这样就有机会跳出局部极小继续进行搜索
- 遗传算法，也经常用于训练神经网络以更好的逼近全局最小。
收藏
