理工酷

BP神经网络就是我们常说的反向传播神经网络，反向传播算法使用delta规则或梯度下降在权重空间中寻找误差函数的最小值，使误差函数最小化的权重是解决学习问题的关键。

我们通过一个例子来了解它是如何工作的：

现在有一个带有标签的数据集。

请看下表：

现在，当 W 值为 3 时，模型的输出为：

注意实际输出与期望输出之间的差异：

改变 W 的值，注意 W = 4 时的错误

可以看到，当我们增加 W 的值时，错误也增加了。因此，显然没有必要进一步提高 W 的价值。但是，如果我降低 W 的值会怎样？参考下表：

现在，来看看我们做了什么：

• 我们首先将某个随机值初始化为“ W”，然后向前传播。
• 然后，我们注意到有一些错误。为了减少该错误，我们向后传播并增加了 W 的值。
• 之后，错误增加了。也由此知道无需提高 W 值。
• 因此，再次向后传播，降低了 W 值。
• 现在，可以看到错误减少了。

所以，尝试获取权重值来使误差最小。需要弄清楚是否需要增加或减少重量值。一旦知道了这一点，我们将继续在该方向上更新权重值，直到误差最小为止。可能会达到一个点，在这个点如果进一步更新权重，则错误会增加。此时需要停止运动，这就是最终的权重值。

考虑下图：

我们需要达到“全局最低损失”标准。

这就是反向传播。

来源https://www.edureka.co/blog/backpropagation/