理工酷

机器学习有一个非常著名的结论，它指出一个隐藏层足以近似任何平滑的有界函数（出自论文《Multilayer feedforward networks are universal approximators》）。但是，有几件事要注意：

• 单个隐藏层可能需要任意宽。

• 这并没有说明寻找近似的难易程度。通常，大型网络很难正确训练，并且经常出现过拟合问题（“卷积神经网络”例外，它实际上仅用于视觉问题）。

• 这也没有说明表示的效率。如果使用一层完成某些功能，则需要隐藏单元的指数数量，但是使用更多层则可以更好地扩展。【learn more】

深度神经网络的问题在于它们更难训练。最终将非常小的梯度反向传播到较早的隐藏层，并且学习并没有真正进行到任何地方，尤其是将权重初始化为较小的值时（如果将其初始化为较大的值，则经常会陷入不良的局部最小值）。

Via:https://stackoverflow.com/a/413075/15018571