理工酷

神经网络必须实现复杂的映射函数，因此它们需要非线性的激活函数，以便引入急需的非线性特性，使它们能够逼近任何函数。没有激活函数的神经元等价于有线性激活函数的神经元。

Φ(𝑥)=𝑥，这样的激活函数没有增加非线性，因此整个网络将等同于一个单一的线性神经元。也就是说，有一个多层线性网络就等于有一个线性节点。

因此，用线性激活函数构建多层网络是没有意义的，最好是由单个节点来完成。更糟糕的是，单个线性节点无法处理不可分离的数据，这意味着无论一个多层线性网络有多大，它都无法解决经典的异或问题或任何其他非线性问题。

激活函数对于压缩神经元的无界线性加权和也很重要。这对于避免大值在处理层次结构的高处积累非常重要。

最后，激活函数是决策函数，理想的决策函数是heaviside阶跃函数，但它是不可微的，因此我们使用了更平滑的版本，如sigmoid函数，可微使它们成为基于梯度的优化算法的理想选择。