理工酷
资源下载
简而言之，激活函数会根据输入信号生成输出。 为了了解什么是激活函数，需要了解神经网络的结构。
这里可以看到隐藏层从输入层获取输入信号。
什么激活函数？
从输入层获得输入信号后，在隐藏层中，我们根据这些输入信号的性质对它们进行合并（合并意味着加权和）。
然后将它们发送给一个函数，该函数就是激活函数。激活函数从这些输入信号生成输出。
因此，激活函数的主要目的是根据输入信号生成输出。
激活函数在隐藏层和输出层上执行，如图片中的箭头所示。
现在来看一下激活函数的类型。
激活函数的类型
激活函数有很多类型，但是我们现在只讨论最流行和使用最多的激活函数。
最流行的激活函数有以下几种：
- 阈值函数
- Sigmoid函数
- 整流函数
- 双曲正切（tan h）
- 线性函数
1.阈值激活函数
阈值函数如下图，
在阈值函数的X轴上，有一个加权和。在Y轴上，值介于0和1之间。阈值函数是一种非常简单的函数，阈值函数的公式是
φ (x)={ 1 if x>=0 and 0 if x<0}
根据阈值函数，如果该值小于0，则阈值函数传递为0。如果该值大于0或等于0，则阈值传递为1。阈值函数是一种非黑即白函数，是非常简单的函数。
2.Sigmoid函数
Sigmoid函数如图:
sigmoid 函数的公式是
φ (x) = 1/ 1+ e-x
在那种情况下，x是加权和的值。这是逻辑回归中使用的函数。
S型函数很平滑，与阈值函数不同，它在曲线上没有任何扭结。 这是一个很好且平稳的渐进过程。
sigmoid函数在最后一层（即输出层）中，尤其是预测概率时很有用。
3.整流函数
整流函数是人工神经网络中最流行的函数之一，即使它在曲线上有一个拐点。 整流函数的公式：
φ (x) =max(x,0)
整流函数一直保持0，然后随着输入值的增加从0开始逐渐增加。
在隐藏层中，主要使用整流函数。
4.双曲正切（tan h）
双曲正切与S形函数非常相似，但双曲正切函数低于0。因此，另一侧的值从0到1，从0到-1。 这对于某些应用程序可能很有用。
5.线性函数
线性函数非常简单，没有任何条件。 线性函数的公式是：
f(x) = a+x
其中a为偏差，x为加权和。 由此函数，我们得到了线性表示（一条直线）。 线性函数的优点是简单。
