理工酷

简而言之，激活函数会根据输入信号生成输出。 为了了解什么是激活函数，需要了解神经网络的结构。

这里可以看到隐藏层从输入层获取输入信号。

什么激活函数？

从输入层获得输入信号后，在隐藏层中，我们根据这些输入信号的性质对它们进行合并（合并意味着加权和）。

然后将它们发送给一个函数，该函数就是激活函数。激活函数从这些输入信号生成输出。

因此，激活函数的主要目的是根据输入信号生成输出。

激活函数在隐藏层和输出层上执行，如图片中的箭头所示。

现在来看一下激活函数的类型。

激活函数的类型

激活函数有很多类型，但是我们现在只讨论最流行和使用最多的激活函数。

最流行的激活函数有以下几种：

1. 阈值函数
2. Sigmoid函数
3. 整流函数
4. 双曲正切（tan h）
5. 线性函数

1.阈值激活函数

阈值函数如下图，

在阈值函数的X轴上，有一个加权和。在Y轴上，值介于0和1之间。阈值函数是一种非常简单的函数，阈值函数的公式是

φ (x)={ 1 if x>=0 and 0 if x<0}

根据阈值函数，如果该值小于0，则阈值函数传递为0。如果该值大于0或等于0，则阈值传递为1。阈值函数是一种非黑即白函数，是非常简单的函数。

2.Sigmoid函数

Sigmoid函数如图:

sigmoid 函数的公式是

φ (x) = 1/ 1+ e-x

在那种情况下，x是加权和的值。这是逻辑回归中使用的函数。

S型函数很平滑，与阈值函数不同，它在曲线上没有任何扭结。 这是一个很好且平稳的渐进过程。

sigmoid函数在最后一层（即输出层）中，尤其是预测概率时很有用。

3.整流函数

整流函数是人工神经网络中最流行的函数之一，即使它在曲线上有一个拐点。 整流函数的公式：

φ (x) =max(x,0)

整流函数一直保持0，然后随着输入值的增加从0开始逐渐增加。

在隐藏层中，主要使用整流函数。

4.双曲正切（tan h）

双曲正切与S形函数非常相似，但双曲正切函数低于0。因此，另一侧的值从0到1，从0到-1。 这对于某些应用程序可能很有用。

5.线性函数

线性函数非常简单，没有任何条件。 线性函数的公式是：

f(x) = a+x

其中a为偏差，x为加权和。 由此函数，我们得到了线性表示（一条直线）。 线性函数的优点是简单。

希望现在你对激活函数有更好的了解~

参考https://qr.ae/pGRgI5