偏差在神经网络中有什么作用
1 1032
2
该提问暂无详细描述
收藏
2021-01-18 17:31 更新 阿托 •  17069
共 1 个回答
高赞 时间
0

偏差值可以将激活功能向左或向右移动。

看一个简单的例子,考虑以下无偏差的单输入,单输出网络:

网络的输出是通过将输入(x)乘以权重(w0)并将结果传递给某种激活函数(例如S型函数)来计算的。

如下图,是该网络针对w0的各种值计算的函数:

改变权重w0本质上改变了S形曲线的“陡度”,效果很明显,但是如果希望网络在x为2时输出0,该怎么办? 仅仅改变S型曲线的陡度是行不通的,因为想要将整个曲线向右移动。

这正是偏差可以实现的操作,如果我们向该网络添加bais,如下所示:

然后网络的输出变为sig(w0 * x + w1 * 1.0),下面是w1的各种值的网络输出结果:

w1的权重为-5时曲线向右移动,从而得到一个在x为2时输出0的网络。

收藏
2021-01-18 17:51 更新 正直的烤面包 •  4004