理工酷

损失函数是模型预测的值与实际值之间误差的度量。例如，假设我们希望预测数据点x_i的值y_i。设𝑓𝜃（x_i）用参数𝜃表示点x_i的某个任意模型的预测或输出。损失函数之一可能是： $$\sum _{i=1}^n(y_i-f_{\theta }(x_i){)}^2$$ 此函数称为L2损失。训练我们上面提到的假设模型就是找到使这个总和最小化的𝜃过程。 ReLU是一种人工神经网络中常用的激励函数。一个简单的示例是𝑚𝑎𝑥(0,x_i)，如果输入x_i为负，则输出0；如果输入x_i为正，则输出x_i，这种操作称为单侧抑制。对于使用特定神经结构的特定问题，选择哪种函数是最好的，这一点仍在讨论中。然而，这些表示对于使高维数据线性可分离是必不可少的，这是神经网络的众多用途之一。