理工酷

好问题！人们总是痴迷于最好的模型，最好的算法等。

让我们从机器学习中最基本的问题-线性回归-开始，看看我们是否能找到数据集$${\left\{({\mathbf{x}}_p,y_p)\right\}}_{p=1}^P$$的“最坏”线性回归器。

寻找最佳线性回归器通常被转换为以下优化问题，寻求具有最小二乘误差的线性模型。

$${\mathrm{minimize}}_{w_0,\mathbf{w}}\sum _p{(w_0+{\mathbf{x}}_p^T\mathbf{w}-y_p)}^2$$如果我们试图最大化它，而不是最小化最小二乘误差，会发生什么？ $$\underset{w_0,\mathbf{w}}{\mathrm{maximize}}\sum _p{(w_0+{\mathbf{x}}_p^T\mathbf{w}-y_p)}^2$$

你可能会很快注意到上面的最小二乘目标没有最大值：通过选择足够大的权重，你可以使目标尽可能大。 但这就是结局吗？还不是！

还记得正规化吗？

最小二乘回归有时是通过在目标中添加 $$\lambda \parallel \mathrm{w}{\parallel }_2^2$$ 来正规化的，以惩罚大的权重。我们可以在这里使用同样的策略，有一个区别：现在我们应该从我们试图最大化的目标函数中减去正则化项，给出

$$\underset{w_0,\mathbf{w}}{\mathrm{maximize}}\sum _p{(w_0+{\mathbf{x}}_p^T\mathbf{w}-y_p)}^2-\lambda \parallel \mathbf{w}{\parallel }_2^2$$ 还有一个问题：在正则线性回归中，偏置权重w0w0通常不包括在正则化中。这将在这里引起一个问题，因为我们仍然可以通过发送w0w0到无穷大来使目标任意大 所以让我们也通过规范w0w0来解决这个问题。

$$\underset{w_0,\mathbf{w}}{\mathrm{maximize}}\sum _p{(w_0+{\mathbf{x}}_p^T\mathbf{w}-y_p)}^2-\lambda (w_0^2+\parallel \mathbf{w}{\parallel }_2^2)$$

我们现在有一个最大化问题，我们可以解决，例如，通过采取梯度上升步骤，或以封闭形式通过设置梯度为零。

好了，数学够了！ 让我们看到我们的算法在行动的玩具回归数据集，有三个值的λλ（从左到右λ=1,10，100λλ=1,10，100）

可以看出我们的算法有多烂。