Logistic回归为什么是一种线性模型?
0 1847
1
该提问暂无详细描述
收藏
2020-12-31 12:17 更新 🍊小桔子 •  2439
共 1 个回答
高赞 时间
1

简单的回答是:Logistic回归是一个广义线性模型,因为它的结果总是依赖于输入和参数的总和,或者换句话说,输出不能由其参数的乘积(或商等)来决定。

先回顾一下logistic回归的基础知识,可以让接下来的解释变得更加清楚。Logistic回归是一种学习二元分类模型的算法,它给我们提供了一个样本属于类1的概率(反之亦然:类0)。我们的目标函数是最小化所谓的logistic函数Φ(某种sigmoid函数),它如下所示:
img
现在,如果Φ(z)大于0.5(或者:如果z大于0),我们将输入分类为类1(否则分类为类0)。尽管logistic回归产生了一个线性决策面(参见下图中的分类示例),但这个logistic(激活)函数看起来并不是很线性。
img
那么,让我们再深入一点,看看我们用来计算净输入z的方程。
img
净输入函数只是输入特征和相应模型系数w的点积:
img
这里,x_0指的是偏差单元的权重,该权重始终为1(此处我们不必担心这个细节)。数学方程有时有点“抽象”,所以让我们看一个具体的例子。假设我们有一个包含4个特征的样本训练点x(例如,鸢尾花数据集中的萼片长度、萼片宽度、花瓣长度和花瓣宽度):



x=[1,2,3,4]

现在,假设我们的权重向量如下所示:

w=[0.5,0.5,0.5,0.5]

现在来计算z:

z=w^T x=10.5+20.5+30.5+40.5=5

这并不是很重要,但是我们有99.3%的可能性将这个样本归为类1:φ(z=148.41)=1/(1+e-5)=0.993

无论如何,逻辑回归产生线性决策边界的原因是这些项的可加性:我们的结果z取决于参数的可加性,例如:

z=w_1*x_1+w_2*x_2

参数权重之间没有像w_1*x_1*w_2*x_2这样的相互作用,所以我们的模型是非线性的。

安东尼奥·利内罗(Antonio Linero)曾经评论过:统计学家对这个问题的回答是Logistic回归“不是”一个线性模型”。如果响应的平均值是参数的线性函数,统计学家称模型为“线性”的,显然Logistic回归违背了这一点。Logistic回归是一个广义线性模型。尽管它的名字是广义线性模型,但一般不认为是线性模型。它们虽然有线性分量,但由于连接函数引入的非线性,导致模型本身是非线性的。

收藏
2020-12-31 12:50 更新 Lisa •  1800