理工酷

Logistic回归假设预测值不足以确定响应变量，而是确定一个概率，即它们线性组合的Logistic函数。如果有很多噪声，logistic回归（通常与最大似然法相吻合）是一种很好的方法。 另一方面，存在这样的问题：你有数千个维度，预测因子几乎可以确定响应，但是以某种难以明确编程的方式进行。 图像识别就是一个例子。如果你有一个100乘100像素的灰度图像，则你已经有10000个维度了。通过各种基变换（内核技巧），将能够获得数据的线性分隔符。 当存在分离超平面时，非正则logistic回归技术不能很好地工作（事实上，拟合系数会发散），因为任何分离平面都可以实现最大似然，并且不能保证得到最佳的。你得到的是一个在边际附近预测能力很差的模型。 支持向量机可以得到最好的分离超平面，而且在高维空间中效率很高。它们类似于正则化，试图找到分离数据的最低标准向量，但有一个有利于选择一个好的超平面的边界条件。 硬边界支持向量机可以找到一个超平面来分离所有的数据（如果有），如果没有则失败；软边界支持向量机（通常首选）在数据中有噪声时做得更好。 此外，支持向量机只考虑边缘附近的点（支持向量）。Logistic回归考虑了数据集中的所有点。你喜欢哪一种取决于你的问题。 Logistic回归在低维的情况下是很好的，当预测值不足以给出超过概率估计的响应时。支持向量机在维数较高时表现更好，特别是在预测因子确实（或接近确定）决定响应的问题上。