理工酷

逻辑回归和朴素贝叶斯都训练线性决策函数\sum _j^{}{w}_j{x}_j的特征权重w_j（如果大于0，则判定为真；如果小于0，则判定为假）。不同之处在于如何根据训练数据拟合权重。 在朴素贝叶斯中（下面简称NB），可以根据每个特征与标签的相关程度分别设置其权重。（权重是不同类别特征的对数似然比。） 相比之下，在逻辑回归中，将所有权重设置在一起，使得线性决策函数对于正类别倾向于较高，而对于负类别倾向于较低。（线性SVM的工作原理相同，只是对“趋向于高/低”的含义进行了调整。） 当特征相关时，NB和逻辑回归之间的区别就显现出来了。假设你有两个特征是有用的，且与标签相关的预测因子，但它们本身是重复的，彼此之间也具有额外的相关性。NB会给它们两个都很大的权重，因此它们的影响是重复计算的。但是逻辑回归将通过降低权重来补偿。 这是一种查看模型的概率假设的方式，也就是说，NB提出了条件独立性假设，当具有相关的/重复性特征时会违反该假设。 NB的一个优点是训练没有优化步骤。你只需为每个特征计算一个计数表，就可以使用它了--它是单通道的，可以在各个方面进行简单的并行处理。 逻辑回归的一个优点是，你可以不熟悉特征工程，可以在不损害整体模型的情况下加入一个特征的多个变体（前提是要适当地进行正则化），但在NB中这可能会出现问题。