理工酷

有人已经在可解释性，鲁棒性等方面讨论了决策树与逻辑回归的相对优势。 现在我假设你关心的只是样本预测性能之外的方面。同样，你可能需要指定所需的预测性能：准确性，分类，概率估计。简而言之：在所有条件均等的情况下，决策树的准确性可能会有所提高，而逻辑分析的分类和概率估计可能会更好。 理论上的回答：一般而言，没有一种算法比另一种算法“更好”。由著名的“无免费午餐”定理指出，当对所有可能的问题求平均时，任何两种优化算法都是等效的。 所有这些（理论上的）原因都围绕着偏差方差折衷。但是，也有一些实证研究工作比较了许多数据集上的各种算法并得出了一些结论，即哪种类型的问题倾向于用决策树而不是逻辑回归来解决。我自己在该问题上的看法可以简单地概括为： 如果信噪比低（这是一个“困难”问题），逻辑回归可能会表现最佳。从技术上讲，如果最佳模型的AUC低于0.8，则逻辑处理显然会胜过树的归纳法。 使信噪比很低的原因有很多，这类问题通常是固有的不可预测的（例如股市）数据集，或者它太小而无法“找到信号”。后者是一个有趣的情况，我们观察到：逻辑模型在较小版本的数据集上表现更好，但最终在数据集变得足够大时被决策树所击败。