机器学习算法的优缺点

• 机器学习算法的优缺点
  • 1. 线性回归 Linear Regression
  • 2. 逻辑回归 Logistic Regression
  • 3. 朴素贝叶斯 Naive Bayes
  • 4. 最近领算法 KNN
  • 5. 决策树 Decision Tree

1. 线性回归 Linear Regression

线性回归是用于回归的，而不像Logistic回归是用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化，当然也可以用Normal Equation直接求得参数的解，结果为1：

ω^=(XTX)−1XTy ω ^ = ( X T X ) − 1 X T y

而在LWLR(局部加权线性回归)中，参数的计算表达式为：

ω^=(XTWX)−1XTWy ω ^ = ( X T W X ) − 1 X T W y

由此可见LWLR与LR不同，LWLR是一个非参数模型，因为每次进行回归计算都要遍历训练样本至少一次。

优点：

实现简单，计算简单；

缺点：

不能拟合非线性数据。

2. 逻辑回归 Logistic Regression

线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以由前面的参数体现，而且每个特征变量可以首先映射到一个函数，然后再参与线性计算。这样就可以表达特征与结果之间的非线性关系。

Logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数 g(z) g ( z ) 将最为假设函数来预测。 g(z) g ( z ) 可以将连续值映射到0和1上。

其损失函数的目的是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重2。

优点：

• 预测结果是界于0和1之间的概率；
• 可以适用于连续性和类别性自变量；
• 容易使用和解释；

缺点：

• 当特征空间很大时，逻辑回归的性能不是很好；
• 容易欠拟合，一般准确度不太高；
• 不能很好地处理大量多类特征或变量；
• 只能处理两分类问题（在此基础上衍生出来的Softmax可以用于多分类），且必须线性可分；
• 预测结果呈“S”型，因此从 log(odds) l o g ( o d d s ) 向概率转化的过程是非线性的，在两端随着 log(odds) l o g ( o d d s ) 值的变化，概率变化很小，边际值太小， slope s l o p e 太小，而中间概率的变化很大，很敏感。 导致很多区间的变量变化对目标概率的影响没有区分度，无法确定阀值；
• 对于非线性特征，需要进行转换；

3. 朴素贝叶斯 Naive Bayes

朴素贝叶斯属于生成式模型（关于生成模型和判别式模型，主要还是在于是否是要求联合分布），非常简单，你只是做了一堆计数。如果注有条件独立性假设（一个比较严格的条件），朴素贝叶斯分类器的收敛速度将快于判别模型，如逻辑回归，所以你只需要较少的训练数据即可。即使NB条件独立假设不成立，NB分类器在实践中仍然表现的很出色。它的主要缺点是它不能学习特征间的相互作用，用mRMR中R来讲，就是特征冗余。引用一个比较经典的例子，比如，虽然你喜欢BradPitt和TomCruise的电影，但是它不能学习出你不喜欢他们在一起演的电影。

优点：

• 朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率；
• 对小规模的数据表现很好，能个处理多分类任务，适合增量式训练；
• 对缺失数据不太敏感，算法也比较简单，常用于文本分类。

缺点：

• 需要计算先验概率；
• 分类决策存在错误率；
• 对输入数据的表达形式很敏感。

4. 最近领算法 KNN

其主要过程为：

1. 计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；
2. 对上面所有的距离值进行排序；
3. 选前 k k 个最小距离的样本；
4. 根据这kk个样本的标签进行投票，得到最后的分类类别；

如何选择一个最佳的 k k 值，这取决于数据。一般情况下，在分类时较大的kk值能够减小噪声的影响。但会使类别之间的界限变得模糊。一个较好的 k k 值可通过各种启发式技术来获取，比如，交叉验证。另外噪声和非相关性特征向量的存在会使kk近邻算法的准确性减小。

近邻算法具有较强的一致性结果。随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的 k k 值，kk近邻保证错误率不会超过贝叶斯理论误差率。

优点：

• 理论成熟，思想简单，既可以用来做分类也可以用来做回归；
• 可用于非线性分类；
• 训练时间复杂度为 O(n) O ( n ) ；
• 对数据没有假设，准确度高，对outlier不敏感；

缺点：

• 计算量大；
• 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；
• 需要大量的内存。

5. 决策树 Decision Tree

易于解释。它可以毫无压力地处理特征间的交互关系并且是非参数化的，因此你不必担心异常值或者数据是否线性可分（举个例子，决策树能轻松处理好类别A在某个特征维度x的末端，类别B在中间，然后类别A又出现在特征维度x前端的情况）。它的缺点之一就是不支持在线学习，于是在新样本到来后，决策树需要全部重建。另一个缺点就是容易出现过拟合，但这也就是诸如随机森林RF（或提升树Boosted Tree）之类的集成方法的切入点。另外，随机森林经常是很多分类问题的赢家（通常比支持向量机好上那么一丁点），它训练快速并且可调，同时你无须担心要像支持向量机那样调一大堆参数，所以在以前都一直很受欢迎。

决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。

优点:

• 计算简单，易于理解，可解释性强；
• 比较适合处理有缺失属性的样本；
• 能够处理不相关的特征；
• 在相对短的时间内能够对大型数据源做出可行且效果良好的结果。

缺点:

• 容易发生过拟合（随机森林可以很大程度上减少过拟合）；
• 忽略了数据之间的相关性；
• 对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征（只要是使用了信息增益，都有这个缺点，如RF）。

1. 常见机器学习算法优缺点大对比 ↩
2. 逻辑回归和SVM的区别是什么？各适用于解决什么问题？ ↩