天天看点

主成分分析(PCA)与线性判别分析(LDA)的区别与联系

LDA用于降维,和PCA有很多相同,也有很多不同的地方,因此值得好好的比较一下两者的降维异同点。

相同点:

1)两者均可以对数据进行降维。

2)两者在降维时均使用了矩阵特征分解的思想。

3)两者都假设数据符合高斯分布。

不同点:

1)LDA是有监督的降维方法,而PCA是无监督的降维方法

2)LDA降维最多降到类别数k-1的维数,而PCA没有这个限制。

3)LDA除了可以用于降维,还可以用于分类。

4)LDA选择分类性能最好的投影方向,而PCA选择样本点投影具有最大方差的方向。

这点可以从下图形象的看出,在某些数据分布下LDA比PCA降维较优。  

主成分分析(PCA)与线性判别分析(LDA)的区别与联系

当然,某些某些数据分布下PCA比LDA降维较优,如下图所示:

主成分分析(PCA)与线性判别分析(LDA)的区别与联系

文章参考来源

https://www.cnblogs.com/pinard/p/6244265.html 线性判别分析LDA原理总结

继续阅读