與PCA降維不同，LDA是有監督的降維，它的基本思想就是利用類标資訊找到子空間S，将資料映射到S中後，不同類别的資料盡量遠離，相同類别的資料盡量接近。
與PCA類似，LDA利用方差作為名額來衡量資料在投影方向上的差異程度。 協方差矩陣是一個矩陣，其每個元素是各個向量元素之間的協方差。而協方差描述了向量之間的相關程度。協方差的公式和方差十分相近，甚至可以說方差是協方差的一種特例。是以協方差不僅是反映了變量之間的相關性，同樣反映了多元樣本分布的離散程度(一維樣本使用方差)，協方差越大（對于負相關來說是絕對值越大），表示資料的分布越分散。欲使同類樣例的投影點盡可能接近，可以讓同類樣本點的協方差矩陣盡可能小。
類内差異：
對于兩類問題而言：
對于多類問題類内散度矩陣公式：
上式表示第i類樣本的協方差矩陣。是以 Sw就是表示C類樣本協方差矩陣之和。
類間差異：
對于兩類樣本而言：
對于多類問題：