幾種流形學習算法

• 局部線性嵌入（LLE）
• 等距映射（Isomap）
• 拉普拉斯特征映射（Laplacian Eigenmap）

局部線性嵌入（LLE）

前提假設：采樣資料所在的低維流形在局部是線性的，即每個采樣點可以用它的近鄰點線性表示。

求解方法：特征值分解。

LLE算法：

1. 計算每一個點Xi的近鄰點，一般采用K近鄰或者ξ領域。
2. 計算權值Wij，使得把Xi用它的K個近鄰點線性表示的誤差最小，即通過最小化||Xi-WijXj||來求出Wij.
3. 保持權值Wij不變，求Xi在低維空間的象Yi，使得低維重構誤差最小。

多元尺度變換（MDS）

• MDS是一種非監督的維數約簡方法。
• MDS的基本思想：約簡後低維空間中任意兩點間的距離應該與它們在原高維空間中的距離相同。
• MDS的求解：通過适當定義準則函數來展現在低維空間中對高維距離的重建誤差，對準則函數用梯度下降法求解，對于某些特殊的距離可以推導出解析法。

等距映射（Isomap）

基本思想：建立在多元尺度變換（MDS）的基礎上，力求保持資料點的内在幾何性質，即保持兩點間的測地距離。

前提假設：

• 高維資料所在的低維流形與歐氏空間的一個子集是整體等距的。
• 與資料所在的流形等距的歐氏空間的子集是一個凸集。

核心：

估計兩點間的測地距離：

• 離得很近的點間的測地距離用歐氏距離代替。
• 離得較遠的點間的測地距離用最短路徑來逼近。

拉普拉斯特征映射（Laplacian Eigenmap）

基本思想：在高維空間中離得很近的點投影到低維空間中的象也應該離得很近。

求解方法：求解圖拉普拉斯算子的廣義特征值問題。

http://blog.sina.com.cn/s/blog_4fb7d89201000a77.html