稀疏保持投影（一種降維方法）+人臉識别

paper分析：sparsity preserving projections with applications to face recognition + PR2010

本文的出發點是一種降維方法~ 

采用的人臉資料集為：Yale，AR,  Extended YaleB

稀疏保持投影（SPP）（1）一種無監督的降維方法；

                                          （2）通過L1規則化目标函數，達到保持資料的稀疏結構關系的目标；

                                            (3）具有旋轉、尺度等不變性；在無标簽的情況下，依然包含自然的分辨資訊；能自動選擇近鄰關系。

類似的降維方法還有：局部保持投影（local preserving projection, LPP）和近鄰保持投影（Neighborhood preserving embedding, NPE).

降維方法可分為有監督的、無監督的和半監督~  其中

有監督的降維方法有：線性判别式分析（Linear discriminant analysis, LDA）; 邊緣Fisher分析（Marginal fisher analysis，MFA）;最大邊緣準則（Maximum margin criterion, MMC）等。

無監督的降維方法有：主成分分析（Principal component analysis, PCA）, 局部保持投影（Locality preserving projections, LPP）等。

半監督的降維方法有：半監督降維（Semi-supervised dimensionality reduction, SSDR）, 半監督判别式分析（Semi-supervised discriminant analysis，SDA）等。

在無監督的降維方法中，PCA應用非常廣泛，但是PCA很難發現資料結構的非線性。盡管核PCA可以處理非線性降維問題，但是不能分析資料的流行結構。而且，如何選擇核函數和最佳核參數也是一個困難的，沒有完全解決的一個問題。

對于非線性降維的另外一種技術便是流形學習，比如：Isomap, LLE, Laplacian Eigenmaps等，用來分析資料的非線性流形結構。但是一些傳統的PCA過程不能繼承。例如：1）如何評估不可見的測試樣本投影，不想PCA那麼自然，是以需要一些特殊的tricks來處理“out of sample”的問題。2）最近的研究顯示，非線性技術在人工資料集上很有效，但是對于實際任務中，并不能超越傳統的PCA技術。3）難于選擇超參數。

一種有效的方法可以克服以上缺陷，是利用線性來近似非線性 降維。例如：LPP就是一種laplacian eigenmaps的線性版本；近鄰保持植入（MPE）和局部線性Eignspace分析是兩種線性的LLE變種; Isometric投影可看為一種線性的Isomap。但是依然存在近鄰size的選擇和超參數選擇的問題。

基于最近稀疏表示的一些進展，此文提出一種降維方法：稀疏保持投影SPP。 它是在流形稀疏表示的架構下，建構資料集的緊鄰權重矩陣。

SPP的幾個特點：

  1）SPP具有與LPP和其它線性降維方法的一些優點。例如它是線性的，是以out of sample的問題随之被解決。除此之外，類似于LPP，權重矩陣可以保持稀疏性。

  2) SPP不需要解決模型參數問題。

  3）由于這種稀疏表示過程，使其保持着資料的局部屬性~

  4）易于擴充到其他有監督的方法和半監督的方法中。

自我觀點：其實這篇文章是在稀疏架構下，應用這種保持投影方法。。。     我粗俗的了解為:稀疏表示+保持投影。

                    但是這篇文章他寫的出發點，非常好，introduction寫的很順，分析很到位，實驗論證也很充分。

                    這些作者應該對這一整套的降維方法非常熟悉，才能有此paper~

此篇文章的構架為：首先分析PCA LPP NPE這三種廣泛應用的線性降維方法。 随之介紹SPP, 并進行對比； 實驗結果展示等。

 一、PCA (主成分分析，Principal component analysis)

         PCA 是尋找一種資料的低維表示，同時盡可能的保持資料的多變性。

二、LPP

三、 NPE

四、SPP

 後面這些實在是因為公式太多，難于編輯，不一一把算法陳述在此了~