低維嵌入
上一節讨論是基于一個重要假設：任意測試樣本x附近任意小的距離範圍内總能找到一個訓練樣本，即訓練樣本的采樣密度足夠大，或稱為“密度采樣”。但是，這個假設在現實任務中通常很難滿足。
事實上，在高維情形下出現的資料樣本稀疏、距離計算困難等問題，是所有機器學習方法共同面臨的嚴重障礙，被稱為“維數災難”。而緩解該災難的一個重要途徑是降維，亦稱“維數約簡”，即通過某種數學變換将原始高維屬性空間轉變為一個低維“子空間”，在這個子空間中樣本密度大幅提高，距離計算也變得更為容易。
為什麼能進行降維?因為在很多時候，人們觀測或收集到的資料樣本雖然是高維的，但與學習任務密切相關的也許僅是某個低維分布，即高維空間中的一個低維“嵌入”。
若要求原始空間中樣本之間的距離在低維空間中得以保持，如上襦所示，即得到“多元縮放”（簡稱MDS）這樣一種經典的降維方法。
主成分分析
主成分分析（簡稱PCA）是最常用一種降維方法。
核化線性降維
線性降維方法假設從高維空間到低維空間的函數映射是線性的，然而，在不少現實任務中，可能需要非線性映射才能找到恰當的低維嵌入。下圖給出了一個例子，樣本點從二維空間中的矩形區域采樣後以S形曲面嵌入到三維空間，若直接使用線性降維方法對三維空間觀察到的樣本點進行降維，則将丢失原本的低維結構。為了對“原本采樣的”低維空間與降維後的低維空間加以差別，我們稱前者為“本真”低維空間。
非線性降維的一種常用方法，是基于核技巧對線性降維方法進行“核化”。