模式識别學習筆記（十六）--非線性分類器

前面的學習中，我們學習了有關線性分類器的相關知識，但是要知道，很多情況下我們并不能保證類别間的分類面是線性的（線性是最簡單的情況），而且許多複雜問題中，可能采用非線性分類器更适合問題的解決；是以接下來開始，繼續學習有關非線性分類器的東西，必要時可以跟前面線性分類器進行一個總體的比較，幫助加深印象。

常用的非線性分類器主要有兩大類：基于判别函數的和非基于判别函數的；

基于設計判别函數的非線性分類器有：

1）分段線性分類器：基于非線性函數可以由多段線性函數來拟合和逼近的思想，如分段線性距離分類器，即多個最小距離分類器的組合，其中所謂的最小距離分類器，就是在先驗機率相等，各維特征獨立且方差相等條件下的最小錯誤率貝葉斯決策，思路很簡單，就是以兩類的均值為中心點，離誰的中心點近就講新樣本給到哪一類；

2）二次判别函數：如正态分布下的貝葉斯決策面，就是二次函數；

3）多層感覺器：這是一種神經網絡（NN）的思想，由多個感覺器的組合；

4）SVM：前面已經學習了最優超平面，即線性的SVM，這裡所說的主要是非線性的SVM；

5）核函數法：自然會想到前面學習的Fisher線性判别，沒錯，這裡的核函數法就包括Fisher判别的非線性推廣；但是這裡的核函數法的靈感出現，主要來源于SVM中兩個核心思想：大間隔和核函數，借用這兩個思想，人們對傳統的線性函數做了具體改變，就形成了核函數法，或叫做核方法；

非基于設計判别函數的非線性分類器有：

1）近鄰法：如最近鄰，壓縮近鄰等；

2）決策樹

3）随機森林

4）羅傑斯特回歸，又叫邏輯回歸（Logistic regression）

5）Boosting方法