統計學習方法學習筆記（第七章 支援向量機）

支援向量機是一種二類分類模型，它的基本模型是定義在特征空間上的間隔最大的線性分類器，間隔最大使它有别于感覺機；支援向量機還包括核技巧，這使它稱為實質上的非線性分類器。支援向量機的學習政策就是間隔最大化。可以形式化為一個求解凸二次優化的問題，也等價于正則化的合頁損失函數的最小化問題。支援向量機的學習算法是求解凸二次規劃的最優化問題。

線性可分支援向量機，線性支援向量機假設兩個空間的元素一一對應，并将輸入空間中的輸入映射為特征空間中的特征向量。非線性支援向量機利用一個從輸入空間到特征空間的非線性映射将輸入映射為特征向量。是以，輸入都由輸入空間轉換到特征空間，支援向量機的學習是在特征空間進行的。

感覺機利用誤分類最小的政策，求得分離超平面，不過這時的解有無窮多個。線性可分支援向量機利用間隔最大化求最優分類平面，這時，解是唯一的。

函數間隔　yi*(wxi + b)

超平面關于樣本點的幾何間隔一般是執行個體點到超平面的帶符号的距離，當樣本點被超平面正确分類時就是執行個體點到超平面的距離。

支援向量機學習的基本想法是求解能夠正确劃分訓練資料集并且幾何間隔最大的分離超平面。對線性可分的訓練資料而言，線性可分分離超平面有無窮多個。但是幾何間隔最大的分離超平面是唯一的。這裡的間隔最大化又稱為硬間隔最大化。

間隔最大化的直覺解釋是：對訓練資料集找到幾何間隔最大的超平面意味着以充分大的确信度對訓練資料進行分類。也就是說，不僅将正負執行個體點分開。而且對最難分的執行個體點也有足夠大的确信度将它們分開。這樣的超平面應該對未知的新執行個體有很好的分類預測能力。

線上性可分情況下，訓練資料集的樣本點中與分離超平面距離最近的樣本點的執行個體稱為支援向量。

支援向量的個數一般很少，是以支援向量機由很少的“重要的”訓練樣本确定。

線性可分問題的支援向量機學習方法，對線性不可分訓練資料是不适用的，因為這時上述方法中的不等式限制并不能都成立。這就需要修改硬間隔最大化，使其稱為軟間隔最大化。

合頁損失函數（hinge loss function）

合頁損失函數對學習有更高的要求。

用線性分類方法求解非線性分類問題分為兩步：首先适用一個變換将原空間的資料映射到新空間；然後在新空間裡用線性分類學習方法從訓練資料中學習分類模型。核技巧就屬于這種方法。

如何高效的實作支援向量機學習稱為一個重要的問題，目前人們已經提出許多快速實作算法。

比如序列最小最優化（SMO算法。未完待續。。。。）