支援向量機(SVM)（三）-- 最優間隔分類器（optimal margin classifier）

在之前為了尋找最有分類器，我們提出了如下優化問題：

在這裡我們可以把限制條件改寫成如下：

首先我們看下面的圖示：

很顯然我們可以看出實線是最大間隔超平面，假設×号的是正例，圓圈的是負例。在虛線上的點和在實線上面的兩個一共這三個點稱作支援向量。現在我們結合kkt條件分析下這個圖。

我們從式子

和式子

可以看出如果

那麼

，

這個也就說明

時，w處于可行域的邊界上，這時才是起作用的限制。

1、那我們現在可以構造拉格朗日函數如下：

注意到這裡隻有沒有是因為原問題中沒有等式限制，隻有不等式限制。

2、接下來我們對w和b分别求偏導數。

    并得到

3、将上式帶回到拉格朗日函數中得到：

由于

，是以簡化為

4、現在我們得到了關于w和b的可以最小化的等式，我們在聯合這個參數，當然他的條件還是>=0，現在我們可以得到如下的二進制優化等式了：

5、現在你還必須知道我們之前講解的條件一是

，二是kkt條件：

很顯然存在w使得對于所有的i，。是以，一定存在使得是原問題的解，是對偶問題的解。

    如果求出了（也就是

），根據

即可求出w（也是，原問題的解）。然後

    即可求出b。即離超平面最近的正的函數間隔要等于離超平面最近的負的函數間隔。

6、現在我們在看另外一個問題：

是以

這裡我們将向量内積表示為

現在可以看出我要計算等式的話就隻需要計算向量的内積就好了，同時要是 在支援向量上面的話，那麼，這樣就更簡單了，是以很多的值都是0。