如上圖所示，直覺上看，紅色那條線能更好的将樣本分類，因為它更能容忍訓練樣本的擾動，對未見樣本的泛化性能更強。支援向量機就是來尋找這樣一個超平面（即上圖中的紅線），可用線性方程表示：w'x+b=0.其中w=(w1;w2;...;wd);如何找到這條紅線？
樣本空間任意一點x到超平面(w,b)的距離為：
若超平面對樣本正确分類，對于樣本（Xi,Yi），若Yi=1（正例），則w'Xi+b>0；若Yi=-1(反例)，則w'Xi+b<0.可令：
這裡1，-1可以是任意常數c,-c，隻是為了讨論友善取1，-1。
距離超平面最近的幾個點使上面不等式成立，稱這幾個點為”支援向量“，兩個異類支援向量到超平面的距離為：
我們是要找到最大間隔的劃分超平面，即找到一個超平面，它既能将樣本正确劃分，還滿足離這個超平面最近的兩個異類點到這個超平面的距離相等并且距離之和最大。回想我們最開始的那副圖，為什麼我們直覺上覺得那條紅線能更好的将樣本分類，就是因為它就是滿足這些要求的那個劃分超平面。
是以，我們要找的那個劃分超平面就轉化為如下的數學描述：
進一步轉化，即：
這就是支援向量機SVM的基本型。我們要做的就是求解參數w,b.這是一個凸二次規劃問題，我們可以直接求解，但我們有更高效的方法：求它的對偶問題。見下篇。
微信交流
多謝打賞
參考資料：周志華《機器學習》
相關博文：
機器學習：支援向量機SVM對偶問題
拉格朗日乘子法原理：等式限制和不等式限制
機器學習：支援向量機SVM-軟間隔