軟間隔SVM
0.為什麼要引入軟間隔SVM
在svm中對于線性不可分問題可以通過使用核函數将特征映射到高維空間實作“線性可分”
直覺解釋：
盒子中的小球（黑白兩種顔色），在盒子上面看，無法用一個平面分割；但是從盒子的側面看就可以用一個平面将兩種顔色的小球分開了。
這種思想就是将特征轉換到另外一個空間（可能與原空間的次元相同或者升維），就可将線性不可分問題轉變為線性可分問題。
但是對于隻有少部分樣本點（離群點）線性不可分時（這類問題叫做“近似線性可分問題”），這個點可能是噪聲，這樣的噪聲在硬間隔分類器下，會使得整個問題無解，是以為了解決硬間隔分類器容易受少數噪聲點控制的問題，引入了軟間隔分類器。
1.松弛變量---為分類器加入容錯性
（1）硬間隔在畫分類面的時候要滿足，讓所有正樣本或者負樣本距離分類面的距離都>=1
即，有限制條件：
（2）軟間隔分類器在畫分類面的時候允許有部分樣本點在“間隔帶”中間出現（離分類面的距離小于1）
一次，限制條件變為：
2.懲罰因子
加入松弛變量對分類器來說既有好處又有壞處
好處：使得分類器具有一定的容錯性，忽略落在隔離帶中的點對分類面劃分的影響，使分類面可以不用向這些點的方向移動，可以增大1/||w||(2/||w||是幾何間隔)
壞處：對于落在“隔離帶”中的樣本點我們放棄了對他的精确分類
為了控制松弛變量的大小，将其加入到損失函數中。
損失函數變為：
第一項和第二項的變化方向相反，這樣就需要加入一個懲罰因子在第一項和第二項之間做一個權衡
懲罰因子越大，要求松弛變量的值盡量小，即對噪聲的容忍度越小
核函數和松弛變量都是為了解決線性不可分問題，二者的差別是：
一個問題在特征空間中無論怎麼畫分類面，都有大量的離群點，這時可以采用核函數向高維空間映射
如果在高維空間仍然有少部分“冥頑不化”的離群點使得樣本點線性不可分---近似線性可分的狀态，就可以使用加入松弛變量忽略這些離群點使得問題變得可分。