08 SVM - 軟間隔模型算法流程

07 SVM - 軟間隔模型

七、SVM的軟間隔模型算法

輸入線性可分的m個樣本資料{(x1,y1),(x2,y2),...,(xm,ym)}，其中x為n維的特征向量，y為二進制輸出，取值為+1或者-1；SVM模型輸出為參數w、b以及分類決策函數。

1、選擇一個懲罰系數C>0，構造限制優化問題；

2、使用SMO算法求出上式優化中對應的最優解β*；

3、找出所有的支援向量集合S; 其實每一個支援向量對應的b都是相等的，是以無需考慮所有的支援向量先求和再平均，求一個即可。

4、更新參數w、b的值；

5、建構最終的分類器

八、SVM的軟間隔模型總結

1、可以解決線性資料中攜帶異常點的分類模型建構的問題；

2、通過引入懲罰項系數(松弛因子)，可以增加模型的泛化能力，即__魯棒性__ (使模型不會去迎合異常值)；

3、如果給定的懲罰項系數越小，表示在模型建構的時候，就允許存在越多的分類錯誤的樣本， 也就表示此時模型的準确率會比較低；如果懲罰項系數越大，表示在模型建構的時候，就越不允許存在分類錯誤的樣本，也就表示此時模型的準确率會比較高。