機器學習第十周 SVM 支援向量機

機器學習第十周 支援向量機SVN

學習目标

知識點描述：緻敬真神：支援向量機

學習目标：

• SVM算法原理及數學推導
• ​ * SVM算法中的核函數
• ​ * SVM算法解決分類問題及回歸問題

學習内容

入門支援向量機1：圖文詳解SVM原理與模型數學推導

入門支援向量機2:軟間隔與sklearn中的SVM

入門支援向量機3：巧妙的Kernel Trick

入門支援向量機4：多項式核函數與RBF核函數代碼實作及調參

入門支援向量機5：回歸問題及系列回顧總結

學習ING

支援向量機SVM:

支援向量：将最優決策邊界向上或向下平移，在遇到第一個點時停下來，這個點被稱為支援向量。支援向量到決策邊界的距離是d，這兩條後移的直線的間隔2d被稱為最大間隔Margin.

支援向量：就是支撐着兩條平移邊界的點

點 到 直 線 的 距 離 ： d = ∣ A x + B y + C ∣ A 2 + B 2 點到直線的距離：d=\frac{|Ax+By+C|}{\sqrt{A^2+B^2}} 點到直線的距離：d=A2+B2

​∣Ax+By+C∣​

擴 展 到 n 維 空 間 ： 點 到 w T x + b = 0 , w 是 n 維 向 量 ， b 是 截 距 ： d = w T + b ∣ ∣ w ∣ ∣ , ∣ ∣ w ∣ ∣ 為 向 量 的 模 擴充到n維空間：點到w^Tx+b=0,w是n維向量，b是截距：d=\frac{w^T+b}{||w||} ,||w||為向量的模 擴充到n維空間：點到wTx+b=0,w是n維向量，b是截距：d=∣∣w∣∣wT+b​,∣∣w∣∣為向量的模

最大化margin,

m a x 2 ∣ w T x + b ∣ ∣ ∣ w ∣ ∣ , 也 就 是 m a x 2 ∣ ∣ w ∣ ∣ max\frac{2|w^Tx+b|}{||w||},也就是max\frac{2}{||w||} max∣∣w∣∣2∣wTx+b∣​,也就是max∣∣w∣∣2​

轉 換 後 ， 求 m i n { 1 2 w T w } , 條 件 y ( i ) ( w T x ( i ) + b ) ≥ 1 轉換後，求min\{\frac{1}{2}w^Tw\}, 條件 y^{(i)}(w^Tx^{(i)}+b)\geq 1 轉換後，求min{21​wTw},條件y(i)(wTx(i)+b)≥1

推導公式：

在考慮泛化時，選取更佳的分類模型.

打卡連結：

【騰訊文檔】機器學習小組第十周（20200427-20200503)

https://docs.qq.com/form/fill/DRlJUT3FQcmJSSWty?_w_tencentdocx_form=1