天天看點

《統計學習方法》讀書筆記——第2章 感覺機

總結:感覺機是一個二分類線性分類模型,旨在用一個超平面将資料線性劃分。

一、模型

感覺機使用的函數是:f(X)=sign(w*X+b),sign是符号函數,sign(x)表示如果x>0則為1,x<0則取-1。

幾何意義就是一個超平面S,将空間分為兩部分,一部分為正、一部分為負

(感覺機隻适合線性可分的資料集)

二、政策

誤分類點到超平面S的距離和作為損失函數(為了友善計算,真正的損失函數做了一些調整)

誤分類點到超平面距離:

《統計學習方法》讀書筆記——第2章 感覺機

等價于:

《統計學習方法》讀書筆記——第2章 感覺機

求和,去掉常數項||w||,得到損失函數:

《統計學習方法》讀書筆記——第2章 感覺機

三、算法

1、原始形式

首先任取一個超平面,w0、b0,然後采用梯度下降法不斷優化目标函數(使損失函數極小)

損失函數的梯度:

《統計學習方法》讀書筆記——第2章 感覺機

算法步驟:1)選取初值w0、b0

                   2)在訓練集中選取資料(xi,yi)

                   3)如果yi(wxi+b)<=0,即該點為誤分類點,則進行梯度下降:

《統計學習方法》讀書筆記——第2章 感覺機

                   4)轉到(2)直到訓練集中沒有誤分類點

2、對偶形式

由原始形式可以發現,算法主要是在誤差點處通過

《統計學習方法》讀書筆記——第2章 感覺機

修改w和b的值。

假設誤差點修改次數為ni次,那麼w,b關于點(xi,yi)的增量分别為aiyixi,aiyi (ai=ni*學習率)

那麼:

《統計學習方法》讀書筆記——第2章 感覺機
《統計學習方法》讀書筆記——第2章 感覺機

把w、b用上式帶入,就可以得到對偶形式方法。

算法步驟:1)a<-0,b<-0(其中a = (a1,a2....an)T)

                   2)選取點(xi,yi)

                   3)如果

《統計學習方法》讀書筆記——第2章 感覺機

,說明是誤分類點,則:

                         ai<-ai+學習率

                         b<-bi+學習率

                  4)轉至2)直到沒有誤分類點

由于對偶形式中訓練資料僅以内積形式出現,是以可以預先計算出内積并以矩陣形式存儲,這就是Gram矩陣

《統計學習方法》讀書筆記——第2章 感覺機

繼續閱讀