總結:感覺機是一個二分類線性分類模型,旨在用一個超平面将資料線性劃分。
一、模型
感覺機使用的函數是:f(X)=sign(w*X+b),sign是符号函數,sign(x)表示如果x>0則為1,x<0則取-1。
幾何意義就是一個超平面S,将空間分為兩部分,一部分為正、一部分為負
(感覺機隻适合線性可分的資料集)
二、政策
誤分類點到超平面S的距離和作為損失函數(為了友善計算,真正的損失函數做了一些調整)
誤分類點到超平面距離:
等價于:
求和,去掉常數項||w||,得到損失函數:
三、算法
1、原始形式
首先任取一個超平面,w0、b0,然後采用梯度下降法不斷優化目标函數(使損失函數極小)
損失函數的梯度:
算法步驟:1)選取初值w0、b0
2)在訓練集中選取資料(xi,yi)
3)如果yi(wxi+b)<=0,即該點為誤分類點,則進行梯度下降:
4)轉到(2)直到訓練集中沒有誤分類點
2、對偶形式
由原始形式可以發現,算法主要是在誤差點處通過
修改w和b的值。
假設誤差點修改次數為ni次,那麼w,b關于點(xi,yi)的增量分别為aiyixi,aiyi (ai=ni*學習率)
那麼:
把w、b用上式帶入,就可以得到對偶形式方法。
算法步驟:1)a<-0,b<-0(其中a = (a1,a2....an)T)
2)選取點(xi,yi)
3)如果
,說明是誤分類點,則:
ai<-ai+學習率
b<-bi+學習率
4)轉至2)直到沒有誤分類點
由于對偶形式中訓練資料僅以内積形式出現,是以可以預先計算出内積并以矩陣形式存儲,這就是Gram矩陣