合頁損失函數

這裡介紹得是統計學習方法中提到的二分類合頁損失函數

hinge loss

對于包含 N N N個樣本的資料 D ( x , y ) D(x,y) D(x,y)。 x x x代表樣本輸入， y y y代表真實的标簽， y y y中元素的值屬于 { 1 , − 1 } \{1,-1\} {1,−1}，分别表示正類與負類。 第 n n n個樣本對應的 l o s s loss loss，如下：

l n = m a x ( 0 , 1 − y ( w x n + b ) ) l_{n}=max(0,1-y(wx_{n}+b)) ln​=max(0,1−y(wxn​+b))

• 當 1 − y ( w x n + b ) < 0 1-y(wx_{n}+b)<0 1−y(wxn​+b)<0, 即 y ( w x n + b ) > 1 y(wx_{n}+b)>1 y(wxn​+b)>1時，loss取值為0，此時分類正确，并且輸出與标簽的乘積較大确信度比較高，屬于易分類樣本，loss忽略不計。
• 當 0 < y ( w x n + b ) < 1 0<y(wx_{n}+b)<1 0<y(wxn​+b)<1, loss取值為 1 − y ( w x n + b ) 1-y(wx_{n}+b) 1−y(wxn​+b)，此時雖然分類正确，但确信度不高
• 當 y ( w x n + b ) < 0 y(wx_{n}+b)<0 y(wxn​+b)<0, loss取值為 1 − y ( w x n + b ) 1-y(wx_{n}+b) 1−y(wxn​+b)，此時分類錯誤

hinge loss

使得模型更加關注難分類的樣本，并且對于分類正确但确信度不高的樣本也會計算誤內插補點。