機器學習筆記 - Logistic Regression

線性回歸的模型為

z=wTx+b

考慮二分法任務， 其輸出标記 y∈{0,1} , 于是需将實值 z 轉為0/1, 這裡用了Sigmoid 函數

y=11−e−z

則

y=11−e−(wTx+b)

上式可以變化為

lny1−y=wTx+b

若将 y 視為x是正例的可能性，

ln{y=1|x}{y=0|x}=wTx+b

給定資料集 {(xi,yi)}mi=1 , 回歸模型最大對數似然(loglikelihood)為:

l(w,b)=∑i=1mlnp(yi|xi;w,b)

令 β=(w,b) , x^=(x;1) , 則 wT+b=βTx^ ,

再令

p1(x^;β)=p(y=1|x^;β)

p0(x^;β)=p(y=0|x^;β)

則

p(yi|xi,w,b)=yip1(x^;β)+(1−yi)p0(x^;β)

然後可以梯度下降法,或者牛頓法求的棋最優解.

β∗=argmin(l(β))

這裡是一個簡單的例子

Reference

1. 機器學習 - 周志華 清華大學出版社
2. Machine Learning in Action - Peter Harington