机器学习笔记 - Logistic Regression

线性回归的模型为

z=wTx+b

考虑二分法任务， 其输出标记 y∈{0,1} , 于是需将实值 z 转为0/1, 这里用了Sigmoid 函数

y=11−e−z

则

y=11−e−(wTx+b)

上式可以变化为

lny1−y=wTx+b

若将 y 视为x是正例的可能性，

ln{y=1|x}{y=0|x}=wTx+b

给定数据集 {(xi,yi)}mi=1 , 回归模型最大对数似然(loglikelihood)为:

l(w,b)=∑i=1mlnp(yi|xi;w,b)

令 β=(w,b) , x^=(x;1) , 则 wT+b=βTx^ ,

再令

p1(x^;β)=p(y=1|x^;β)

p0(x^;β)=p(y=0|x^;β)

则

p(yi|xi,w,b)=yip1(x^;β)+(1−yi)p0(x^;β)

然后可以梯度下降法,或者牛顿法求的棋最优解.

β∗=argmin(l(β))

这里是一个简单的例子

Reference

1. 机器学习 - 周志华 清华大学出版社
2. Machine Learning in Action - Peter Harington