線性回歸之最小二乘法

線性回歸是很常見的一種回歸，線性回歸可以用來預測或者分類，主要解決線性問題。

線性回歸過程主要解決的就是如何通過樣本來擷取最佳的拟合線。最常用的方法便是最小二乘法，它是一種數學優化技術，它通過最小化誤差的平方和尋找資料的最佳函數比對。

假設拟合直線為y=ax+b

對任意樣本點(xi,yi)

誤差為e=yi−(axi+b)

當S=∑ni=1ei2為最小時拟合度最高，即∑ni=1(yi−axi−b)2最小。

分别求一階偏導

∂S∂b=−2(∑i=1nyi−nb−a∑i=1nxi)

∂S∂a=−2(∑i=1nxiyi−b∑i=1nxi−a∑i=1nxi2)

6.分别讓上面兩式等于0，并且有nx¯=∑ni=1xi，ny¯=∑ni=1yi

7.得到最終解

a=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2

b=y¯−ax¯

結果也可以如下

a=n∑xiyi−∑xi∑yin∑xi2−(∑xi)2

b=∑xi2∑yi−∑xi∑xiyin∑xi2−(∑xi)2

對于y=ax+b轉為向量形式

W=[w0w1]$‘，‘$X=[1x1]

于是y=w1x1+w0=WTX

損失函數為

L=1n∑i=1n(yn−(WTX)2)=1n(y−XW)T(y−XW)

最後可化為

1nXTWTXW−2nXTWTy+1nyTy

令偏導為0

∂L∂W=2nXTXW−2nXTy=0

另外，(XTX)−1XTX=E，EW=W

則，

(XTX)−1XTXW=(XTX)−1XTy

W=(XTX)−1XTy

運作結果

========廣告時間========

<a href="http://blog.csdn.net/wangyangzhizhou/article/details/74080321">為什麼寫《Tomcat核心設計剖析》</a>

=========================