天天看點

機器學習粗略認識--線性模型

 給定樣本示例x=(x1,x2,x3....xd),線性模型的目标是學得一個線性函數,即屬性的線性組合

f(x)=w1x1+w2x2+...+wdxd+b。是以訓練線性模型的目标就是求w、b.得到線性模型後就可以預測新的樣本。

一、線性回歸

給定資料集D={(x1,y1),(x2,y2)...(xm,ym)},xi是向量,yi屬于R。線性回歸試圖學得一個線性模型

來預測輸出的實際值。回歸的輸出是連續值,分類的輸出是離散值,兩者本質上一樣。

讨論輸入值一維的情況。

m個樣本。f(x)=wx+b。均方誤差

機器學習粗略認識--線性模型

通過最小化均方誤差

機器學習粗略認識--線性模型

求得w、b,采用的是最小二乘參數估計。即分别對w,b求導

并令導數為零。可得

機器學習粗略認識--線性模型
機器學習粗略認識--線性模型

同樣,多元線性回歸也可通過該方法解出w,b。

繼續閱讀