線性回歸模型了解
線性回歸模型
找到一條連續的線（線性方程），能夠最大程度的拟合所有的點
- 如果點是二維，那麼就隻有 y , x 1 y,x_1 y,x1
- 如果是三維，那麼有 y , x 1 , x 2 y,x_1,x_2 y,x1,x2
- 以此類推
- 也可以讓 x 1 = w 2 = w M x_1=w_2=w_M x1=w2=wM。即，并不嚴格限制方程中的 x x x與資料點的次元數量對應。 其中Basis function可以是多項式，高斯函數，Sigmoid函數等
線性回歸模型 Linear Models for Regression 隻要找到一組參數（也就是線性方程每一項上的系數，即 w M w_M wM）能讓損失函數的值最小，那這一組參數就能最好的拟合目前的訓練資料
線性回歸模型 Linear Models for Regression
最大程度拟合
使損失函數最小
損失函數
所有點的輸出和預期輸出相減的平方和（系數隻是為了後面友善計算）
如何找到損失函數最小值
如果損失函數為凸函數，那麼根據凸函數的定義可知，任何局部最小值都是整個凸函數的最小值。
- 将所有點代入函數，得到最終的損失函數方程。
- 對損失函數各軸求偏導數，使偏導數為0，得到方程組
- 對方程組求解，得到所有系數 w M w_M wM
- 将系數代入原方程，得到最佳拟合方程。
計算公式
- 選擇basis function ϕ ( x ) \phi(x) ϕ(x)
- 選擇basis function 的數量 n
- 計算 w w w，公式如下：
線性回歸模型 Linear Models for Regression - Φ \Phi Φ表示 ϕ i ( x ) \phi_i(x) ϕi(x)的值構成的矩陣
線性回歸模型 Linear Models for Regression 線性回歸模型 Linear Models for Regression 線性回歸模型 Linear Models for Regression