誤差的高斯分布與最小二乘估計的等價性
-
- 誤差的高斯分布與最小二乘估計的等價性
- 似然函數
- 最小化誤差
- 求解權重最優解
誤差的高斯分布與最小二乘估計的等價性
假設有N維向量 x 1 , x 2 , . . . , x N , x i ∈ R n x_1,x_2,...,x_N,x_i\in R^n x1,x2,...,xN,xi∈Rn
觀測值Y： y 1 , y 2 , . . . , y N , y i ∈ R n y_1,y_2,...,y_N,y_i\in R^n y1,y2,...,yN,yi∈Rn
定義線性方程： y i = w T x i , w ∈ R n y_i=w^Tx_i,w\in R^n yi=wTxi,w∈Rn
拟合誤差： e i = y i − w T x i e_i=y_i-w^Tx_i ei=yi−wTxi
假設誤差符合标準正太分布： e i ∼ N ( 0 , 1 ) e_i\sim N(0,1) ei∼N(0,1)
即機率密度函數： e i ∼ 1 2 π e − e i 2 2 e_i\sim\frac{1}{\sqrt{2\pi}}e^{-\frac{e_i^2}{2}} ei∼2π
1e−2ei2
似然函數
最小化誤差
求解權重最優解
最終得到的w和最小二乘估計得到的結果是一緻的。