極大似然估計與最小二乘

極大似然估計以最大化目标值的似然機率函數為目标函數，以機率統計的角度處理線性回歸。

極大似然估計可以與最小二乘建立關系。

已知方程組

(1) A x = b Ax=b\tag{1} Ax=b(1)

假設測量值

(2) b i ∼ N ( A x , σ 2 ) b_i\sim N(Ax,\sigma^2)\tag{2} bi​∼N(Ax,σ2)(2)

似然機率函數為

(3) P ( b 1 , b 2 , . . . , b n ; A x , σ ) = ∏ i 1 2 π σ e x p ( − ( b i − A x i ) 2 2 σ 2 ) P(b_1,b_2,...,b_n;Ax,\sigma)=\prod_i\frac{1}{\sqrt{2\pi}\sigma}exp({-\frac{\left(b_i-Ax_i\right)^2}{2\sigma^2}})\tag{3} P(b1​,b2​,...,bn​;Ax,σ)=i∏​2π ​σ1​exp(−2σ2(bi​−Axi​)2​)(3)

對（3）取自然對數

(4) L （ A x , σ ） = − n l n 2 π σ − 1 2 σ 2 ∑ i ( b i − A x i ) 2 L（Ax,\sigma）=-nln\sqrt{2\pi}\sigma-\frac{1}{2\sigma^2}\sum_i(b_i-Ax_i)^2\tag{4} L（Ax,σ）=−nln2π ​σ−2σ21​i∑​(bi​−Axi​)2(4)

要使

(5) m a x x ∈ R n P ( b 1 , b 2 , . . . , b n ; A x , σ ) \underset{x\in R^n}{max}P(b_1,b_2,...,b_n;Ax,\sigma)\tag{5} x∈Rnmax​P(b1​,b2​,...,bn​;Ax,σ)(5)

即

(6) m a x x ∈ R n L ( A x , σ ) \underset{x\in R^n}{max}L(Ax,\sigma)\tag{6} x∈Rnmax​L(Ax,σ)(6)

定義能量函數E，使其最小即可滿足（5）、（6）

(7) m i n x ∈ R n E = ∑ i ( b i − A x i ) 2 = ∥ b − A x ∥ 2 2 \underset{x\in R^n}{min}E=\sum_i(b_i-Ax_i)^2=\Vert b-Ax\Vert _2^2\tag{7} x∈Rnmin​E=i∑​(bi​−Axi​)2=∥b−Ax∥22​(7)

即為最小二乘。