天天看點

線性回歸 正規方程詳細推導過程

最近在學習吳恩達的機器學習,講到裡面了比較簡單的求出

線性回歸 正規方程詳細推導過程

的方法:正規方程。

線性回歸 正規方程詳細推導過程

視訊裡隻告訴我們這個公式,但是沒有具體告訴我們推到過程,對于我這種數學學渣來說實在一眼看不出來是什麼意思,查了很久才稍微懂了點點,是以在此記錄一下推導過程,也希望能幫助到和我一樣的數學學渣。

首先列出代價函數

線性回歸 正規方程詳細推導過程

,其中X,Y,

線性回歸 正規方程詳細推導過程

是向量或者矩陣。

接下來我們要對代價函數Ĵ中預測值與真實值的差的平方的累加進行求導。

首先第一步,,

線性回歸 正規方程詳細推導過程

消除累加

這時候可能有朋友會和我有一樣的問題:???什麼情況

簡單來複習一下現代知識:假設向量

線性回歸 正規方程詳細推導過程

,則

線性回歸 正規方程詳細推導過程
線性回歸 正規方程詳細推導過程

*

線性回歸 正規方程詳細推導過程

=

線性回歸 正規方程詳細推導過程

知道如何消去累加之後再将式子做進一步化簡:

線性回歸 正規方程詳細推導過程
線性回歸 正規方程詳細推導過程
線性回歸 正規方程詳細推導過程

好了現在終于把原式子化簡完成,接下來就要進行求導了。大家應該都知道多項式求導等于對各項求導相加。

我們将上式對

線性回歸 正規方程詳細推導過程

求導:

第一項:

線性回歸 正規方程詳細推導過程

是一個标量,是以是标量對向量求導 得

線性回歸 正規方程詳細推導過程

第二項:同樣是标量對向量求導 得

線性回歸 正規方程詳細推導過程

第三項:

線性回歸 正規方程詳細推導過程

第四項:0

綜上,對上式求導的結果是:

線性回歸 正規方程詳細推導過程

為了取到代價函數對最小值,是以讓導函數等于零。

就得到了

線性回歸 正規方程詳細推導過程

本文中省略了每一項具體求導的方法,因為部落格裡的公式實在是太難打了(大家有什麼推薦的編輯公式的方法嗎)。具體的求導公式在這裡可以看:https://wenku.baidu.com/view/70e4a60ff90f76c660371a28.html

參考文章:https://blog.csdn.net/chenlin41204050/article/details/78220280

繼續閱讀