最近在學習吳恩達的機器學習,講到裡面了比較簡單的求出
的方法:正規方程。
視訊裡隻告訴我們這個公式,但是沒有具體告訴我們推到過程,對于我這種數學學渣來說實在一眼看不出來是什麼意思,查了很久才稍微懂了點點,是以在此記錄一下推導過程,也希望能幫助到和我一樣的數學學渣。
首先列出代價函數
,其中X,Y,
是向量或者矩陣。
接下來我們要對代價函數Ĵ中預測值與真實值的差的平方的累加進行求導。
首先第一步,,
消除累加
這時候可能有朋友會和我有一樣的問題:???什麼情況
簡單來複習一下現代知識:假設向量
,則
*
=
知道如何消去累加之後再将式子做進一步化簡:
好了現在終于把原式子化簡完成,接下來就要進行求導了。大家應該都知道多項式求導等于對各項求導相加。
我們将上式對
求導:
第一項:
是一個标量,是以是标量對向量求導 得
第二項:同樣是标量對向量求導 得
第三項:
第四項:0
綜上,對上式求導的結果是:
為了取到代價函數對最小值,是以讓導函數等于零。
就得到了
本文中省略了每一項具體求導的方法,因為部落格裡的公式實在是太難打了(大家有什麼推薦的編輯公式的方法嗎)。具體的求導公式在這裡可以看:https://wenku.baidu.com/view/70e4a60ff90f76c660371a28.html
參考文章:https://blog.csdn.net/chenlin41204050/article/details/78220280