這一節課Andrew講的是監督學習應用中的梯度下降方法(Supervised-Learning,grading and descent)。
公式比較多,不過還比較基礎,主要是一些矩陣論的應用。
Grading and descent 主要用到的就是一個回歸的思路。整體的流程見下圖。
X1,X2....表示的不同的特征,經過算法H的變化,輸出Y1,Y2......。可以用公式表達為
,X邊上的變量就是我們要回歸得到的系數。
判斷公式
。這個ml回歸中常用的判斷公式,當J函數取到最下情況就是我們所需要的結果。
Andrew形容梯度下降好比一個下山問題。我們首先随機選擇出發點,也就是
的取值,然後通過J函數求導,不斷改變
的值,得到最終的回歸公式。這就類比于我們一步一步下山,直到山底,
值不再變化。
梯度下降還有一個特點就是最終的
值根據不同的出發點而不同。