天天看點

斯坦福機器學習公開課學習筆記(2)—監督學習 梯度下降1.感受2.筆記   

        這一節課Andrew講的是監督學習應用中的梯度下降方法(Supervised-Learning,grading and descent)。

        公式比較多,不過還比較基礎,主要是一些矩陣論的應用。

      Grading and descent 主要用到的就是一個回歸的思路。整體的流程見下圖。

斯坦福機器學習公開課學習筆記(2)—監督學習 梯度下降1.感受2.筆記   

      X1,X2....表示的不同的特征,經過算法H的變化,輸出Y1,Y2......。可以用公式表達為

斯坦福機器學習公開課學習筆記(2)—監督學習 梯度下降1.感受2.筆記   

,X邊上的變量就是我們要回歸得到的系數。

     判斷公式

斯坦福機器學習公開課學習筆記(2)—監督學習 梯度下降1.感受2.筆記   

。這個ml回歸中常用的判斷公式,當J函數取到最下情況就是我們所需要的結果。

     Andrew形容梯度下降好比一個下山問題。我們首先随機選擇出發點,也就是

斯坦福機器學習公開課學習筆記(2)—監督學習 梯度下降1.感受2.筆記   

的取值,然後通過J函數求導,不斷改變

斯坦福機器學習公開課學習筆記(2)—監督學習 梯度下降1.感受2.筆記   

的值,得到最終的回歸公式。這就類比于我們一步一步下山,直到山底,

斯坦福機器學習公開課學習筆記(2)—監督學習 梯度下降1.感受2.筆記   

值不再變化。

    梯度下降還有一個特點就是最終的

斯坦福機器學習公開課學習筆記(2)—監督學習 梯度下降1.感受2.筆記   

值根據不同的出發點而不同。

繼續閱讀