天天看點

神經網絡的反向傳播推導執行個體

假設,你有這樣一個網絡層:

神經網絡的反向傳播推導執行個體

  第一層是輸入層,包含兩個神經元i1,i2,和截距項b1;第二層是隐含層,包含兩個神經元h1,h2和截距項b2,第三層是輸出o1,o2,每條線上标的wi是層與層之間連接配接的權重,激活函數我們預設為sigmoid函數。

  現在對他們賦上初值,如下圖:

神經網絡的反向傳播推導執行個體

  其中,輸入資料  i1=0.05,i2=0.10;

     輸出資料 o1=0.01,o2=0.99;

     初始權重  w1=0.15,w2=0.20,w3=0.25,w4=0.30;

           w5=0.40,w6=0.45,w7=0.50,w8=0.55

                    偏置b1=0.35,b2=0.6

  目标:給出輸入資料i1,i2(0.05和0.10),使輸出盡可能與原始輸出o1,o2(0.01和0.99)接近。

Step 1 前向傳播

  1.輸入層---->隐含層:

  計算神經元h1的輸入權重和:

神經網絡的反向傳播推導執行個體

神經元h1的輸出o1:(此處用到激活函數為sigmoid函數):

神經網絡的反向傳播推導執行個體

同理,可計算出神經元h2的輸出o2:

神經網絡的反向傳播推導執行個體

2.隐含層---->輸出層:

  計算輸出層神經元o1和o2的值:

神經網絡的反向傳播推導執行個體
神經網絡的反向傳播推導執行個體

這樣前向傳播的過程就結束了,我們得到輸出值為[0.75136079 , 0.772928465],與實際值[0.01 , 0.99]相差還很遠,現在我們對誤差進行反向傳播,更新權值,重新計算輸出。

Step 2 反向傳播

1.計算總誤差

總誤差:(square error)

神經網絡的反向傳播推導執行個體

但是有兩個輸出,是以分别計算o1和o2的誤差,總誤差為兩者之和:

神經網絡的反向傳播推導執行個體
神經網絡的反向傳播推導執行個體
神經網絡的反向傳播推導執行個體

2.隐含層---->輸出層的權值更新:

以權重參數w5為例,如果我們想知道w5對整體誤差産生了多少影響,可以用整體誤差對w5求偏導求出:(鍊式法則)

神經網絡的反向傳播推導執行個體

下面的圖可以更直覺的看清楚誤差是怎樣反向傳播的:

神經網絡的反向傳播推導執行個體

現在我們來分别計算每個式子的值:

計算

神經網絡的反向傳播推導執行個體

神經網絡的反向傳播推導執行個體

計算

神經網絡的反向傳播推導執行個體

神經網絡的反向傳播推導執行個體

(這一步實際上就是對sigmoid函數求導,比較簡單,可以自己推導一下)

計算

神經網絡的反向傳播推導執行個體

神經網絡的反向傳播推導執行個體

最後三者相乘:

神經網絡的反向傳播推導執行個體

這樣我們就計算出整體誤差E(total)對w5的偏導值。

回過頭來再看看上面的公式,我們發現:

神經網絡的反向傳播推導執行個體

為了表達友善,用

神經網絡的反向傳播推導執行個體

來表示輸出層的誤差:

神經網絡的反向傳播推導執行個體

是以,整體誤差E(total)對w5的偏導公式可以寫成:

神經網絡的反向傳播推導執行個體

如果輸出層誤差計為負的話,也可以寫成:

神經網絡的反向傳播推導執行個體

最後我們來更新w5的值:

神經網絡的反向傳播推導執行個體

(其中,

神經網絡的反向傳播推導執行個體

是學習速率,這裡我們取0.5)

同理,可更新w6,w7,w8:

神經網絡的反向傳播推導執行個體

3.隐含層---->隐含層的權值更新:

 方法其實與上面說的差不多,但是有個地方需要變一下,在上文計算總誤差對w5的偏導時,是從out(o1)---->net(o1)---->w5,但是在隐含層之間的權值更新時,是out(h1)---->net(h1)---->w1,而out(h1)會接受E(o1)和E(o2)兩個地方傳來的誤差,是以這個地方兩個都要計算。

神經網絡的反向傳播推導執行個體

計算

神經網絡的反向傳播推導執行個體

神經網絡的反向傳播推導執行個體

先計算

神經網絡的反向傳播推導執行個體

神經網絡的反向傳播推導執行個體
神經網絡的反向傳播推導執行個體
神經網絡的反向傳播推導執行個體
神經網絡的反向傳播推導執行個體

同理,計算出:

          

神經網絡的反向傳播推導執行個體

兩者相加得到總值:

神經網絡的反向傳播推導執行個體

再計算

神經網絡的反向傳播推導執行個體

神經網絡的反向傳播推導執行個體

再計算

神經網絡的反向傳播推導執行個體

神經網絡的反向傳播推導執行個體

最後,三者相乘:

神經網絡的反向傳播推導執行個體

 為了簡化公式,用sigma(h1)表示隐含層單元h1的誤差:

神經網絡的反向傳播推導執行個體

最後,更新w1的權值:

神經網絡的反向傳播推導執行個體

同理,額可更新w2,w3,w4的權值:

神經網絡的反向傳播推導執行個體

  這樣誤差反向傳播法就完成了,最後我們再把更新的權值重新計算,不停地疊代,在這個例子中第一次疊代之後,總誤差E(total)由0.298371109下降至0.291027924。疊代10000次後,總誤差為0.000035085,輸出為[0.015912196,0.984065734](原輸入為[0.01,0.99]),證明效果還是不錯的。

繼續閱讀