神經網絡BP反向傳播算法原理和詳細推導流程

• 1反向傳播算法和BP網絡簡介
• 2 資訊前向傳播
• 3 誤差反向傳播
• 3.1 輸出層的權重參數更新
• 3.2 隐藏層的權重參數更新
• 3.3輸出層和隐藏層的偏置參數更新
• 3.4 BP算法四個核心公式
• 3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數
• 3.6 BP 算法總結:用“批量梯度下降”算法更新參數
• 4 梯度消失問題及其解決辦法
• 5 加快 BP 網絡訓練速度:Rprop 算法

原文來自 : https://blog.csdn.net/qq_32865355/article/details/80260212

1反向傳播算法和BP網絡簡介

誤差反向傳播算法簡稱反向傳播算法（即BP算法）。使用反向傳播算法的多層感覺器又稱為BP神經網絡。BP算法是一個疊代算法，它的基本思想為：（1）先計算每一層的狀态和激活值，直到最後一層（即信号是前向傳播的）；（2）計算每一層的誤差，誤差的計算過程是從最後一層向前推進的（這就是反向傳播算法名字的由來）；（3）更新參數（目标是誤差變小）。疊代前面兩個步驟，直到滿足停止準則（比如相鄰兩次疊代的誤差的差别很小）。

本文的記号說明：

下面以三層感覺器(即隻含有一個隐藏層的多層感覺器)為例介紹“反向傳播算法(BP 算法)”。

2 資訊前向傳播

3 誤差反向傳播

3.1 輸出層的權重參數更新

3.2 隐藏層的權重參數更新

3.3輸出層和隐藏層的偏置參數更新

3.4 BP算法四個核心公式

3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數

3.6 BP 算法總結:用“批量梯度下降”算法更新參數

4 梯度消失問題及其解決辦法

5 加快 BP 網絡訓練速度:Rprop 算法

來源：CSDN

原文：https://blog.csdn.net/qq_32865355/article/details/80260212