天天看點

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

神經網絡BP反向傳播算法原理和詳細推導流程

  • 1反向傳播算法和BP網絡簡介
  • 2 資訊前向傳播
  • 3 誤差反向傳播
  • 3.1 輸出層的權重參數更新
  • 3.2 隐藏層的權重參數更新
  • 3.3輸出層和隐藏層的偏置參數更新
  • 3.4 BP算法四個核心公式
  • 3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數
  • 3.6 BP 算法總結:用“批量梯度下降”算法更新參數
  • 4 梯度消失問題及其解決辦法
  • 5 加快 BP 網絡訓練速度:Rprop 算法

原文來自 : https://blog.csdn.net/qq_32865355/article/details/80260212

1反向傳播算法和BP網絡簡介

誤差反向傳播算法簡稱反向傳播算法(即BP算法)。使用反向傳播算法的多層感覺器又稱為BP神經網絡。BP算法是一個疊代算法,它的基本思想為:(1)先計算每一層的狀态和激活值,直到最後一層(即信号是前向傳播的);(2)計算每一層的誤差,誤差的計算過程是從最後一層向前推進的(這就是反向傳播算法名字的由來);(3)更新參數(目标是誤差變小)。疊代前面兩個步驟,直到滿足停止準則(比如相鄰兩次疊代的誤差的差别很小)。

本文的記号說明:

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

下面以三層感覺器(即隻含有一個隐藏層的多層感覺器)為例介紹“反向傳播算法(BP 算法)”。

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

2 資訊前向傳播

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

3 誤差反向傳播

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法
神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法
神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

3.1 輸出層的權重參數更新

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法
神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法
神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

3.2 隐藏層的權重參數更新

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法
神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法
神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

3.3輸出層和隐藏層的偏置參數更新

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法
神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

3.4 BP算法四個核心公式

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法
神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

3.6 BP 算法總結:用“批量梯度下降”算法更新參數

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法
神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

4 梯度消失問題及其解決辦法

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

5 加快 BP 網絡訓練速度:Rprop 算法

神經網絡BP反向傳播算法原理和詳細推導流程1反向傳播算法和BP網絡簡介2 資訊前向傳播3 誤差反向傳播3.1 輸出層的權重參數更新3.2 隐藏層的權重參數更新3.3輸出層和隐藏層的偏置參數更新3.4 BP算法四個核心公式3.5 BP 算法計算某個訓練資料的代價函數對參數的偏導數3.6 BP 算法總結:用“批量梯度下降”算法更新參數4 梯度消失問題及其解決辦法5 加快 BP 網絡訓練速度:Rprop 算法

來源:CSDN

原文:https://blog.csdn.net/qq_32865355/article/details/80260212

繼續閱讀