幾種改進的 BP 算法性能分析
（1）實驗條件：Matlab7.10.0(R2010a)分别實作了基本BP算法以及七種改進的BP算法（動量的梯度下降法、量化共轭梯度法、變學習率梯度下降算法、變學習率動量梯度下降法、彈性反向傳播算法、L-M優化算法和貝葉斯正則化算法）。實驗環境：惠普Presario CQ36筆記本電腦，Inte(R) Core(TM) i3 CPU M330 @ 2.13GHz 2.13GHz，安裝記憶體(RAM) 2.00GB（1.87GB可用），硬碟320GB；運作是在Windows8.1專業版作業系統上完成的。
（2）實驗資料：選取經常用到的4個測試函數對以上算法進行實驗分析，以便選取預測效果較好的算法進行優化改進。這4個函數含有工程實際中常常碰到的各種特征，以此來衡量幾種改進的BP算法具有一定的準确性及說服力。以x代表一個實數類型的向量，n代表維數，xi為其中的第i個分量。
（3）資料及算法參數選取：本文将以下 4 個函數分别取 5000 組值，其中前 4900組值用于訓練，後 100 組值用于預測。BP 網絡結構為 9-14-1，設定學習速率為 0.1，訓練精度為 10-6，BP 神經網絡最大訓練次數為 20000 次。
（4）實驗仿真
① Sphere函數：
（1）
實驗中，n=9， 的取值範圍為[-1000, 1000]9；
表1 不同 BP 算法對 Sphere 函數預測結果對比
圖1 前四種算法預測結果的相對誤差曲線（表1）
圖2 後四種算法預測結果的相對誤差曲線（表1）
②Ronsenbrock函數：
（1）
實驗中，n=9， 的取值範圍為[-30, 30]9；
表2 不同 BP 算法對 Ronsenbrock 函數預測結果對比
圖3 前四種預測結果的相對誤差曲線（表2）
圖4 後四種預測結果的相對誤差曲線（表2）
③Schaffter函數：
（2）
實驗中， 1, 2的取值範圍為[-5.12, 5.12]2；
表3 不同 BP 算法對 Schaffter 函數預測結果對比
圖5 前四種算法預測結果的相對誤差曲線（表3）
圖6 後四種算法預測結果的相對誤差曲線（表3）
④ Ackley函數：
（3）
實驗中，n=9， 的取值範圍為[-30, 30]9。
表4 不同 BP 算法對 Ackley 函數預測結果對比
圖7 前四種算法預測結果的相對誤差曲線（表4）
圖8 後四種算法預測結果的相對誤差曲線（表4）
（5）結果分析：表4.1~表4.4列出了這8種BP算法預測上述4個測試函數性能，圖4.1~圖4.8給出了這幾種BP算法預測結果的相對誤差曲線。綜合分析可知：
①相同的算法對不同的函數預測時，其預測結果所達到的效果也不同；
②不同的算法在函數預測效果上有優劣之分，而且其預測的優劣順序不會因為預測函數的不同而發生很大變化，個别預測性能相近的算法可能對不同的函數會有細微的變化，但不會總體發生變化。
研究結果表明， L-M優化法和貝葉斯正則化法對函數的預測效果相對較好。但無論哪種算法，其本質是對BP神經網絡的訓練函數進行了優化，提高了基本BP的預測性能，而對其初始的權值和門檻值未做任何優化處理，在第二章中我們分析遺傳優化算法，該算法有搜尋全局最優的能力，正好彌補了BP全局搜尋能力差的缺陷，鑒于此點考慮，本文提出了利用遺傳算法對BP進一步優化。
《來源于科技文獻，經本人分析整理，以技術會友，廣交天下朋友》
石顯：基于遺傳算法優化的BP神經網絡的回歸分析——基于遺傳算法優化的 BP 算法設計zhuanlan.zhihu.com
石顯：基于遺傳算法優化的BP神經網絡的回歸分析——算法訓練函數的選取zhuanlan.zhihu.com
石顯：基于遺傳算法優化的BP神經網絡的回歸分析——算法參數的确定zhuanlan.zhihu.com
石顯：基于遺傳算法優化的BP神經網絡的回歸分析總結zhuanlan.zhihu.com