天天看點

bp神經網絡算法步流程_機器學習:神經網絡學習之多層前饋神經網絡(一)多層前饋神經網絡的學習BP算法的基本過程

多層前饋神經網絡又名多層前饋全互連接配接網。多層的意思是除了輸入層和輸出層以外,還存在一個或者多個隐含層。前饋的意思是外界信号從輸入層經由隐含層到達輸出層,不存在信号的逆向傳播。全互連接配接是指每層神經元與下層神經元全互連接配接,神經元之間不存在同層連接配接,也不存在跨層連接配接。

bp神經網絡算法步流程_機器學習:神經網絡學習之多層前饋神經網絡(一)多層前饋神經網絡的學習BP算法的基本過程

多層前饋網的結構圖

其中輸入層神經元接收外界輸入,隐含層與輸出層神經元對信号進行加工,最終結果由輸出層神經元輸出。也就是說,輸入層神經元隻是接受輸入,不進行函數處理,隐含層和輸出層才進行函數處理。

神經網絡參數學習就是根據訓練資料來調整神經元之間的連接配接權以及每個功能神經元的門檻值。換言之,神經網絡學到的東西都存放在連接配接權和門檻值中。

bp神經網絡算法步流程_機器學習:神經網絡學習之多層前饋神經網絡(一)多層前饋神經網絡的學習BP算法的基本過程

多層前饋神經網絡的學習

多層前饋神經網絡的表達能力比單層感覺機要強得多。要學習多層前饋神經網絡,單層感覺機的學習規則是遠遠不夠的,需要更強大的學習算法。誤差逆傳播算法就是其中最傑出的代表,它是迄今最成功的神經網絡學習算法。

現實任務中使用神經網絡時,大多是在使用BP算法進行訓練。需要指出的是,BP算法不僅可用于多層前饋神經網絡,還可用于其他類型的神經網絡,比如遞歸神經網絡。但通常說BP網絡的時候一般是指用BP算法訓練的多層前饋神經網絡。

bp神經網絡算法步流程_機器學習:神經網絡學習之多層前饋神經網絡(一)多層前饋神經網絡的學習BP算法的基本過程

BP算法

BP算法的基本過程

1)信号的前向傳播階段:在這個階段,要求計算出隐含層和輸出層中每一神經元的網絡淨輸入和網絡輸出。

2)誤差的逆向傳播階段:在這個階段,要求計算出輸出層和隐含層中每一神經元的誤差。

3)權值和門檻值的更新階段:在這個階段,要求更新所有連接配接權的權值和所有M-P神經元的門檻值。

bp神經網絡算法步流程_機器學習:神經網絡學習之多層前饋神經網絡(一)多層前饋神經網絡的學習BP算法的基本過程