神經網絡曾經很火，有過一段低迷期，現在因為深度學習的原因繼續火起來了。神經網絡有很多種：前向傳輸網絡、反向傳輸網絡、遞歸神經網絡、卷積神經網絡等。本文介紹基本的反向傳輸神經網絡（Backpropagation 簡稱BP），主要講述算法的基本流程和自己在訓練BP神經網絡的一些經驗。
BP神經網絡的結構
神經網絡就是模拟人的大腦的神經單元的工作方式，但進行了很大的簡化，神經網絡由很多神經網絡層構成，而每一層又由許多單元組成，第一層叫輸入層，最後一層叫輸出層，中間的各層叫隐藏層，在BP神經網絡中，隻有相鄰的神經層的各個單元之間有聯系，除了輸出層外，每一層都有一個偏置結點：
雖然圖中隐藏層隻畫了一層，但其層數并沒有限制，傳統的神經網絡學習經驗認為一層就足夠好，而最近的深度學習不這麼認為。偏置結點是為了描述訓練資料中沒有的特征，偏置結點對于下一層的每一個結點的權重的不同而生産不同的偏置，于是可以認為偏置是每一個結點（除輸入層外）的屬性。我們偏置結點在圖中省略掉：
在描述BP神經網絡的訓練之前，我們先來看看神經網絡各層都有哪些屬性：
- 每一個神經單元都有一定量的能量，我們定義其能量值為該結點j的輸出值Oj；
- 相鄰層之間結點的連接配接有一個權重Wij，其值在[-1,1]之間；
- 除輸入層外，每一層的各個結點都有一個輸入值，其值為上一層所有結點按權重傳遞過來的能量之和加上偏置；
- 除輸入層外，每一層都有一個偏置值，其值在[0,1]之間；
- 除輸入層外，每個結點的輸出值等該結點的輸入值作非線性變換；
- 我們認為輸入層沒有輸入值，其輸出值即為訓練資料的屬性，比如一條記錄類别X=<(1,2,3),類别1>，那麼輸入層的三個結點的輸出值分别為1,2,3. 是以輸入層的結點個數一般等于訓練資料的屬性個數。
訓練一個BP神經網絡，實際上就是調整網絡的權重和偏置這兩個參數，BP神經網絡的訓練過程分兩部分：
1. 前向傳輸，逐層波浪式的傳遞輸出值；
2. 逆向回報，反向逐層調整權重和偏置；
我們先來看前向傳輸。
前向傳輸（Feed-Forward前向回報）
在訓練網絡之前，我們需要随機初始化權重和偏置，對每一個權重取[-1,1]的一個随機實數，每一個偏置取[0,1]的一個随機實數，之後就開始進行前向傳輸。
神經網絡的訓練是由多趟疊代完成的，每一趟疊代都使用訓練集的所有記錄，而每一次訓練網絡隻使用一條記錄，抽象的描述如下：
while 終止條件未滿足：
for record:dataset:
trainModel(record)
首先設定輸入層的輸出值，假設屬性的個數為100，那我們就設定輸入層的神經單元個數為100，輸入層的結點Ni為記錄第i維上的屬性值xi。對輸入層的操作就這麼簡單，之後的每層就要複雜一些了，除輸入層外，其他各層的輸入值是上一層輸入值按權重累加的結果值加上偏置，每個結點的輸出值等該結點的輸入值作變換
前向傳輸的輸出層的計算過程公式如下：
對隐藏層和輸出層的每一個結點都按照如上圖的方式計算輸出值，就完成前向傳播的過程，緊接着是進行逆向回報。
逆向回報（Backpropagation）
逆向回報從最後一層即輸出層開始，我們訓練神經網絡作分類的目的往往是希望最後一層的輸出能夠描述資料記錄的類别，比如對于一個二分類的問題，我們常常用兩個神經單元作為輸出層，如果輸出層的第一個神經單元的輸出值比第二個神經單元大，我們認為這個資料記錄屬于第一類，否則屬于第二類。
還記得我們第一次前向回報時，整個網絡的權重和偏置都是我們随機取，是以網絡的輸出肯定還不能描述記錄的類别，是以需要調整網絡的參數，即權重值和偏置值，而調整的依據就是網絡的輸出層的輸出值與類别之間的差異，通過調整參數來縮小這個差異，這就是神經網絡的優化目标。對于輸出層：
其中Ej 表示第j個結點的誤內插補點，Oj 表示第j個結點的輸出值，Tj 記錄輸出值，比如對于2分類問題，我們用01表示類标1,10表示類别2，如果一個記錄屬于類别1，那麼其T1=0，T2=1。
中間的隐藏層并不直接與資料記錄的類别打交道，而是通過下一層的所有結點誤差按權重累加，計算公式如下：
其中Wjk 表示目前層的結點j到下一層的結點k的權重值，Ek 下一層的結點k的誤差率。
計算完誤差率後，就可以利用誤差率對權重和偏置進行更新，首先看權重的更新：
其中λ 表示表示學習速率，取值為0到1，學習速率設定得大，訓練收斂更快，但容易陷入局部最優解，學習速率設定得比較小的話，收斂速度較慢，但能一步步逼近全局最優解。
更新完權重後，還有最後一項參數需要更新，即偏置：
至此，我們完成了一次神經網絡的訓練過程，通過不斷的使用所有資料記錄進行訓練，進而得到一個分類模型。不斷地疊代，不可能無休止的下去，總歸有個終止條件
訓練終止條件
每一輪訓練都使用資料集的所有記錄，但什麼時候停止，停止條件有下面兩種：
- 設定最大疊代次數，比如使用資料集疊代100次後停止訓練
- 計算訓練集在網絡上的預測準确率，達到一定門限值後停止訓練
使用BP神經網絡分類
我自己寫了一個BP神經網絡，在數字手寫體識别資料集MINIST上測試了一下，MINIST資料集中訓練圖檔有12000個，測試圖檔20000個，每張圖檔是28*28的灰階圖像，我對圖像進行了二值化處理，神經網絡的參數設定如下：
- 輸入層設定28*28=784個輸入單元；
- 輸出層設定10個，對應10個數字的類别；
- 學習速率設定為0.05；
訓練經過約50次左右疊代，在訓練集上已經能達到99%的正确率，在測試集上的正确率為90.03%，單純的BP神經網絡能夠提升的空間不大了，但kaggle上已經有人有卷積神經網絡在測試集達到了99.3%的準确率。代碼是去年用C++寫的，濃濃的JAVA的味道，代碼價值不大，但注釋比較詳細，可以檢視這裡，最近寫了一個Java多線程的BP神經網絡，但現在還不友善拿出來，如果項目黃了，再放上來吧。
訓練BP神經網絡的一些經驗
講一下自己訓練神經網絡的一點經驗：
- 學習速率不宜設定過大，一般小于0.1，開始我設定了0.85，準确率一直提不上去，很明顯是陷入了局部最優解；
- 輸入資料應該歸一化，開始使用0-255的灰階值測試，效果不好，轉成01二值後，效果提升顯著；
- 盡量是資料記錄随機分布，不要将資料集按記錄排序，假設資料集有10個類别，我們把資料集按類别排序，一條一條記錄地訓練神經網絡，訓練到後面，模型将隻記得最近訓練的類别而忘記了之前訓練的類别；
- 對于多分類問題，比如漢字識别問題，常用漢字就有7000多個，也就是說有7000個類别，如果我們将輸出層設定為7000個結點，那計算量将非常大，并且參數過多而不容易收斂，這時候我們應該對類别進行編碼，7000個漢字隻需要13個二進制位即可表示，是以我們的輸出成隻需要設定13個結點即可。
參考文獻：
1.Jiawei Han. 《Data Mning Concepts and Techniques》
轉載請注明出處：http://www.cnblogs.com/fengfenggirl/