最近接觸深度學習,得知神經網絡是深度學習的重要算法工具,然後便系統的學習實作了一番,以下便是總結的學習過程
1 概念及來源
1.1 相關概念
人工神經網絡 : 通常簡稱神經網絡,是一種在生物神經網絡的啟發下建立的資料處理模型。神經網絡由大量的人工神經元互相連接配接進行計算，根據外界資訊改變自身結構，主要通過調整神經元之間的權值來對輸入資料進行模組化，最終解決實際問題。神經網絡可以看作有向圖，在圖中節點連接配接是有方向的，圖1-1為單層感覺器神經網絡
圖1-1
其中wi為權值 I 為輸入，小原點為神經元，y為輸入
1.2 神經網絡的特點
1， 自學習和自适應性 自适應性是一個系統可以根據環境變化動态調節自身結構進行動态适應，也就是說神經網絡可以根據輸入新的樣本資料自動調整參數，修改權值，改變影射關系
2， 非線性性 現實生活中，絕大的部分問題都不是線性問題，神經元處于抑制或激活狀态實際上表現為非線性性
3，魯棒性
局部地區的神經元損壞不會對整個神經網絡造成災難性損傷（除極為重要的神經元除外）
4，并行性
天然的神經元結構可以使其能夠在神經元上進行并行計算，同一層神經元上并行計算結果之後彙合至下一層進行處理
1.3 神經網絡的應用
1， 模式分類 将n維特征向量映射至某一标量，非線性的神經網絡可以更好的解決分類問題 2 ， 聚類 首先說一下聚類和分類的差別： 聚類是沒有分類标簽，我們需要根據某些樣本進行特征對比，将相似的歸為一類；而分類是已有正确的分類标簽，根據輸入測試資料将其所屬類别确定 神經網絡可以很好的根據輸入屬性進行自動把樣本點進行聚類分析 3， 優化計算 優化計算是在已知限制條件下，找到使目标函數最小化的參數組合 4，資料壓縮
1.4 神經網絡的分類
神經網絡結構中最重要的就是節點和連接配接權值，根據網絡結構的不同可分為向前網絡和回報網絡，跟據學習方式不同可以分為有監督學習網絡和無監督學習網絡
1， 單層感覺器
圖1.1 所示即為單層感覺器，其隻包含一層節點是簡單的神經網絡模型-----屬于前向網絡
2，線性網絡
與單層感覺器網絡相似，隻是神經元傳輸函數不同-----屬于前向網絡
3，多層感覺器
有多層節點，同時每層不止有一個神經元，是單感覺和線性網絡的結合 -------屬于前向網絡
4，徑向基函數網絡
該每層節點的資料流向由函數決定，可以流向單個節點也可以流向多個節點如圖 1-2 --前向網絡
圖 1-2
5，Hopfiled網絡
Hopfile 神經網絡模型是一種循環網絡模型，從輸出到輸入有回報連接配接。Hopfiled網絡有離散型和連續型兩種-----屬于回報網絡
6， Elman神經網絡
7， BP神經網絡（最為重要的一種神經網絡）
是一種按照誤差逆傳播的算法訓練的多層前饋網絡
8，競争神經網絡
将競争機制引入神經網絡
9， 随機神經網絡
以随機方式進行工作，節點的興奮或抑制以随機方式進行
讀者不要着急，結下來将會對每種神經網絡進行原理性介紹。