更新：文章遷移到了這裡， http://lanbing510.info/2014/11/07/Neural-Network.html，有相應的PPT連結。
注：整理自向世明老師的PPT
看不到圖檔的同學可以直接打開連結： https://app.yinxiang.com/shard/s31/sh/61392246-7de4-40da-b2fb-ccfd4f087242/259205da4220fae3
内容提要 1 發展曆史 2 前饋網絡（單層感覺器，多層感覺器，徑向基函數網絡RBF） 3 回報網絡（Hopfield網絡， 聯想存儲網絡，SOM，Boltzman及受限的玻爾茲曼機RBM，DBN，CNN）
發展曆史
單層感覺器 1 基本模型
2 如果激勵函數是線性的話，可用最小二乘直接計算
3 如果激勵函數是sifmoid function,可疊代更新（一次性或者逐樣本更新）
上式隻做了簡單的求導展開，很容易推導
多層感覺器 1 基本模型
2 舉例（含有一個隐含層的多層感覺器MLP）
模型：
y=h(v)=h(h(u))
求解：
這裡怎麼轉換到6k(xi)的？
然後分别對兩個層的權值求導：
然後更新即可，反向傳播（BP）
3 經驗
4 優缺點
RBF神經網絡 1 模型
2 求解
3 優點和視角
深度學習簡介 1 前向神經網絡
2 發展曆程
3 整體一覽
4 一些值得關注 學術
工業
Belief Network & Hopfield Network & Boltzman機 & RBM 結構一瞥 1 Belief Network
2 Hopfield Network
3 Boltzman機
4 RBM 受限的玻爾茲曼機
RBM 1 模型
利用上圖中公式，可以得到
2 求解 CD算法
DBN 1 模型
2 訓練 面向特征提取
面向分類
DBM 模型
CNN 1 模型
2 訓練
參考文獻