神經網絡
自2012年CNN的imagenet 上的突破，以神經網絡網絡為基礎的深度學習開始風靡學界和工業界。我們來看一張圖檔，關于google 内部深度學習項目的數量。而且應用領域極廣，從Android 到 藥品發現，到youtube。
我們從一起回顧下神經網絡的額前世今生：
• 1958: Perceptron (linear model)
• 1969: Perceptron has limitation
• 1980s: Multi-layer perceptron
• Do not have significant difference from DNN today
• 1986: Backpropagation
• Usually more than 3 hidden layers is not helpful
• 1989: 1 hidden layer is “good enough”, why deep?
• 2006: RBM initialization (breakthrough)
• 2009: GPU
• 2011: Start to be popular in speech recognition
• 2012: win ILSVRC image competition
深度學習是機器學習的一個分支，目前講是最重要的一個分支。 怎麼學好深度學些呢？
其實還是關鍵的三步：
1. 選擇神經網絡
2. 定義神經網絡的好壞
3. 選擇最好的參數集合
以下是神經網絡的示意圖：
所有的 θ 和 b 都在神經元内
1. 全連接配接網絡（Fully Connection）
2. 深度網絡 DEEP
深度 = 很多層
那麼有人就會問：
* 到底多少層深度合适？每層多個神經元？
答：這個看經驗和實驗的結果，不斷調整。
* 結構能被自動設定嗎？
答：可以通過進化網絡實作。
* 我們能自己設計網絡結構嗎？
答： CNN 就是設計出來的網絡結構。
3. 定義神經網絡的好壞Loss
我們以minist 數字識别為例，一組數字識别為例
4. 選擇最好的神經網絡（找到參數集）
核心方法：
* Gradient Descent
* BackPropagation
深度學習基本知識點了解到了，但是為什麼越Deep，效果會越好？ 以前都是做類比思考，比如電路模型，但是近期的lpaper上在理論上有嚴格的證明，我們後續部落格會介紹