文章目錄
- Neurons – Biological and Artificial
- Artificial Neural Networks (ANN)
- 第一個神經元
- 簡單感覺機
- 前饋VS回報
- 感覺機實作邏輯運算
- 線性可分
- 線性可分的核心trick
- 感覺機核心算法
- 多層感覺機
- 回報算法
Neurons – Biological and Artificial
非重點，了解神經網絡中的結點是又有輸入又和其他的結點有輸入即可。
Artificial Neural Networks (ANN)
結構和基本概念還是要了解的。
首先對輸入權重，然後transfer function做一個轉換，（典型是做求和），最後經過一個activation function（典型是通過門檻值做處理），得到y，然後對y做一些類似門檻值的處理，就能得到label。
第一個神經元
簡單感覺機
前饋VS回報
前饋神經網絡（FeedForward NN ) :是一種最簡單的神經網絡，采用單向多層結構，各神經元分層排列，每個神經元隻與前一層的神經元相連。接收前一層的輸出，并輸出給下一層，各層間沒有回報。
回報神經網絡（FeedBack NN ):又稱遞歸網絡、回歸網絡，是一種将輸出經過一步時移再接入到輸入層的神經網絡系統。這類網絡中，神經元可以互連，有些神經元的輸出會被回報至同層甚至前層的神經元。常見的有Hopfield神經網絡、Elman神經網絡、Boltzmann機等。
前饋神經網絡和回報神經網絡的主要差別：
前饋神經網絡各層神經元之間無連接配接，神經元隻接受上層傳來的資料，處理後傳入下一層，資料正向流動；回報神經網絡層間神經元有連接配接，資料可以在同層間流動或回報至前層。
前饋神經網絡不考慮輸出與輸入在時間上的滞後效應，隻表達輸出與輸入的映射關系；回報神經網絡考慮輸出與輸入之間在時間上的延遲，需要用動态方程來描述系統的模型。
前饋神經網絡的學習主要采用誤差修正法（如BP算法），計算過程一般比較慢，收斂速度也比較慢；回報神經網絡主要采用Hebb學習規則，一般情況下計算的收斂速度很快。
相比前饋神經網絡，回報神經網絡更适合應用在聯想記憶和優化計算等領域。
感覺機實作邏輯運算
感覺機的基本運算規則我們知道了。那麼隻要把權重設定好，就可以完成邏輯運算。x1和x2就是輸入，輸出是一個值。然後可以用門檻值函數決定大于多少的時候是true,小于多少的時候是false。
線性可分
這裡了解邏輯函數的線性可分，x1和x2是輸入，輸出在二維平面上，那麼就可以用一個直線，把不同的label分隔開，實作分類。
線性可分的核心trick
投影到更高維的平面實作可分。
感覺機核心算法
理論好了解。
多層感覺機
回報算法