原文：https://www.zybuluo.com/hanbingtao/note/476663
寫得非常好，适合入門！
神經元和感覺器本質上是一樣的，隻不過我們說感覺器的時候，它的激活函數是階躍函數；而當我們說神經元時，激活函數往往選擇為sigmoid函數或tanh函數。如下圖所示：
計算一個神經元的輸出的方法和計算一個感覺器的輸出是一樣的。假設神經元的輸入是向量，激活函數是sigmoid函數。
神經網絡其實就是按照一定規則連接配接起來的多個神經元。上圖展示了一個全連接配接(full connected, FC)神經網絡，通過觀察上面的圖，我們可以發現它的規則包括：
神經元按照層來布局。最左邊的層叫做輸入層，負責接收輸入資料；最右邊的層叫輸出層，我們可以從這層擷取神經網絡輸出資料。輸入層和輸出層之間的層叫做隐藏層，因為它們對于外部來說是不可見的。
同一層的神經元之間沒有連接配接。
第N層的每個神經元和第N-1層的所有神經元相連(這就是full connected的含義)，第N-1層神經元的輸出就是第N層神經元的輸入。
每個連接配接都有一個權值。
上面這些規則定義了全連接配接神經網絡的結構。事實上還存在很多其它結構的神經網絡，比如卷積神經網絡(CNN)、循環神經網絡(RNN)，他們都具有不同的連接配接規則。
現在，我們需要知道一個神經網絡的每個連接配接上的權值是如何得到的。我們可以說神經網絡是一個模型，那麼這些權值就是模型的參數，也就是模型要學習的東西。然而，一個神經網絡的連接配接方式、網絡的層數、每層的節點數這些參數，則不是學習出來的，而是人為事先設定的。對于這些人為設定的參數，我們稱之為超參數(Hyper-Parameters)。
接下來，我們将要介紹神經網絡的訓練算法：反向傳播算法。
。。。
本文轉自張昺華-sky部落格園部落格，原文連結：http://www.cnblogs.com/bonelee/p/7716073.html，如需轉載請自行聯系原作者