卷積神經網絡（Convolutional Neural Network,CNN）是一種前饋神經網絡，它的人工神經元可以響應一部分覆寫範圍内的周圍單元，對于大型圖像處理有出色表現。
前饋神經網絡：一種最簡單的神經網絡，各神經元分層排列。每個神經元隻與前一層的神經元相連。接收前一層的輸出，并輸出給下一層，直到輸出層。各層間沒有回報。是目前應用最廣泛、發展最迅速的人工神經網絡之一。
人工神經網絡(Artificial Neural Network,ANN)是指一系列收生物學和神經學啟發的數學模型。這些模型主要是通過對人腦的神經元網絡進行抽象，建構神經元，并按照一定拓撲結構來建立人工神經元之間的連接配接，來模拟生物神經網絡。在人工智能領域，人工神經網絡也常簡稱為神經網絡。神經網絡是一種大規模的并行分布式處理器，天然具有存儲并使用經驗知識的能力。它從兩個方面上模拟大腦：1，網絡擷取的知識是通過學習來擷取的；2，内部神經元的連接配接強度，即突觸權重，用于儲存擷取的知識。
分布式并行處理有三個主要特性：1.資訊表示是分布式的；2.記憶和知識是存儲在單元之間的連接配接上；3.通過逐漸改變單元之間的連接配接強度來學習新的知識。
神經網絡一般可以看作是一種非線性模型，其基本組成機關為具有非線性激活函數的神經元，通過大量神經元之間的連接配接，使得神經網絡成為一種高度非線性的模型。神經元之間的連接配接權重就是需要學習的參數，可以通過梯度下降方法來進行學習。
神經元
生物神經元通常具有多個樹突和一條軸突。樹突用來接收資訊，軸突用來發送資訊。當神經元所獲得的輸入信号的積累超過某個門檻值時，它就處于興奮狀态，産生電脈沖。軸突尾端有許多末梢可以給其他神經元的樹突産生連接配接，并将電脈沖信号傳遞給其他神經元。
首先什麼叫權？權就是權重的意思，即一組資料中某個數出現的頻率。
全國人民睡覺時長，睡10個小時左右的x人，睡8個小時左右的y人，睡6個小時左右的z人，平均每人睡多少個小時？
（10*x+8*y+6*z）/（x+y+z） 這裡10、8、6分别就是權數值，“權重”就是考慮到不同變量在總體中的比例份額。 例子：某個人射擊10次，其中2次射中10環，三次射中8環，四次射中7環，一次射中9環，那麼他的平均射中的環數為： （10*2+9*1+8*3+7*4）/10=8.1 這裡7.8.9.10這四個數是射擊者射中的幾個不同環數，但它們出現的頻數不同，分别為4、3、1、2資料的頻數越大，表明它對整組資料的平均數影響越大，實際上，頻數起着權衡資料的作用，上面的平均數稱為權重平均數。
例子：比如跳水運動，每個運動員除了完成規定動作外，還要完成一定數量的自選動作，而自選動作的難度是不同的，兩位選手由于所選動作的難度系數不同，盡管完成各自動作的品質相同，但得分也是不同的，難度系數大的運動員得分應該高些，難度系數實際上起着權重的作用。
而普通平均數的權重相等，都是1，比如，3和5的平均數是4。也就是說它們的重要性相同，是以平均數是特殊的權重平均數。
神經網絡中偏置的作用，偏置值允許将激活函數向左或向右移位，這是成功學習的關鍵。可以把曲線左右移動，是以偏置存在的意義是為了更好的拟合資料。
知道了以上的背景知識我們再來說簡單的神經元模型。
MP神經元，現代神經網絡中的神經元和M-P神經元的結構并無太多變化。不同的是，MP神經元中的激活函數f為0或1的階躍函數，而現代神經元中的激活函數通常要求是連續可導的函數。
假設一個神經元接受d個輸入x1,x2,xd，令向量X=[x1,x2,xd]來表示這組輸入，并用淨輸入Z表示一個神經元所獲得的輸入信号x的權重和
其中W=[w1,w2,…wd]是d維的權重向量，b是偏置。
淨輸入z在經過一個非線性函數f(.)後，得到神經元的活性值a，
a=f(z)
其中非線性函數f(.)稱為 激活函數
下圖給出了一個典型的神經元結構示例
什麼是激活函數？所謂激活函數，就是在人工神經網絡的神經元上運作的函數，負責将神經元的輸入映射到輸出端。激活函數對于神經網絡模型去學習、了解非常複雜和非線性的函數來說具有十分重要的作用。它們将非線性特性引入到我們的網絡中。在神經元中，輸入的inputs通過權重，求和後，還被作用了一個函數，這個函數就是激活函數。引入激活函數是為了增加神經網絡模型的非線性。沒有激活函數的每層都相當于矩陣相乘。無論加多少層都是矩陣相乘。如果不用激活函數，每一層輸出都是上層輸入的線性函數，無論神經網絡有多少層，輸出都是輸入的線性組合，這種情況就是最原始的感覺機。如果使用的話，激活函數給神經元引入了非線性因素，使得神經網絡可以任意逼近任何非線性函數，這樣神經網絡就可以應用到衆多的非線性模型中。
激活函數在神經元中非常重要，為了增強網絡的表示能力和學習能力，激活函數需要具備一下幾點性質：
1.連續并可導（允許少數點上不可導）的非線性函數。可到的激活函數可以直接利用數值優化的方法來學習網絡參數。
2.激活函數及其導函數要盡可能的簡單，有利于提高網絡計算效率。
3.激活函數的導函數的值域要在一個合适的區間内，不能太大也不能太小，否則會影響訓練的效率和穩定性。
下面介紹幾種在神經網絡中常用的激活函數。