神經網絡即指人工神經網絡，或稱作連接配接模型，它是一種模仿動物神經網絡行為特征，進行分布式并行資訊處理的算法數學模型。這種網絡依靠系統的複雜程度，通過調整内部大量節點之間互相連接配接的關系，進而達到處理資訊的目的。神經網絡用到的算法是向量乘法，采用符号函數及其各種逼近。并行、容錯、可以硬體實作以及自我學習特性，是神經網絡的幾個基本優點，也是神經網絡計算方法與傳統方法的差別所在。
深度學習的概念源于人工神經網絡，含多隐層的多層感覺器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類别或特征，以發現資料的分布式特征表示。基于深信度網提出非監督貪心逐層訓練算法，為解決深層結構相關的優化難題帶來希望，随後提出多層自動編碼器深層結構。
傳統意義上的多層神經網絡隻有輸入層、隐藏層、輸出層，其中隐藏層的層數根據需要而定，沒有明确的理論推導來說明到底多少層合适，多層神經網絡做的步驟是：特征映射到值，特征是人工挑選。
從廣義上說深度學習的網絡結構也是多層神經網絡的一種。深度學習中最著名的卷積神經網絡是由lecun等人提出的，是第一個真正多層結構學習算法，它利用空間相對關系減少參數數目以提高訓練性能。在原來多層神經網絡的基礎上，加入了特征學習部分，這部分是模仿人腦對信号處理上的分級的。具體操作就是在原來的全連接配接的層前面加入了部分連接配接的卷積層與降維層，而且加入的是一個層級：輸入層-卷積層-降維層-卷積層-降維層- ....-隐藏層-輸出層。深度學習做的步驟是：信号->特征->值，特征是由網絡自己選擇。