閱讀此文前，誠邀您點選一下“關注”，友善您随時查閱一系列優質文章，同時便于進行讨論和分享，感謝您的支援~
文|紮西朗姆
編輯|那個榕呐
引言
在努力複制人類智能的過程中，人工智能(AI) 研究融合了計算機科學、認知神經科學、計算科學和其他一系列領域的見解，以産生能夠在可以說是核心的方面提高效率的算法智力要素：學習。
在 AI 的衆多學習算法中，值得注意的是人工神經網絡(ANN) 及其許多變體。人工神經網絡是互相連接配接的人工神經元的集合，它們逐漸從環境中學習并試圖模仿大腦中的一些基本資訊處理過程。
它們的功能由在神經元級别執行的處理、神經元之間的連接配接強度（突觸權重）和網絡結構（神經元的組織和連接配接）定義，這是本文讨論的核心。
一、神經元兩流行算法
在它們的整個演變過程中，淺層 ANN 在需要更高抽象級别的複雜應用程式的上下文中仍然存在多個問題。
然而，随着處理能力的快速提高，最近出現了成功實作更深層次架構的計算要求高的設計的機會。
Hinton 等人的貪心算法 等高效訓練算法的發展也幫助了 ANN 的複興。
此外，計算神經科學的發現引起了人們對受生物學啟發的深層架構的興趣增加，它更忠實地堅持人腦拓撲的神經科學理論。
在這次文章中，我們将比較研究的範圍限制在兩個現在流行的算法：Hinton 等人的深度信念網絡 (DBN) 和皮質算法 (CA)。
雖然已經開發了許多其他深度架構，包括用于順序資料處理的長短期記憶和用于圖像處理的卷積神經網絡，但這項比較研究比較了前饋架構。
具體來說，DBN 是一種更高效的深度架構訓練算法，與 CA 相比，CA 是一種具有更符合生物學特性的前饋架構。
深度神經網絡(DNN)，特别是 DBN，以其傳統形式呈現為 ANN 的最先進技術，其網絡拓撲由神經元模型層建構，但具有更先進的學習機制和更深層次的架構，而無需對構成人類智能的詳細生物現象進行模組化。
與 CA 相比，保持生物模組化的進階抽象，導緻 DBN 的數學模型更簡單。另一方面，如 Edelman 和 Mountcastle 的工作所述，CA 代表了向合并比 DBN 更多受生物學啟發的結構的轉變，如皮質柱以及抑制和加強學習規則。
二、來自神經科學
盡管神經科學和技術的進步已經允許對大腦結構進行較長的描述，但大腦中的學習過程尚未完全了解。在生物學上，大腦主要由大腦、小腦和腦幹組成。
大腦皮層，在生物學上被定義為大腦組織的外層，被認為負責進階功能，估計有 250 億個神經元通過數千公裡的軸突互相連接配接并在周圍傳播和擴散1014突觸同時，排列成六層并分為區域，每個區域執行特定任務。
雖然目前還不清楚大腦中的某些區域是如何變得特化的，但衆所周知，多種因素會影響大腦區域的功能特化，例如結構、連通性、生理學、發育和進化。
神經元，被認為是大腦中的基本元素，具有不同的形狀和大小，但都是相同基本方案的變體，即它們啟動相同的通用功能，但變得專門用于訓練。
雖然樹突是接收突觸輸入的場所，軸突可以遠距離傳輸電信号。對神經元的輸入會導緻神經元狀态發生緩慢的電位變化；其特性由允許時間總和的膜電容和電阻決定。
研究表明，皮層的組織可以看作是柱狀機關的聯合體，每個柱狀體都是一組具有相同屬性的節點。
人腦的學習主要是通過塑膠連接配接、反複接觸以及神經元的放電和抑制來進行的。
以簡化的方式，資訊在大腦皮層中流動會導緻大腦中的連接配接變得活躍，随着時間的推移，随着反複接觸，這些連接配接會得到加強，進而建立大腦中處理的資訊的表示。
此外，抑制神經元——實體上定義為禁止神經元放電—部分解釋了遺忘過程。
三、膚淺的開始
在節點級别，ANN 從簡化的 McCulloch-Pitts 神經模型 (1943) 開始，該模型由具有确定性二進制激活函數的基本求和單元組成。繼任者在每次疊代中都增加了複雜性。
在激活函數層面，線性、S形和高斯函數開始使用。輸出不再局限于實數值，而是擴充到複數域。
确定性模型讓位于模拟離子交換的随機神經元和脈沖神經元。所有這些添加都是為了實作更複雜的學習模型。
在網絡層面，拓撲開始于單層架構，例如 Rosenblatt 的感覺器 (1957)、Widrow 和 Hoff 的ADALINE網絡 (1960)和 Aizerman 的核心感覺器 (1964)。
這些架構性能不佳，無法學習 XOR 問題，這是一個簡單但非線性的二進制分類問題。
這導緻引入了更複雜的網絡，從多層感覺器（Rumelhart，1986）、自循環Hopfield 網絡（1986）、自組織映射（SOM 或 Kohonen 網絡，1986）開始，自适應共振理論（ART）網絡（1980 年代）和其他各種由于隐藏層數量少而被認為是淺層架構的網絡。
連續的疊代逐漸改進了他們前輩的缺點，并承諾提供更高水準的智能，由于硬體計算能力的改進以及更快、更有效的訓練和學習算法的發展，這一主張部分可行。
學習機制，無論是有監督的（反向傳播）還是無監督的（前饋算法），都同時成熟并允許在各種特定任務中獲得更好的性能。
盡管如此，針對這些淺層網絡的所有方面的創新的複合效應不足以捕捉真正的人類智能，而大量的計算需求阻礙了更深層次網絡的進步。
四、淺層網絡的局限性
監督學習提出了許多挑戰，包括維數災難，其中特征和訓練樣本數量的增加使得學習對計算的要求更高。
此外，由于固有的特征重疊，非線性資料更難劃分類别。由于無法将自己定位為強大的AI模型——Kurzweil 定義的一般智能行為——可以忠實地模拟人類智能，ANN在 1990-2000 年代落後于支援向量機(SVM)。
五、深層架構
2000 年代初期，由于處理能力的提高和更高效的訓練算法的引入使訓練深度架構變得可行，ANN 研究重新興起。
Hinton 等人的貪婪訓練算法簡化了玻爾茲曼機的訓練過程，而深度堆疊網絡将訓練分解為深度網絡的構成塊，以減輕計算負擔。
此外，Schmidhuber 的長短期記憶架構允許訓練更深的遞歸神經網絡。雖然這些架構并沒有從神經元以外的大腦中借用生物學特性。
但具有神經網絡拓撲結構的深層架構更忠實地遵守人腦拓撲結構的神經科學理論，在聯結主義社群中越來越受歡迎，部分原因是在計算神經科學。
Edelman 和 Mountcastle在該領域作出了一項重要且最相關的貢獻。他們的發現導緻從将簡化的神經元模型定位為架構的基本功能單元轉變為将該角色提升到皮質柱。
即以共同的前饋連接配接和強抑制性互相連接配接為特征的細胞集合。這為學習和形成早期 ANN 所沒有的感覺模式的不變表示提供了一種生物學上可行的機制。
此外，兩項補充發現被認為是模拟人類智能的關鍵。第一個是懷疑新皮質中存在通用計算算法。
無論潛在的智力如何，這種算法在這些地區都很普遍。無論任務是視覺、聽覺、嗅覺還是其他，大腦似乎都以非常相似的方式處理感官資訊。第二個是人類新皮質的層次結構。
大腦的區域是分層連接配接的，是以資訊的雙向流動合并到每一層的更複雜的表示中，進一步抽象感官刺激。
這兩項發現的結合構成了建構複制人類智能的架構的潛在基礎；實作通用算法的受生物學啟發的功能單元的層次結構。
這些來自神經科學的新穎見解已反映在機器學習(ML) 和 AI 領域，并已在多種算法的不同層中實作。
雖然 CA根據 Edelman 和 Mountcastle 的發現重構了神經元及其連接配接以及學習算法，但其他算法模拟了大腦工作的其他生物學理論。
諸如自适應思維特征 (ACT-R)之類的符号體系結構對工作記憶進行了模組化，并在需要時引用了長期記憶的集中控制。
層級時間記憶 (HTM)等湧現主義架構基于全球主義記憶模型，并使用強化或競争性學習方案來生成其模型。
內建兩類架構以形成混合架構也存在包括學習智能分布代理（LIDA）。
六、深度信念網絡
DNN是淺層 ANN 架構的更深層擴充，它由生物神經元的簡化數學模型組成，但并不像 CA 或其他一些 ML 方法那樣旨在忠實地模拟人腦。
DNN 基于 Neocognitron，一種受生物啟發的圖像處理模型，試圖通過知識的分層抽象來實作強大的人工智能模型。
資訊表示是在資料通過網絡傳播時學習的，較淺的層學習低級統計特征，而較深的層建立在這些特征的基礎上以學習更抽象和複雜的表示。
由于缺乏清晰的邏輯推理技能，DNN 需要更多的變形才能以人類的方式整合抽象知識。
遞歸神經網絡和卷積神經網絡于 1980 年代首次引入，可以被視為 DNN 的前身，并使用自 1974 年以來可用的反向傳播進行訓練。
七、結論
在這項工作中，我們在監督分類問題上比較了兩種 DNN 架構。雖然 DBN 可以很容易地被視為從傳統 AI 角度開發的成熟技術，但 CA 更受生物學啟發，可以歸類為正在形成的理論，紮根于從神經科學研究中繼承的原則。
在對 CA 和 DBN 進行經驗比較之前，提出了兩種算法的理論計算複雜性分析。根據分類精度比較多個 CA 和 DBN 網絡架構以及由此産生的網絡連接配接。
CA 使用六層架構在大多數資料庫上實作了最佳性能，其中隐藏層的隐藏神經元數量減少。
結果表明，較深的 CA 網絡的連通性低于較淺的 CA 網絡。此外，DBN 沒有修剪與 CA 訓練算法一樣多的連接配接。在測試的資料庫上，CA 的分類準确率普遍高于 DBN。
在這項工作的範圍内，我們試圖為讀者提供每個算法的足夠背景和技術細節，同時了解主題的廣度需要包含更多涉及的見解。
是以，我們敦促感興趣的讀者以本文為基礎，進一步探索快速擴充的深度學習子領域。
參考文獻
1.S.薩馬拉辛哈應用科學與工程神經網絡：從基礎到複雜模式識别CRC 出版社(2006)
2.G.HintonS.Osindero，Y.-W.一種深度信念網絡的快速學習算法神經計算。(2006)
3.EM 伊日科維奇哪種模型用于皮質尖峰神經元？IEEE 跨神經網絡。(2004)
4.H.De Garis,C.Shuo,B.Goertzel,L.Ruiting世界人工大腦項目概覽，第一部分：大規模大腦模拟神經計算(2010)
5.GoertzelLianArel De Garis Chen人工大腦項目的世界調查，第二部分：受生物學啟發的認知架構神經計算(2010)