AI研習丨 類腦研究工作進展

文/ 黃鐵軍

報告主要有四個方面内容，一是為什麼類腦？二是怎麼類腦？三是生命模拟進展；四是類腦視覺進展。

一、為什麼類腦

類腦是人工智能最重要的研究方向之一，人工智能不可能脫離類腦完成獨立的研究。現在的深度學習、強化學習與傳統的符号主義、連接配接主義和行為主義密不可分，特别是連接配接主義。深度學習采用深度神經網絡，今天強化學習取得的成功，背後的訓練載體也是神經網絡，是以神經網絡在人工智能中的核心地位和基礎性作用确信無疑。

所謂類腦，本來就是連接配接主義的初心，連接配接主義的目标歸根結底是做一個什麼樣的神經網絡，類腦就是要做像生物大腦那樣的精細人工神經網絡。這幾年國内大家覺得類腦是一個新的研究方向，其實它本來就是人工智能發展的“主旋律”。

但在人工智能的發展過程中，人工智能領域所講的神經網絡，都是比生物神經網絡簡單得多，從1940 年的 MP 神經元模型（現在還在使用）一直到獲得 2018 年圖靈獎的深度神經網絡，經過了很多年疊代，也取得很好的成果，比如深度學習和強化學習實作了重大突破。但是是否問題就真的解決了？一方面，深度學習在人臉識别等方面取得了重大突破，但是它在做這些任務時還存在一些根本性缺陷。例如，現在人工智能可以區分上億張臉，但是如果加一個對抗，它就認不出是兩個人；加一張對抗圖檔，就檢測不到人，這種低級錯誤人不會犯。這個問題可以修改完善，但是不能窮盡，總會發現新的缺陷。

為什麼會發生這種問題？現在已經有很多更新檔方案或解釋，而歸根結底是因為今天的人工智能神經網絡與生物神經網絡相比還存在巨大差别，雖然有幾百層、上千層、多少億的連接配接，但是今天訓練出來人工神經網絡結構複雜性、神經元複雜性、網絡架構、機理複雜性等與生物神經系統相比還是“小巫見大巫”。這裡顯示的是視皮層的複雜性，且不說神經元的複雜性，僅神經元數量及複雜的結構關系，就是今天的人工神經網絡遠遠無法相比的。人工神經網絡的複雜性遠比生物系統簡單，功能存在巨大差異也就毫不奇怪了。

關于要做什麼樣的神經網絡、做到什麼程度，這件事在人工智能發展初期，甚至“人工智能”這個詞沒有出現時都有很多明确的觀點。現在回過頭來看，這些觀點到現在遠沒有做到。比如，第一個，計算機領域裡的先驅馮 • 諾依曼和圖靈。馮 • 諾依曼在 1948 年說過一個觀點，大腦視覺系統本身的連接配接模式可能是（視覺）原理最簡單的邏輯表達或定義，也就是，做計算機視覺系統、機器視覺系統，如果要能與大腦視覺功能相提并論，要尋找一個結構模式，最簡單的就是大腦本身，想做得比它簡單還要功能一樣，不可能。大腦最簡單的完整模型就是大腦本身，想把它形式化地簡化，用邏輯、用算法等方式來實作它是做不到的。當然，仿真大腦并不一定非用蛋白質和有機物實作，也可以用别的材料和器件，但是模型要做到像大腦一樣複雜、完整。

圖靈在 1950 年發表的人工智能領域第一篇文章《計算機器和智能》裡提到，“真正的智能機器必須具有學習能力，制造這種機器的方法：先制造一個模拟童年大腦的機器，再教育訓練。”但是，今天人工智不是這樣做的，都是用基本多層網絡，而不是用一個高精度的複雜的神經網絡開始訓練。是以，現在說人工智能還在初期，一點都不為過，和腦相比，差别太大。

二、怎麼類腦

腦肯定是一個重要的借鑒對象，怎麼類腦？這個問題有很大争議，不同的人看法也不同。

2013 年之前，我對人工智能和類腦的想法和大多數人類似，認為要做類腦的智能系統，首先要解決智能科學問題，搞清出智能是怎麼回事。但是2014 年前後我的想法有了根本性的變化，發現這種想法有局限性。說到底，科學是不是技術的基礎？是不是首先解決科學問題才能解決技術問題？當時我們調查了一些例子。

例 1 中國發明指南針是 11 世紀甚至更早，電磁學是 19 世紀。要解釋指南針為什麼指南，當然要用到電磁學、地球科學，而發明指南針時還沒有電磁學。但是沒有科學原理，就不能發明指南針嗎？

例 2 飛機發明是 1903 年，空氣動力學提出是在1939—1946 年之間，并且現在還在完善過程中。很顯然，飛機飛上天不是有空氣動力學的指導，而是萊特兄弟做了一個裝置，嘗試改進它，就上天了。

例 3 深度學習發展了 10 多年時，2012 年深度學習已經火熱了。後來，可解釋性越來越熱，很多人都說可解釋最重要，但問題在于，今天深度學習的可解釋性還在探索過程中，難道要等到可解釋原理研究出來再去發明深度學習？

曆史就是這樣，深度學習作為網絡系統工作得很好，用大資料訓練能夠取得很多實用價值，這是技術發明，而這個技術發明并不依賴于我們對神經網絡背後的資訊加工原理和數學模型的提出。雖然原了解釋非常重要，是重大科學問題，但它是深度學習發明之後的事。總之，不是先提出一套科學理論，再去指導技術專家發明一個神經網絡。

事情有先後，什麼是先，什麼是後？類腦怎麼做？等腦的科學原理都解釋清楚後再構造系統？當時我的一個重大思想轉折是，我們應該設計一個人工智能系統，而不是等着原理最終揭示。

空氣動力學理論提出者馮 • 卡門說：“科學家發現現存的世界，工程師創造未來的世界。”人工智能首先是技術，是創造越來越智能的系統。科學家是要發現事物背後的原理，不能僵化地認為科學發現是技術發明的前提。我剛才舉的例子是先有技術發明，後有科學發現，當然也有先有科學發現，後有技術發明的例子，兩者是互相促進、互相交織的過程。2013 年我的思維方式是受很多教育的影響，包括現在的很多教育和大家的看法都是這樣，先把科學問題解決再說技術。包括基金委，所有的項目都要寫科學問題，那麼，如果我們讓萊特兄弟和發明指南針的人寫科學問題，他們怎麼寫？這種單向思維方式有很大問題。

由上所述，人工智能和智能科學有什麼關系？我認為，腦科學（包括神經科學、認知科學）是探索生物智能的機理，屬于自然科學的範疇。智能科學是研究智能現象背後規律的科學，廣義的智能科學包括腦科學；狹義的智能科學專指以機器智能為對象的技術科學。腦是有智能的，是以它背後有規律。人工智能系統也有智能，背後的規律是什麼？我們要去研究如深度學習的可解釋性就是智能科學，如果一定分類，按照錢學森的定義就是技術科學。技術科學也是科學，腦科學是科學，自然界裡有宇宙、有大腦、有各種各樣複雜系統，有人認為大腦是最複雜的系統，大腦智能是最複雜的現象，是以把腦科學叫做“自然科學的最後疆域（the last frontier）”，有一定合理性。智能科學不僅研究腦，還要研究人造智能背後的規律，人能不能造出比腦智能更複雜、更奇怪或者更不同的系統？這種可能性肯定存在。我們不能說大腦是唯一的，不能說除了大腦之外就不能有别的智能系統，以及超過它的智能系統。從這個意義上講，智能科學是為科學探索開拓了一個無窮無盡的疆域。

這樣來看問題就很清楚，人工智能就是一門技術，這門技術構造很多複雜的系統，這個系統有應用目的，同時為科學研究提供越來越多的新對象，從這個角度來看，智能科學是技術進步的後果而不是前提。是以至少應該把智能科學和人工智能作為互相影響的過程，不能高高在上的理論指導實踐，這種觀點對雙方發展都不利。

我認識到這點後寫了一些文章，其中一篇題目叫做《人類能制造出“超級大腦”嗎？》。今天電腦已經在計算等方面很強，如果我們要做更智能的系統，一定要構造出更複雜的一個機器——“超級大腦”。怎麼做？按照目前技術的發展，我們什麼時候能夠造出這樣的機器？構造一個系統在神經網絡層次逼近大腦，在某些方面超過大腦，這樣一個實體基礎、載體。當時我預計 30 年能造出超級大腦，也就是大概 2045 年時人類有可能造出這樣一個機器，這個時間恰好就是計算機發明 100 周年時，1946 年計算機發明造出來第一台計算機，大約 2045年、2046 年造出新一代人工智能的實體基礎的機器，它作為載體意義上的能力可能與大腦相當。總之，我們要向大腦學的首先不是大腦的原理，那是一個長期的事情。現在能做的是在神經科學領域對大腦解析，神經科學已經給了很多基礎網絡架構及信号加工模型，能不能用電子形式把生物腦的結構和信号加工過程重制，這就是我說的“類腦機 / 仿腦機 / 電子大腦”。這些馮 • 諾依曼、圖靈都提過，這裡隻是說在現代技術條件下大概什麼時候能做出來。

做出這個機器後，訓練它肯定會産生功能，至于這個功能複雜到什麼程度現在不好說。因為這些功能是在機器上出現的，是以相對友善我們去了解背後的原理，它是一個人造裝置，比做腦實驗要簡單很多。如果在這個平台上探索能找到智能機理，可能對了解人的大腦有幫助，對加速揭示大腦奧秘是一個促進。當然，對大腦奧秘的了解有了進展，就可以繼續雙向循環下去。是以，類腦之路不要隻盯着大腦原理，而要從比較清楚的神經網絡結構開始構造疊代，這樣科學和技術互相促進，會加速這個過程。

很多老師都看過《AI 的 25 種可能》這本書，其中有一章給出了人工智能的三定律。第一定律稱為阿什比定律 (Ashby’s law)，觀點是任何有效的控制系統都必須與它所控制的系統一樣複雜，也就是一個簡單系統控制不了複雜系統。第二定律，生物體最簡單的完整模型就是生物體本身（馮 • 諾伊曼），沒有比它更簡單的能實作同樣功能的模型。第三定律，任何簡單到可以了解的系統都不會複雜到可以智能的運作，而任何複雜到可以智能運作的系統都會複雜到無法了解；也就是我們是不是真正能等到把大腦完全了解的那一天？如果相信它是個真正的智能系統，可能我們永遠無法了解。我們對大腦奧秘的揭示可能是一個無窮無盡的逼近過程，但是，即便沒有辦法了解它，也完全有可能在不了解智能的情況下把它建構出來。這是我的最主要觀點，即不了解智能也能把它造出來，這是人工智能方向應該做的。

三、生命模拟進展

因為有了基本的方法論，過去的六七年時間裡，我們團隊回到了生物神經系統，研制一個軟硬體來構造這個系統，希望 2045 年後能夠做出來。

大腦是神經系統、神經網絡，我們期望以人出生時大腦的神經網絡作為訓練人工智能的起點，前提是先要把神經網絡解析出來，然後才能重構它、模拟它。

如前面所說，大腦神經網絡的複雜度很高，這裡面至少有兩個經典工作，第一個是 1952 年做出、1963 年獲得諾貝爾獎的 Hodgkin-Huxley 方程，它是理論神經科學認可的表達神經元信号加工過程的數學實體模型。第二個是 1959 年的線纜理論，生物神經元有複雜的結構，很多的信号來源怎麼從樹突端最後彙合到胞體，再通過軸突送出去，這裡每段信号的變化過程都有一個模型——“精細神經模型”，它和今天人工神經網絡講的“點模型”有巨大差異，實作“精細神經模型”的複雜程度也特别高。

Hodgkin-Huxley 方程是一組微分方程，因為要精細模組化，複雜的神經元結構要切分成很多艙室，每個艙室都要有一組方程去描述，其計算複雜度比我們今天說的“N 個輸入，1 個輸出”的神經元模型複雜得多，計算複雜度高多個數量級，這也是為什麼這個工作沒有多少人做的原因。但是如果我們真要類腦，不到這麼精細的層次去類，怎麼可能實作腦的功能？是以必須要回到精細神經網絡結構，通過離子通道仿真等去重制神經元的信号加工過程。

這方面研究有很多人做，代表性工作有很多。這裡講的脈沖神經網絡用的 LIF 模型是最簡單的脈沖神經元模型，但還是點神經元。一直到 Hodgkin-Huxley 方程這樣的精細模型，中間有很多人做了簡化和優化工作。總之，目的就是希望能夠精确地實作 Hodgkin-Huxley 方程這樣的模型。

由上來看，神經形态計算或者脈沖神經網絡晶片與精細模拟還差得相當遠。為了解決這個問題，我們選擇的是軟體模拟路線，因為軟體可以和數學計算做得很接近，隻是它消耗的計算機資源高，但可以更接近生物的過程。其中最有名的是 1994 年耶魯大學的 Hines 提出的算法，以及開發出來專門做精細神經網絡模組化的 NEURON 仿真平台，今天超過80% 的大腦精細模組化的系統都是基于這個平台。

2015 年前後我們用 NEURON 仿真平台時發現計算效率太低，做不了較大規模的神經網絡，是以要做的第一件事就是在精度不變的情況下提升計算效率，這種工作是我們計算機專業比較擅長的。我的一名學生這件事做了 7 年，調研并比較了所有算法加速文獻，發現過去十幾年來效率提升非常有限，為此他博士期間一直在做優化算法，現在有了比較大的突破。

總的來說要發現精細神經元計算的并行性，而它是一個類似樹形的結構，并行性是天然存在的，關鍵是最優并行到底能做到多少，這是我們要解決的第一個問題——提出一個最優的并行算法，這是一個工作。第二個工作是将 GPU 的高速緩存、共享記憶體等特性充分挖掘出來去用、去優化，利用優化算法在 GPU 上實作。

做好這兩個工作後就可以做大規模的精細神經網絡仿真，我們采用 2020 年卡羅林斯卡研究所Hjorth 等提出的網絡建構方法，對小鼠紋狀體進行精細模組化，現在還沒有真實的上萬甚至更大的精細神經網絡生物，很多都是構造出來的。對比實驗采用的北京大學“生科 1 号”超算系統，其中每個 GPU 節點包含 4 塊 NVIDIA Tesla V100 GPU， 而CPU 平台，每個 CPU 節點采用 2 個 Xeon Gold 614216 核 CPU。在這個平台上對 1 萬精細神經元大規模的紋狀體網絡做模組化，共有 142 007 820 個艙室。對比結果顯示，在 30 個 CPU 節點上用 NEURON 并行仿真，仿真時間是 1 842 s；在 25 個 CPU 上仿真時間是 2 243 s；在 1 個 GPU 上仿真時間是 2 168 s。也就是這個加速相當于 1 個 GPU 節點等于 25~30 個 CPU 節點的能力，算法效率提升了 10 倍以上的。

另外一個工作就是 2018 年開始智源研究院做的高精度生命模拟系統。這個平台現在已經基本完整，但還不是一套成熟的軟體，其中裡面很多軟體有些是自己開發的，有些是領域通用的。目前整個體系已經建立，從資料采集，如解剖學的、電生理的、生物資訊學等資料導入後可以做加工、處理，使神經元的結構呈現出來。因為每個神經元要仿真，每個神經元的電生理按照 H-H 方程去調參數，調出一個神經元模型，逼近生物的電生理過程，以及把很多神經元搭成一個精細神經網絡，然後運作起來。在平台上也做一些模型，做模型隻是為了證明這個平台的能力。有生命科學價值的模型，還要與生命科學家後續開展協作。

現在在做簡單的線蟲模型和靈長類視覺模型。這是 2022 年智源大會上釋出的第一個階段對線蟲的模拟。線蟲是神經元最簡單的模式動物，隻有 302 個神經元，即便是這樣一個簡單的神經系統模拟，工作量和複雜度也特别高。1986 年線蟲 302 個神經元連接配接組關系就已經出來，至今三次諾貝爾授獎都與線蟲相關，但是到現在都沒有構造出一個高精度仿真線蟲。

我們做的工作就是首先将線蟲神經系統盡可能高精度仿真出來；其次要一條“活”線蟲，是以要給它構造一個三維流體的、實時的、動态的實體仿真環境，讓它在這個環境裡能夠活動、訓練，這樣才能把智能表現出來，實作全閉環的智能訓練。

仿真線蟲所用資料都是來自生命科學領域過去這些年測出來的電生理在内的各種資料，然後把它變成計算模型。這個工作隻是一個階段，302 個神經元是全的，連接配接關系也是完整的。高精度指其中 106 個與嗅覺和運動回路相關的神經元是高精度的，是有電生理的資料，而且用自己做的工具去訓練這些神經元，其信号加工動力學過程與電生理是逼近的。最複雜的神經元有 2 313 個艙室，最簡單的有 10 個艙室，支援的離子通道類别是 14 個。

線蟲身體以及線蟲所生存環境的實體仿真是另一方面工作。有了這兩個東西後就可以把一個線蟲放到一個環境裡去訓練它，它所有的感覺和控制是靠自己的神經系統進行調控，其身體控制 96 塊肌肉、3 000 多個運動單元。此精度在很多方面遠遠超出 OpenWorm 系統。

做線蟲隻是邁出了第一步，但是我認為全世界在這個方向會不斷加速，有可能在 2035 年就敢碰人類大腦，相信那時人類大腦的很多資料已經解析出來。

四、類腦視覺進展

視覺系統的工作。視網膜裡 60 多種細胞我們做了 20 多種，包括神經元和神經聯接的各種結構，希望 5 年之内把靈長類視網膜完全做出來。

我們不能僅做基礎科學探索，還要做應用。是以我們把靈長類視網膜中基本原理做成一個晶片，做成相機，作為脈沖神經網絡的信号輸入裝置。相機從機理上模拟生物的一部分，就是脈沖感覺，在性能上有巨大提升。例如，生物系統大約是 10 赫茲，做成電子晶片可以達到 4 萬赫茲（40 萬赫茲也能做到），這樣的晶片就能看到超高速風洞産生的激波。

五、結束語

1.人工智能是一門技術，目标是創造越來越智能的系統，大腦是最好的藍本。

2. 類腦之路是首先構造智能系統，是自底向上的方法論；然後再了解智能原理，而了解智能原理應該是構造出智能系統後的事情而不是前提。這裡闡述的類腦之路是模拟神經網絡結構和信号加工機理，從簡單的像線蟲、視網膜這樣的神經網絡，逐漸往複雜的像人的大腦去類。

3. 線蟲盡管隻有 302 個神經元，精細模拟很難，我們隻是邁出了一步，距離做一個真實的逼近線蟲還有很多工作要做。但是并不意味着生命模拟是一件長期的事情，相信和人類基因組一樣，一開始很難，随着各種技術手段進步速度會越來越快。很難預期，但是我認為差不多 20 年把人類大腦模拟出來是有可能的；大腦解析在神經科學的進步也是有可能的。

4. 類腦視覺方面，視網膜的功能模拟現在已經有了突破，結構的精細模拟大概走了一半的路程，可能還需要五年能模拟精細的視網膜。啟發人工智能是一個沿途“下蛋”過程——結構仿腦、功能類腦、性能大幅度超腦，比生物系統高多個數量級，應用價值也是巨大的。

（參考文獻略）

選自《中國人工智能學會通訊》

2022年第12卷第7期

演講實錄