新智元報道
編輯：桃子 小鹹魚
【新智元導讀】神經科學會成為人工智能「超進化」的關鍵嗎？隻要模拟大腦，神經網絡就可以獲得相似或相同的智能。近日，神經科學家Patrick Mineault就2021年無監督學習的大腦模型做了總結回顧。
神經科學會成為人工智能「超進化」的關鍵嗎？
在深度學習和深度神經網絡火遍天下的今天，離不開對大腦的研究。
雖然我們還未探究清楚大腦如何工作，但這樣的大腦結構确實可以産生「智能」。
隻要模拟它，神經網絡就可以獲得相似或相同的智能。真正能夠學習人類的矩陣或許就在不遠處。
近日，神經科學家 Patrick Mineault 就2021年無監督學習的大腦模型做了總結回顧。
神經人工智能（neuro-AI）研究中最有說服力的發現之一是，訓練人工神經網絡執行比對大腦中單個神經元和集合信号的相關任務。
一個典型的例子就是腹側流（ventral stream），DNNs在ImageNet上訓練進行對象識别。
監督和任務優化網絡連接配接兩個重要的解釋形式: 生态相關性和神經活動可解釋性。
「What can 5.17 billion regression fits tell us about artificial models of the human visual system? 」這篇論文便回答了大腦區域是用來做什麼這一問題。
然而，正如Jess Thompson指出的那樣，這不是唯一的解釋形式。
特别是，任務優化網絡通常在生物學上被認為是不合理的，因為傳統的ImageNet訓練會使用1M圖像。
即便是為了讓嬰兒識别一項任務，他們必須每5秒接受一個新的監督标簽，例如父母指着一隻鴨子對孩子說「鴨子」，每天3小時，持續一年以上。
那對于非人類的靈長類動物和老鼠又是怎樣的一種情況？是以，尋找與人類大腦相比對的生物學上相似的神經網絡研究仍在繼續。
Jess Thompson的神經人工智能假說空間
自監督訓練方法有哪些
今年，我們已經看到無監督訓練方面取得很大進展，逐漸替代了自監督訓練的一些方法。
自監督訓練的一些方法如下:
·無監督學習旨在表示資料分布。該領域最常用的技術之一是變分自編碼器 （VAE）。
·自監督訓練旨在通過解決代理任務來找到良好的資料表示。如今，語言模型幾乎普遍使用自監督訓練，比如BERT和GPT-3。
·對比學習是自監督學習的一種特殊形式，其代理任務是預測樣本是來自正面還是負面（或幹擾項）。對比學習有很多不同的風格：MoCo、InfoNCE、SimCLR、CPC等。也有一些密切相關的非對比方法可以消除負樣本，包括BYOL和BarlowTwins。
·多模态學習是自監督訓練的另一種特殊形式，其目的是通過預測兩種不同的模态（如視覺、文本、音頻等）的共同子空間，或者預測一個模态共同的子空間。CLIP 便是一個典型的例子。
所有這些方法都允許我們在不需要監督情況下學習表示。其實，自監督和無監督方法相結合比隻使用監督方法在生物學上更合理。
就此，Mineault 回顧了今年MAIN、NeurIPS、CCN會議，以及其他預印本，并做出了一份關于無監督學習的大腦模型總結。
Unsupervised neural network models of the ventral visual stream
這篇論文剛剛發表在PNAS頂刊上，引用量已超過60。
論文位址：https://www.pnas.org/content/118/3/e2014196118
作者發現，無監督和自監督方法學習的表征與腹側流（V1，V4，IT）神經元實作方式一緻。論文摘要指出:
靈長類動物顯示出非凡的識别能力。這種能力是通過腹側視覺流實作的，腹側流是多個等級互相關聯的大腦區域。這些領域最好的定量模型是經過人工标記訓練的深層神經網絡。
然而，這些模型需要比嬰兒接收到更多的标記，使他們無法實作腹側流發展模式。
最近，在無監督學習取得的進展在很大程度上彌補了這一差距。我們發現，用最新的無監督學習的神經網絡在腹側流中獲得的預測精度等于或超過當今最好的模型。
這些結果說明了使用無監督學習來建立大腦系統的模型，并為感官學習計算理論提供了一個強有力的備選方案。
特别是，作者發現 SimCLR 和其他對比學習方法幾乎可以像監督學習方法一樣解釋腹側神經元。
訓練模型時标簽不是必要的，這篇論文是一個非常強有力的證明。
Beyond category-supervision:
Computational support for domain-general pressures guiding human visual system representation
論文位址：https://www.biorxiv.org/content/10.1101/2020.06.15.153247v3
Konkle and Alvarez 在論文提出了一個與 Zhuang 等人論文類似的問題:
腹側資訊流是否可以由一個不經過監督式學習訓練的網絡來解釋？他們使用功能磁共振成像而不是單個神經元的記錄來評估這一點。他們發現結果與Zhuang的文章大體一緻，并且有着自己獨特的執行個體——對比自我監督，以及其他類似的解釋 fMRI 資料的結果。
Your head is there to move you around: Goal-driven models of the primate dorsal pathway
這篇論文便是由神經科學家 Patrick Mineault撰寫，已在2021NeurIPS發表。
正如作者之前所讨論的，腹側神經元對形狀是有選擇性的。然而，視覺皮層輸出的訊息會傳送到兩個管道，一個是腹側流，另一個便是背側流，這是怎麼回事？作者通過比較許多自監督的3D網絡和不同的背側流區域，發現它們不能解釋非人靈長類動物單個神經元的反應。
論文位址：https://your-head-is-there-to-move-you-around.netlify.app/
是以， Mineault草拟了一個代理任務，世界上有生命的生物必須根據落在它的視網膜上的圖像模式來确定它自身運動的參數。
由此産生的網絡看起來很像背側流，這在定性和定量上都是真實的。目前，該模型的訓練是有監督的，但從智能體的角度來看，它是自監督的多模态學習: 智能體從另一個模态 （視覺） 中學習預測其自運動的參數 （前庭，傳出拷貝），這在生物學上可能是合理的。
視覺皮層的功能
視覺皮層的功能特殊化于通過自我監督的預測學習訓練有着異曲同工之妙。
項目首頁：https://ventral-dorsal-model.netlify.app/
Bakhtiari等人2021年的兩篇論文都獲得了NeurIPS spotlights。
Bakhtiari認為無論是人類、非人靈長類還是老鼠，哺乳動物的視覺單元都有背側和腹側流。
那麼，用人工神經網絡能解釋這兩者嗎？
Shahab通過在電影片段上訓練對比預測編碼（CPC）網絡，發現如果神經網絡包含兩條獨立的平行路徑，神經網絡會自發地形成背側和腹側流。
背側流路徑與小鼠背側區域比對良好，而腹側流與小鼠腹側流比對良好。
另一方面，經過監督訓練的網絡，或者隻有一條通路的網絡，就無法與老鼠的大腦相比對。
淺層無監督模型
研究人員最近發現淺層無監督模型最能預測小鼠視覺皮層的神經反應。
論文位址：https://www.biorxiv.org/content/10.1101/2021.06.16.448730v2.full.pdf
Nayebi等人2021年的論文表示深層神經網絡是受靈長類動物的視覺皮層啟發而開發的偉大模型，但對老鼠來說就不那麼适用了。
他們使用老鼠的視覺皮層資料（靜态圖像），并将其與不同架構的監督和自我監督網絡進行比較。
一個有趣的發現是，具有平行分支的淺層網絡能更好地解釋老鼠視覺皮層的資料。這證明了Shahab的發現。
Nayebi團隊提出的論點是，老鼠的視覺大腦是一個淺層的「通用」視覺機器，面對各種任務都能勝任，不像人類大腦中的深層神經網絡，隻對某一個任務特别精通。
Conwell團隊在NeurIPS 2021發表了另一篇關于小鼠視覺皮層自我監督學習的論文，并得出了與前兩篇論文一緻的結論。
論文位址：https://proceedings.neurips.cc/paper/2021/file/2c29d89cc56cdb191c60db2f0bae796b-Paper.pdf
超越人類
Geirhos等人在NeurIPS 2021的論文表明，人類非常擅長在失真情況（例如噪聲、對比度變化、旋轉等）下對圖像進行分類。
論文位址：https://arxiv.org/pdf/2106.07411.pdf
在這篇論文中，他們發現，新的自我監督和多模态模型在進行圖像分類任務時，魯棒性已經和人類不相上下。
其背後的一個重要因素是訓練網絡用了多少資料：用更多資料訓練的模型更魯棒。
那是因為新模型對紋理不太敏感，而對形狀更敏感，這也就意味着它們似乎走了更少的捷徑。當然，新模型仍然會犯明顯的錯誤。
多模态神經網絡
論文位址：https://openreview.net/pdf?id=6dymbuga7nL
Choksi團隊在2021年SVHRM研讨會上提出，人類大腦的海馬體包含多模态的「概念細胞」(例如詹妮弗·安妮斯頓細胞)，它們會對概念或圖像的文本表示做出反應。
有趣的是，CLIP也是這樣做的。
事實上在這篇論文中，作者利用公開的功能磁共振成像資料表明，多模态網絡，包括CLIP，最能解釋大腦海馬體的資料。
無監督深度學習
Storrs等人發表在《Nature Human Behaviour》的論文介紹了他們使用無監督學習預測人類對光澤的感覺。
他們在一組紋理上訓練pixel-VAE，并尋找pixel-VAE與人類感覺物體表面的方式的相似之處。他們發現，VAE很自然地将不同的紋理組成因素進行解耦，這一點非常符合人類的感覺方式。
此外，他們發現經過監督學習的網絡在這項任務上的表現反而不盡如人意。
今年，研究人員在将無監督和自監督模型與大腦比對方面取得了巨大進步。它們可以更好地比對大腦資料，還可以在沒有标簽的情況下進行訓練。
自監督為沒有人工标簽的學習打開了大門，但最新的模型經常需要大量的資料來進行訓練。例如，GPT-3基本上學習了人類積累的所有文本（大約5000億個token）。
相比之下，在最健談的家庭裡，孩子五歲時也就會接觸到約3000萬個單詞。
是以，即使GPT-3是一種看似合理的語言習得和表征機制，但與人類大腦相比，效率仍然相差4個數量級。
PS：作者還在更新哦！
作者介紹
Patrick Mineault是一名獨立神經科學家，此前，曾在Facebook擔任BCI工程師，還有谷歌的軟體工程師和資料科學家。
個人首頁：https://xcorr.net/about/
目前，他聯合創辦了Neuromatch Academy這家公司，并擔任CTO一職。
Mineault曾在McGill獲得了視覺神經科學博士學位，并在UCLA完成了博士後。在Facebook工作那段時間，他曾建構了一個BCI，能夠通過大腦實作打字。
LeCun 和 Jeff Dean就Patrick Mineault對過去一年無監督大腦模型的研究回顧進行了點評。
「Nice！但是 BYOL、Barlow Twins 和 VICReg 是用于訓練聯合嵌入架構的「非對比」方法。」
谷歌大牛Jeff Dean表示，這是2021年關于神經科學無監督學習和自監督學習一些非常棒的工作。
參考資料：
https://twitter.com/patrickmineault/status/1477088116682993665?s=21