天天看點

大腦模拟NLP,高德納獎得主Papadimitriou:神經元集合演算用于句子解析

選自bdtechtalks

作者:Ben Dickson

機器之心編譯

一個簡單的大腦模型為人工智能研究提供了新的方向。世界頂尖計算機科學理論學家、哥德爾獎和高德納獎獲得者、哥倫比亞大學計算機科學教授 Christos Papadimitriou 關于「大腦中單詞表征」的演講。
大腦模拟NLP,高德納獎得主Papadimitriou:神經元集合演算用于句子解析

上周,Google Research 舉辦了一個關于深度學習概念了解的線上研讨會。研讨會上,獲獎的計算機科學家和神經科學家發表了演講,讨論了深度學習和神經科學的新發現如何幫助創造更好的人工智能系統。

盡管所有的演講和讨論都非常具有價值,但有一個特别突出的話題值得分享:世界頂尖計算機科學理論學家、哥德爾獎和高德納獎獲得者、哥倫比亞大學計算機科學教授、Christos Papadimitriou 關于「大腦中單詞表征」的演講。

大腦模拟NLP,高德納獎得主Papadimitriou:神經元集合演算用于句子解析

在演講中,Papadimitrio 讨論了我們對大腦中資訊處理機制日益加深的了解,如何有助于建立在了解和參與對話方面更加魯棒的算法。具體而言,他提出了一個簡單而高效的模型,該模型解釋了在大腦的不同區域如何互相溝通,來解決認知問題。

「現在發生的事情,也許是世界上最偉大的奇迹之一。」Papadimitriou 說道,這裡是指他如何與觀衆進行交流。大腦将結構化的知識轉換成電波,這些電波通過不同的媒體傳輸并到達聽衆的耳朵,然後又被大腦處理并轉化為結構化知識。

「毫無疑問,所有這些都通過神經元和突觸發生。但是,如何完成的呢?這是一個問題。」Papadimitriou 表示,「我相信在未來 10 年裡,我們會對細節有更好的了解。」

大腦中神經元集合

認知和神經科學領域正試圖弄清楚大腦中的神經活動是如何轉化為語言、數學、邏輯、推理等其他功能的。如果科學家們成功地用數學模型來描述大腦的工作方式,那麼他們将為創造能夠模仿人類思維的 AI 系統打開一扇新的大門。

許多研究集中在單個神經元,直到幾十年前,科學家們還認為單個神經元對應于單個思維。最流行的例子是「祖母細胞理論」,該理論認為,每個人的大腦中可能存在一個特殊的神經細胞,專門用于識别自己的祖母。但最近的發現駁斥了這種說法。新研究聲稱并證明了大量的神經元和每個概念相關,連接配接不同概念的神經元之間可能存在重疊。

這些腦細胞群被稱為集合(assemblies),Papadimitriou 将其描述為一組高度連接配接、穩定的神經元,代表着一個詞、一個想法、一個物體等。

神經科學家 György Buzsáki 将這種集合描述為「大腦的字母表。」

大腦數學模型

為了更好地了解集合作用,Papadimitriou 提出了一個大腦數學模型,稱為「互動循環網絡」。在這個模型下,大腦被劃分為有限數量的區域,每個區域包含幾百萬個神經元。每個區域内都有循環現象,這意味着神經元之間互相作用。這些區域中的每一個都與其他幾個區域有聯系。這些區域間連接配接可以被激發或抑制。

該模型具有随機性、可塑性和抑制性。随機性意味着每個大腦區域的神經元是随機連接配接的。而且,不同的區域之間随機連接配接。可塑性使神經元和區域之間的聯系能夠通過經驗和訓練進行調整,而抑制性意味着在任何時刻,有限數量的神經元被激發。

Papadimitriou 将此描述為一個基于生命的三種主要力量的非常簡單的數學模型。

大腦模拟NLP,高德納獎得主Papadimitriou:神經元集合演算用于句子解析

Papadimitriou 與一組來自不同學術機構的科學家一起,在去年發表的一篇論文中詳細闡述了這一模型。集合是模型的關鍵組成部分,并實作了科學家們所謂的「集合演算(assembly calculus)」,這是一組能夠處理、存儲和檢索資訊的操作。

大腦模拟NLP,高德納獎得主Papadimitriou:神經元集合演算用于句子解析

論文位址:https://www.pnas.org/content/117/25/14464

「這些行為不是憑空進行的。我相信它們是真實的,可以從數學上證明并通過模拟驗證這些操作對應真實的行為…… 這些操作對應于(在大腦中)觀察到的行為,」Papadimitriou said 表示。

Papadimitriou 和他的同僚們假設集合和集合演算是解釋大腦認知功能的正确模型,比如推理、計劃和語言。他在谷歌深度學習會議的演講中表示:大部分認知能力都符合這一點。

基于集合演算的自然語言處理

為了測試思維模式,Papadimitriou 和他的同僚建構了一個自然語言處理系統,該系統使用集合演算來解析英語句子。實際上,他們正試圖建立一個 AI 系統,模拟大腦中容納與詞彙和語言了解相對應的集合區域。

大腦模拟NLP,高德納獎得主Papadimitriou:神經元集合演算用于句子解析

Papadimitriou 說:「如果一個單詞序列激發了集合,這個引擎就會産生一個句子解析。」他承認,人工智能模型仍然是初步階段,缺少了語言的許多重要部分。研究人員正在制定計劃來填補現有的語言空白。但他們認為,所有這些部分都可以用集合演算來補充,這個假設需要通過時間的驗證。

大腦模拟NLP,高德納獎得主Papadimitriou:神經元集合演算用于句子解析

「這是語言的神經基礎嗎?是不是生來左腦就有這樣的東西,」Papadimitriou 問道。關于語言如何在人類大腦中運作,以及如何與其他認知功能聯系在一起,仍然有許多問題需要解決。但 Papadimitriou 認為,集合模型使我們更接近于了解這些功能,并回答剩下的問題。

原文連結:https://bdtechtalks.com/2021/05/27/artificial-intelligence-neurons-assemblies/amp/