天天看點

受顯微鏡下線蟲啟發,MIT推出「液态」神經網絡參數随時間可變,顯微鏡線蟲成靈感來源預測精确,小尺寸省下大量計算成本

作者:新智元

最近,麻省理工學院計算機科學與人工智能實驗室(CSAIL)的團隊推出了一個"液體"神經網絡,除了訓練過程外,還可以在實踐中學習,并用新的資料輸入進行更新,很好地适應現實生活中的可變性。有趣的是,靈感來自在顯微鏡下觀察線蟲神經元。

"液體"神經網絡?

這是什麼神聖的?

我想很有可能的是,當你第一次聽到這個詞時,你會好奇這個"聳人聽聞"的神經網絡到底是什麼。

最近,麻省理工學院的研究人員開發了一種神經網絡,除了在訓練階段學習外,還可以在實踐中學習。

這些靈活的算法被稱為"液體"網絡,可以不斷改變其基本方程以适應新的資料輸入。

受顯微鏡下線蟲啟發,MIT推出「液态」神經網絡參數随時間可變,顯微鏡線蟲成靈感來源預測精确,小尺寸省下大量計算成本

我們知道,一些資料流會随着時間的推移而變化,例如涉及醫療診斷和自動駕駛的資料流。這一進展有助于基于這些資料流的決策過程。

是以,這些新的神經網絡可以幫助自動駕駛和醫療診斷的決策。

該研究的主要作者Ramin Hasani說:

"這是未來邁向任何形式的時間序列資料處理的一大步,如機器人控制、自然語言處理、視訊處理等,具有巨大的潛力。

該研究将在二月份的AAAI人工智能會議上發表。

除了麻省理工學院計算機科學與人工智能實驗室(CSAIL)的博士後學生Hasani之外,麻省理工學院的合著者還包括CSAIL主任Daniela Russ,電氣工程和計算機科學的Andrew和Erna Viterbi教授,以及博士生Alexander Amini。

其他合著者包括奧地利科學技術研究所的Mathias Lechner和維也納理工大學的Radu Grosu。

受顯微鏡下線蟲啟發,MIT推出「液态」神經網絡參數随時間可變,顯微鏡線蟲成靈感來源預測精确,小尺寸省下大量計算成本

<h1>

參數随時間而變化,顯微鏡線蟲成為靈感來源

</h1>

時間序列資料無處不在,是幫助我們了解世界的重要參考,Hasani先生說。

"現實世界完全由序列組成。甚至我們的感覺也是如此:你不是在感覺圖像,而是在感覺一系列圖像。

"是以,事實上,時間序列資料創造了現實。

他指出,視訊處理、财務資料和醫療診斷應用是對社會至關重要的時間序列的例子,而這些不斷變化的資料流的變化是不可預測的。實時分析資料并使用它來預測未來行為可以推動自動駕駛汽車等新興技術的發展。

是以,Hasani建立了一種适合此類任務的算法。他設計了一個可以适應現實世界變化的神經網絡。

衆所周知,神經網絡是分析訓練資料以識别模式的算法,人們常說它們模拟大腦的處理。

另一方面,Hasani是直接在顯微鏡下的線蟲C.秀麗隐杆線蟲的靈感:

"它的神經系統中隻有302個神經元,但它可以産生意想不到的複雜動力學。

受顯微鏡下線蟲啟發,MIT推出「液态」神經網絡參數随時間可變,顯微鏡線蟲成靈感來源預測精确,小尺寸省下大量計算成本

在仔細研究了線蟲神經元如何被電脈沖激活并互相通信之後,Hasani對他建立的神經網絡進行了編碼。

在他用來建構神經網絡的方程中,他允許參數根據一組微分方程的結果随時間變化。

這種靈活性是關鍵 - 大多數神經網絡在訓練階段後表現得很規律,這意味着它們不能很好地适應傳入資料流的變化。

哈薩尼表示,他建立的"流動"網絡的流動性使其對意外或噪音資料更具彈性,例如大雨阻擋了自動駕駛汽車攝像頭的視野。

受顯微鏡下線蟲啟發,MIT推出「液态」神經網絡參數随時間可變,顯微鏡線蟲成靈感來源預測精确,小尺寸省下大量計算成本

"是以它更有活力,"他說。

他補充說,網絡的靈活性還有另一個優勢:"它更容易了解。

Hasani說,他的"液體"網絡避免了其他神經網絡常見的奇怪之處:

"僅僅使用微分方程來改變神經元的表示,就可以讓你探索一定程度的複雜性,否則這是不可能實作的。

由于該神經網絡中具有高度表達性的少數神經元,是以更容易觀察神經網絡的決策過程并确定網絡分類的原因。

"該模型具有更豐富的表達能力,"Hasani說,是以此功能可以幫助工程師更好地了解和提高液體網絡的性能。

準确的預測在小尺寸下節省了大量的計算成本

液體網絡在一系列測試中表現良好:

從大氣化學到交通模式的應用,模型在準确預測資料集的未來值方面比其他最先進的時間序列算法高出幾個百分點。

受顯微鏡下線蟲啟發,MIT推出「液态」神經網絡參數随時間可變,顯微鏡線蟲成靈感來源預測精确,小尺寸省下大量計算成本

"在許多應用中,我們看到了可靠的高性能,"Hasani先生說。

此外,由于網絡規模較小,是以在完成測試時進行計算不必昂貴。

"每個人都在談論擴大他們的網絡,"哈薩尼說。我們想要的是縮小規模,擁有更少但更豐富的節點。

該研究部分由波音公司,國家科學基金會,奧地利科學基金會和歐洲領先的電子元件和系統資助。

Hasani的計劃是繼續改進系統,為工業應用做準備:

"受到自然現象的啟發,我們有一個更具表現力的神經網絡,但這僅僅是個開始。

"接下來,我們面臨着一個明顯的挑戰:如何進一步發展它?"我們相信,這種網絡可能會成為未來智能系統的關鍵要素。

相關連結:

https://news.mit.edu/2021/machine-learning-adapts-0128