當地時間9月19号，馬斯克的腦機接口公司Neuralink在其官網釋出了首次人體臨床試驗被試招募資訊，一時間引起了廣泛的關注與報道。
在經曆了多年臨床試驗申請後，美國食品藥品監督管理局（FDA）終于于今年五月準許了Neuralink的器械臨床試驗申請（investigational device exemption，IDE），即将開展的名為PRIME的臨床研究。此次研究旨在評估Neuralink全植入式無線腦機接口植入物與手術機器人的安全性，并評估腦機接口的性能表現，以幫助癱瘓患者通過大腦控制外部裝置。
圖源：每經網
那麼什麼是腦機接口？其存在哪些技術難點和發展方向？又有哪些應用呢？
什麼是腦機接口？
顧名思義，腦機接口是用于連接配接大腦與外部裝置的一套系統，它通過将腦信号轉換為控制指令，操控外部裝置行使功能。這一概念的提出發生于科學家對大腦工作原理的了解過程中：
1780年
意大利解剖學家Galvani首次發現了生物電現象；
1875年
英國生理學家Richard Caton在兔子和猴子的腦組織表面記錄到了電信号；
1924年
德國醫生H.Berger發明了腦電圖；
1969年
德裔美籍神經學家E. Fetz實作了利用單神經元的信号控制儀表，這可以說是最早的腦機接口雛形；
1973年
美國計算機科學家J. Vidal首次提出腦機接口的概念。
我們可以從多種角度對腦機接口進行分類。
基于信号采集過程是否需要進行手術可以分為侵入式（invasive）和非侵入式（noninvasive）腦機接口。
諸如Blackrock的Utah陣列電極和Neuralink的Thread都需要進行開顱手術，将電極植入到大腦皮層中采集神經元的動作電位，是以稱為侵入式。
Utah陣列電極 & Thread電極｜圖源：Neuralink官網
而通過腦電帽、近紅外頭帶和功能性核磁共振這些無創方式采集信号便稱為非侵入式。
腦電帽｜圖源：neuracle
信号采集手段決定了信号類型。
侵入式通常采集尖峰電位（spike）和場電位（LFP）信号；非侵入一般采集頭皮腦電（EEG）信号；皮層腦電（ECoG）信号則介于兩者之間。
常見腦機接口信号采集手段與類型｜圖源：參考文獻1
侵入式和非侵入式所采集到的信号品質差異就像是，在演唱會的第一排和場館之外的差距，前者有着巨大的時空分辨率優勢。
基于腦機接口功能可以分為運動、感覺和認知三個類型，例如助力癱瘓病人恢複上下肢運動，針對失明失聰者的感覺恢複，以及檢測注意力和情感的腦機接口。
基于信号産生誘因分為内源性和外源性兩種。内源性信号是由被試自發産生的，比如運動想象（motor imagine）；外源性信号是指由外部刺激誘發的腦信，比如當我們看到固定頻閃的圖像時，大腦視覺皮層也會産生相應頻率的振蕩信号，這種信号依賴于外部頻閃的激發，是以稱為外源性信号。
穩态視覺誘發電位是一種常見的外源性腦機接口｜圖源：騰訊雲
此外，基于大腦與機器間的資訊流向還可以分為單向和雙向腦機接口。單向腦機接口僅實作從大腦解碼到外設控制的單向資訊傳遞，而雙向或反向腦機接口還會通過電刺激将外部裝置感受到的信号回報給大腦，是以也稱之為寫入式腦機接口。
大多數腦機接口系統都可以歸納為信号采集、信号解碼和外設控制三個部分，而其中最關鍵的就是解碼部分。解碼的基礎是神經元的選擇性（selectivity）。
想象大腦中有一個神經元很喜歡蘋果而讨厭香蕉，當我們看到蘋果時它會賣力的高喊“我要！我要！”，看到香蕉時則沉默不語，我們可以很簡單的通過它的神經元活動強弱實作蘋果與香蕉的二分類判别解碼。
這就是對腦機接口原理的簡單描述，事實上早在1986年，Georgopoulos實驗室就已經基于猕猴運動皮層神經元的方向偏好性實作了對猕猴手動的解碼[2]。
腦機接口難在哪裡？
可能有人會疑惑，既然腦機接口的解碼原理如此簡單，目前又已經實作了通過腦機接口控制電腦、機械臂、輪椅、打字等等這些功能，為什麼馬斯克的臨床試驗如此備受關注？為什麼腦機接口還沒有走進尋常生活？
目前腦機接口所取得的成果基本都是在實驗室環境中，在特定場景和任務下，在個别患者上的結果。無論從安全性、準确性、易用性、通用性和成本等諸多角度，距離稱為商品還非常遙遠。
比如，侵入式電極會引起大腦内發炎反應，無法長期使用；記錄大量的神經信号可以顯著提高腦機接口表現，但需要晶片有更強大的處理能力；神經信号的變異性強，同時屬于小樣本資料，解碼器訓練十分困難。
腦機接口是一個交叉學科，需要整合神經科學、材料學、數學、機器學習、人工智能、內建電路等多方面的共同努力才能創造出完善的産品，這也是Neuralink為人稱道的原因之一。
腦機接口有什麼用？
下面我們通過兩個例子來展示腦機接口目前的發展方向。
重構所見之物
年初來自大阪大學的Shinji Nishimoto的研究團隊發表的一項工作被CVPR 2023（IEEE國際計算機視覺與模式識别會議）接收，該工作實作了通過Stable Diffusion将大腦活動重建為高分辨率的圖像[3]。
被試看到的圖像（第一行）與通過Stable Diffusion生成的圖像（第二行）｜圖源：參考文獻3
掃掃核磁就可以知道人腦内的圖像，是不是很神奇！仿佛讀心術和窺探夢境都不在遙遠。其實，這是腦機接口解碼思路和AI結合的出色範例。
Stable Diffusion是基于潛在擴散模型（Latent Diffusion Model）的圖檔生成模型，它可以通過圖檔或文字生成圖檔或對圖像進行修改。
潛在擴散模型｜圖源：參考文獻3
Stable Diffusion通過訓練自編碼器模型得到編碼器ε和解碼器D，利用編碼器可以将圖檔X降維到潛在表征空間z, 文本資訊通過編碼器τ得到語義表征c，再同經過擴散過程的zr一同得到zc，最後通過解碼器D生成圖像X'。
由此可以發現，LDM模型是由“圖檔/文字→潛在表征→圖檔”的過程，而fMRI信号的采集是被試看到圖檔時大腦的活動，也就是“圖檔→大腦→fMRI”的過程。
Nishimoto等人通過簡單的線性模型建構fMRI和潛在表征對相同圖檔的映射，利用大腦視覺通路的初級區域與進階區域分别解碼得到圖像表征z和語義表征c，作為輸入，使得模型生成與被試看到的圖像類似的圖檔。
解碼示意圖｜圖源：參考文獻3
在解碼器訓練中，被試往往難以完成大量任務，是以訓練集樣本通常較小；但AI模型可以通過大資料進行訓練以獲得優秀的生成能力；将兩者結合，可以一定程度上解決腦機接口面臨的小樣本訓練以及泛化的問題。
用機械手觸碰世界
侵入式腦機接口很重要的一個應用場景，便是幫助癱瘓患者控制機械臂重獲運動能力。但控制機械臂還遠遠不夠，患者還需要感受到機械臂。
運動控制包含前饋和回報兩部分，不加修正的快速完成目标運動是前饋，基于感覺不斷修正運動是回報。比如閉上眼，脫離視覺回報，我們也可以憑借記憶拿起桌上的杯子，但如果沒有觸覺回報，我們很難穩定地握住杯子。
2021年一篇發表在《Science》期刊上的研究工作就實作了向大腦寫入機械手的觸覺資訊，進而使患者更靈巧地控制機械手[4]。
Collinger 等人通過植入在患者運動皮層的陣列電極解碼運動意圖控制機械手，同時機械手的觸覺傳感器感受到的資訊編碼為不同模式的微電流刺激，通過植入在感覺皮層的電極回報給患者大腦。這一觸覺回報的加入使得患者在上肢運動能力評估（ARAT）中取得更好的成績。
雙向腦機接口示意圖｜圖源：參考文獻4
腦機接口并非天方夜譚，也不是橫空出世的新概念，而是已經經過了幾十年的實驗室研究，實作了諸多功能的一項技術。希望在不遠的将來它可以幫助更多的患者更好地生活。
參考文獻
[1] Thakor, N. V. Translating the brain-machine interface. Sci Transl Med 5, 210ps217, doi:10.1126/scitranslmed.3007303 (2013).
[2] Georgopoulos, A. P., Schwartz, A. B. & Kettner, R. E. Neuronal population coding of movement direction. Science 233, 1416-1419 (1986).
[3] Takagi, Y. & Nishimoto, S. High-resolution image reconstruction with latent diffusion models from human brain activity. 2022.2011.2018.517004, doi:10.1101/2022.11.18.517004 %J bioRxiv (2022).
[4] Flesher, S. N. et al. A brain-computer interface that evokes tactile sensations improves robotic arm control. 372, 831-836, doi:doi:10.1126/science.abd0380 (2021).
作者：葉箋，中國科學院神經科學研究所博士
編輯：小小蒲公英
— END —
轉載内容僅代表作者觀點
不代表中科院實體所立場
如需轉載請聯系原公衆号
來源：上海科技館
編輯：wnkwef