当地时间9月19号，马斯克的脑机接口公司Neuralink在其官网发布了首次人体临床试验被试招募信息，一时间引起了广泛的关注与报道。
在经历了多年临床试验申请后，美国食品药品监督管理局（FDA）终于于今年五月批准了Neuralink的器械临床试验申请（investigational device exemption，IDE），即将开展的名为PRIME的临床研究。此次研究旨在评估Neuralink全植入式无线脑机接口植入物与手术机器人的安全性，并评估脑机接口的性能表现，以帮助瘫痪患者通过大脑控制外部设备。
图源：每经网
那么什么是脑机接口？其存在哪些技术难点和发展方向？又有哪些应用呢？
什么是脑机接口？
顾名思义，脑机接口是用于连接大脑与外部设备的一套系统，它通过将脑信号转换为控制指令，操控外部设备行使功能。这一概念的提出发生于科学家对大脑工作原理的理解过程中：
1780年
意大利解剖学家Galvani首次发现了生物电现象；
1875年
英国生理学家Richard Caton在兔子和猴子的脑组织表面记录到了电信号；
1924年
德国医生H.Berger发明了脑电图；
1969年
德裔美籍神经学家E. Fetz实现了利用单神经元的信号控制仪表，这可以说是最早的脑机接口雏形；
1973年
美国计算机科学家J. Vidal首次提出脑机接口的概念。
我们可以从多种角度对脑机接口进行分类。
基于信号采集过程是否需要进行手术可以分为侵入式（invasive）和非侵入式（noninvasive）脑机接口。
诸如Blackrock的Utah阵列电极和Neuralink的Thread都需要进行开颅手术，将电极植入到大脑皮层中采集神经元的动作电位，因此称为侵入式。
Utah阵列电极 & Thread电极｜图源：Neuralink官网
而通过脑电帽、近红外头带和功能性核磁共振这些无创方式采集信号便称为非侵入式。
脑电帽｜图源：neuracle
信号采集手段决定了信号类型。
侵入式通常采集尖峰电位（spike）和场电位（LFP）信号；非侵入一般采集头皮脑电（EEG）信号；皮层脑电（ECoG）信号则介于两者之间。
常见脑机接口信号采集手段与类型｜图源：参考文献1
侵入式和非侵入式所采集到的信号质量差异就像是，在演唱会的第一排和场馆之外的差距，前者有着巨大的时空分辨率优势。
基于脑机接口功能可以分为运动、感觉和认知三个类型，例如助力瘫痪病人恢复上下肢运动，针对失明失聪者的感觉恢复，以及检测注意力和情感的脑机接口。
基于信号产生诱因分为内源性和外源性两种。内源性信号是由被试自发产生的，比如运动想象（motor imagine）；外源性信号是指由外部刺激诱发的脑信，比如当我们看到固定频闪的图像时，大脑视觉皮层也会产生相应频率的振荡信号，这种信号依赖于外部频闪的激发，因此称为外源性信号。
稳态视觉诱发电位是一种常见的外源性脑机接口｜图源：腾讯云
此外，基于大脑与机器间的信息流向还可以分为单向和双向脑机接口。单向脑机接口仅实现从大脑解码到外设控制的单向信息传递，而双向或反向脑机接口还会通过电刺激将外部设备感受到的信号反馈给大脑，因此也称之为写入式脑机接口。
大多数脑机接口系统都可以归纳为信号采集、信号解码和外设控制三个部分，而其中最关键的就是解码部分。解码的基础是神经元的选择性（selectivity）。
想象大脑中有一个神经元很喜欢苹果而讨厌香蕉，当我们看到苹果时它会卖力的高喊“我要！我要！”，看到香蕉时则沉默不语，我们可以很简单的通过它的神经元活动强弱实现苹果与香蕉的二分类判别解码。
这就是对脑机接口原理的简单描述，事实上早在1986年，Georgopoulos实验室就已经基于猕猴运动皮层神经元的方向偏好性实现了对猕猴手动的解码[2]。
脑机接口难在哪里？
可能有人会疑惑，既然脑机接口的解码原理如此简单，目前又已经实现了通过脑机接口控制电脑、机械臂、轮椅、打字等等这些功能，为什么马斯克的临床试验如此备受关注？为什么脑机接口还没有走进寻常生活？
目前脑机接口所取得的成果基本都是在实验室环境中，在特定场景和任务下，在个别患者上的结果。无论从安全性、准确性、易用性、通用性和成本等诸多角度，距离称为商品还非常遥远。
比如，侵入式电极会引起大脑内炎症反应，无法长期使用；记录大量的神经信号可以显著提高脑机接口表现，但需要芯片有更强大的处理能力；神经信号的变异性强，同时属于小样本数据，解码器训练十分困难。
脑机接口是一个交叉学科，需要整合神经科学、材料学、数学、机器学习、人工智能、集成电路等多方面的共同努力才能创造出完善的产品，这也是Neuralink为人称道的原因之一。
脑机接口有什么用？
下面我们通过两个例子来展示脑机接口当前的发展方向。
重构所见之物
年初来自大阪大学的Shinji Nishimoto的研究团队发表的一项工作被CVPR 2023（IEEE国际计算机视觉与模式识别会议）接收，该工作实现了通过Stable Diffusion将大脑活动重建为高分辨率的图像[3]。
被试看到的图像（第一行）与通过Stable Diffusion生成的图像（第二行）｜图源：参考文献3
扫扫核磁就可以知道人脑内的图像，是不是很神奇！仿佛读心术和窥探梦境都不在遥远。其实，这是脑机接口解码思路和AI结合的出色范例。
Stable Diffusion是基于潜在扩散模型（Latent Diffusion Model）的图片生成模型，它可以通过图片或文字生成图片或对图像进行修改。
潜在扩散模型｜图源：参考文献3
Stable Diffusion通过训练自编码器模型得到编码器ε和解码器D，利用编码器可以将图片X降维到潜在表征空间z, 文本信息通过编码器τ得到语义表征c，再同经过扩散过程的zr一同得到zc，最后通过解码器D生成图像X'。
由此可以发现，LDM模型是由“图片/文字→潜在表征→图片”的过程，而fMRI信号的采集是被试看到图片时大脑的活动，也就是“图片→大脑→fMRI”的过程。
Nishimoto等人通过简单的线性模型构建fMRI和潜在表征对相同图片的映射，利用大脑视觉通路的初级区域与高级区域分别解码得到图像表征z和语义表征c，作为输入，使得模型生成与被试看到的图像类似的图片。
解码示意图｜图源：参考文献3
在解码器训练中，被试往往难以完成大量任务，所以训练集样本通常较小；但AI模型可以通过大数据进行训练以获得优秀的生成能力；将两者结合，可以一定程度上解决脑机接口面临的小样本训练以及泛化的问题。
用机械手触碰世界
侵入式脑机接口很重要的一个应用场景，便是帮助瘫痪患者控制机械臂重获运动能力。但控制机械臂还远远不够，患者还需要感受到机械臂。
运动控制包含前馈和反馈两部分，不加修正的快速完成目标运动是前馈，基于感觉不断修正运动是反馈。比如闭上眼，脱离视觉反馈，我们也可以凭借记忆拿起桌上的杯子，但如果没有触觉反馈，我们很难稳定地握住杯子。
2021年一篇发表在《Science》期刊上的研究工作就实现了向大脑写入机械手的触觉信息，从而使患者更灵巧地控制机械手[4]。
Collinger 等人通过植入在患者运动皮层的阵列电极解码运动意图控制机械手，同时机械手的触觉传感器感受到的信息编码为不同模式的微电流刺激，通过植入在感觉皮层的电极反馈给患者大脑。这一触觉反馈的加入使得患者在上肢运动能力评估（ARAT）中取得更好的成绩。
双向脑机接口示意图｜图源：参考文献4
脑机接口并非天方夜谭，也不是横空出世的新概念，而是已经经过了几十年的实验室研究，实现了诸多功能的一项技术。希望在不远的将来它可以帮助更多的患者更好地生活。
参考文献
[1] Thakor, N. V. Translating the brain-machine interface. Sci Transl Med 5, 210ps217, doi:10.1126/scitranslmed.3007303 (2013).
[2] Georgopoulos, A. P., Schwartz, A. B. & Kettner, R. E. Neuronal population coding of movement direction. Science 233, 1416-1419 (1986).
[3] Takagi, Y. & Nishimoto, S. High-resolution image reconstruction with latent diffusion models from human brain activity. 2022.2011.2018.517004, doi:10.1101/2022.11.18.517004 %J bioRxiv (2022).
[4] Flesher, S. N. et al. A brain-computer interface that evokes tactile sensations improves robotic arm control. 372, 831-836, doi:doi:10.1126/science.abd0380 (2021).
作者：叶笺，中国科学院神经科学研究所博士
编辑：小小蒲公英
— END —
转载内容仅代表作者观点
不代表中科院物理所立场
如需转载请联系原公众号
来源：上海科技馆
编辑：wnkwef