天天看点

基于深度学习的运动想象脑机接口研究综述

作者:信息安全与通信保密

摘  要:近年来,随着脑机接口(Brain-Computer Interface,BCI)技术的进一步发展,对特征提取技术的鲁棒性的需求也持续增加。深度学习(Deep Learning,DL)作为多层次的神经网络模型具有从高维数据中进行特征提取并从分层表示中学习的能力,在分类识别任务领域中的表现优于手工选择特征的传统机器学习方法。深度学习模型可以自动学习高维的 EEG 数据集从而提取有效特征,因此基于深度学习的脑机接口成为该领域新的研究趋势。卷积神经网络(Convolution Neural Network,CNN)、深度信念网络(Deep Belief Network,DBN)和递归神经网络(Recurrent Neural Network,RNN)是深度学习中对脑电信号进行分析的三大主流算法。主要介绍了这三大主流深度学习算法的基本原理。为了探索能更好契合脑电数据特点的分类模型,还探讨了它们在BCI 中集成其他方法的实际运用。

内容目录:

1  基于卷积神经网络的运动想象脑电识别方法

1.1 卷积神经网络

1.2 EEGNet 模型

2 基于深度信念网络的运动想象脑电识别方法

2.1 深度信念网络

2.2 基于微分熵的 DBN

2.3 基于小波包分析的 DBN

3 基于循环神经网络的运动想象脑电识别方法

3.1 循环神经网络

3.2 BLSTM

3.3 基于共空间模式的 LSTM

4 混合型网络

5 结 语

脑机接口(Brain-Computer Interface,BCI)技术是一种能在人脑意识行为和外部设备之间建立起不依赖于人体肌肉组织和神经组织的直接交互的通道。作为一种新型的人机交互技术,脑机接口是当前神经工程领域最活跃的研究方向之一,在生物医学、神经康复和智能机器人等领域具有重要的研究意义和巨大的应用潜力。

运动想象(Motor Imagery,MI)是 BCI 研究领域常见的任务模式之一,在不同的运动想象状态下,大脑皮层相关的区域产生与任务相关的脑电活动振荡回应。基于脑电(Electroencephalogram,EEG)的运动想象脑机接口(MI-BCI)系统将采集到的某一具体的人脑意识任务信号进行处理和分析,并将模式识别结果转化为相应的指令来控制外部设备,被广泛应用于康复医学应用,如人工假肢的神经控制。MI-BCI 的出现为解决高度残疾患者提高与环境的交互能力这一问题提供了新的解决方向,即将患者的意图脑信号转换为外部肢体的运动。

脑机接口技术的应用依赖于可以对脑电信号进行准确分类以及系统的鲁棒性。BCI 系统常用的脑电信号特征提取方法(时域特征提取、频域特征提取、空域特征提取)无法从高维脑电数据中提取出更有效的脑电特征,而深度学习(Deep Learning,DL)的自动学习高维数据选择特征的特点解决了这一问题,且能够在很大程度上缓解传统的手工选择特征的问题。通过深度学习强大的分析能力,可以实现对脑电信号的有效表征,为准确识别不同的大脑状态提供了方向。

提取脑电信号准确有效的特征,难点在于脑电信号是一种随机性强、背景噪声强、非平稳的信号,且不同被试者间存在较大的个体差异,这些都使脑电信号分析面临着较大的挑战。选择合适的深度学习模型进行脑电信号分析,不仅是为了提高分类精度,也是为了解决在跨范式、跨被试、跨试验情况下系统仍具有良好的鲁棒性等问题。为选择合适的深度学习模型,本文首先讨论了卷积神经网络(Convolution Neural Network,CNN)、深度信念网络(Deep Belief Network,DBN)和递归神经网络(Recurrent Neural Network,RNN)等深度学习模型,以及在通用架构上改进的适用于脑电信号的深度学习模型变体,还讨论了深度学习模型和其他脑电特征提取方法结合的混合模型,最后讨论了深度学习模型之间的融合。

1

基于卷积神经网络的运动想象脑电识别方法

1.1 卷积神经网络

卷积神经网络最早由纽约大学的 Yann Lecun于1998年提出,其本质是一个多层感知机,主要思想是局部感知(local field)、权值共享(sharedweights)和下采样(subsampling),主要用于图像与一维时序信号的自动特征提取和分类,其在计算机视觉和语音识别领域中的使用已经非常广泛。使用 CNN 进行深度学习是生物医学信号领域新的研究热点,而且在 EEG 数据分析方面表现非常出色。CNN 是一种多层前馈神经网络,其典型结构如图1所示,主要由卷积层、激励层、池化层和全连接层4种结构组成。

基于深度学习的运动想象脑机接口研究综述

图 1 CNN 典型结构

1.2 EEGNet 模型

1.2.1 EEGNet 模型的架构

Lawhern 等人提出的 EEGNet,是一种用于基于 EEG 的 BCI 的紧凑型的深层卷积神经网络。在训练数据有限的情况下,EEGNet 具有更强的泛化能力和更高的性能,可以有效地推广到事件相关电位(Event Related Potential,ERP) 和 基 于 振 荡 的BCI。此外,EEGNet 能提取出神经生理学上可以解释的特征 。

如 图 2 所 示,EEGNet 模 型 的 架 构 包 括 两 个卷 积 块 和 一 个 分 类 块。第 1 个 卷 积 块 包 含 了 一层 常 规 的 二 维 卷 积 和 一 层 深 度 卷 积(Depthwise Convolution,DC),第 2 个卷积块使用了深度可分离卷积(Depthwise Separable Convolution,DSC),分类块直接使用 Softmax 进行分类。并且在每一个卷积操作后都使用了 BN 操作,每一个卷积块中都添加了 dropout,激活函数选择了 Linear 函数和指数线性单元(Exponential Linear Unit,ELU)函数。图2 中,参数 C 为原始脑电信号的通道数,T 是每个trail 的采样点数,

基于深度学习的运动想象脑机接口研究综述

是时间滤波器的个数,D 是空间滤波器的个数,

基于深度学习的运动想象脑机接口研究综述

是点滤波器的个数,N 是类别数。在 Dropout 层,对于同一被试数据,分类任务以概率 p=0.5 随机断开一部分神经元的连接,对于不同被试数据,分类任务则以概率 p=0.25 随机断开一部分神经元的连接。

基于深度学习的运动想象脑机接口研究综述

图 2 EEGNet 模型架构

1.2.2 深度可分离卷积

深度可分离卷积是轻量级神经网络的主要结构,其主要功能是在保证网络非线性和充分利用特征信息的同时,压缩网络结构,大大减少了模型的参数和计算量。深度可分离卷积结构上包含一个深度卷积层和一个点卷积层(pointwise convolution layer),其主要原理是先使用深度卷积对上层输出的特征图的空间信息进行融合,然后使用点卷积对特征图的通道信息进行融合。

深度卷积是一个逐通道卷积的操作,具体实现是先将来自上一层输出的 N 通道特征图(feature map)拆分为 N 个单个通道的特征图,再分别对它们进行单通道卷积,最后重新堆叠到一起。因为一个卷积核负责一个通道,一个通道只被一个卷积核卷积,所以深度卷积层的卷积核数量是上一层输出的通道数。

点卷积是一个逐点卷积的卷积操作,对来自深度卷积层的特征图进行卷积,点卷积与常规的卷积操作很类似,只是点卷积的卷积核的大小固定为(1,1)。因此,点卷积弥补了深度卷积没有有效利用不同通道在相同空间位置上的特征信息的不足。

1.2.3 EEGNet 模型的优点

EEGNet 模型的优点是使用了激活函数 ELU,以及架构上选择了深度可分离卷积。ELU 函数融合了 sigmoid 函数和 ReLU 函数,右侧的线性部分无饱和性,能够缓解梯度消失问题,左侧具有软饱和性能,对输入变化或者噪声更鲁棒。由于 EEG 信号是一种背景噪声和随机性很强的非平稳信号,因此 ELU 函数抗噪声能力强的特点很适合用来处理EEG 数据。架构上选用深度可分离卷积能够减少网络参数和计算量,使得模型能够更快收敛。

1.3 基于图谱的卷积神经网络

1.3.1 小波变换的特点

一般的信号处理方法如傅里叶变换在处理平稳信号、理想信号时表现比较优秀,但对于不平稳、随机性强的脑电信号来说并不适用。同时注意到,如果使用一个窗函数将不平稳信号切割成比较小的信号片段,就能将这些短时信号片段看成平稳信号,就可以使用傅里叶变换对其进行分析,这种方式就是短时傅里叶变换(Short-Time Fourier Transform,STFT)。然而其窗口的大小和形状是固定的,不具有自适应性,因此在实际问题的应用中,无法很好地兼顾高频谱信息。在这样的背景下,引入了小波变换(Wavelet Transform,WT)。小波变换也是常用的时频分析方法,可以通过对小波基函数的伸缩和平移对原始信号进行多尺度分解。本文将尺度理解为时间窗口,较大的尺度因子对应着宽小波,频带较低,此时能得到原信号中的低频成分信息。因此对不同频谱的信号都能进行比较全面的细化分析,具有多分辨率分析的优点。

小波变换像是一个数学显微镜,能够放大局部信号的细节部分,这一优点是对短时傅里叶变换的局部化思想的继承和发展,同时又克服了短时傅里叶变换窗口大小不具有自适应性等缺点。

1.3.2 小波时频图

Lee 等人提出了使用连续小波变换(Continuous Wavelet Transform,CWT) 提 取 脑 电 信 号 时 频 特征,并将生成的小波时频图作为一维 CNN 的输入。结果表明,与传统的基于机器学习的分类方法相比,该模型具有更好的分类准确率。小波变换主要包括 CWT 和离散小波变换(Discrete Wavelet Transformation,DWT)。这里讨论的是连续小波变换。连续小波变换将信号从时域转换为时频域进行分析。它的优点是能够对小波基函数的尺度因子和位置参数进行调节,使小波变换能够在短时间内适用于信号分析 。

Morlet 小波变换是连续小波变换的一种,其基本思想是:将连续的时间信号和 Morlet 小波进行卷积,从而获得随时间变化的时频能量分布。使用多尺度小波分解对原始脑电信号进行分解,不同运动想象任务下小波能量具有显著差异,因此可以推断在不同任务的运动想象状态下,由小波变换得到的小波时频图能提取出有效特征。

这种方法将 EEG 信号从一维时间序列转换为二维图像来处理,通过对原始脑电信号进行连续小波变换得到的时频图作为 CNN 的输入,得到任务分类结果。基于小波时频图谱的卷积神经网络对运动想象脑电信号进行分类处理的方法属于比较传统的做法。

1.3.3  脑地形图作为 CNN 的输入

众所周知,和传统的机器学习算法相比,深度学习表现出更强的数据依赖性,在样本量增加的时候,使用深度学习进行脑电信号分类可以得到更好的分类性能。由于使用小波变换一次试验只产生一个小波时频图,样本量较少,因此 CNN 分类精度无法得到很大的提高。Ayman 等人在 2020 年提出的将一维脑电信号的时间序列转换为二维脑电地形图,每次试验选取两秒的时间窗,每一个采样点产生一个地形图,每次试验能产生 2× 采样率个地形图,大大扩充了样本量,同时也可以让 CNN 从空间和时间两个维度学习到不同运动想象任务的细微特征,因此可能得到更好的分类精度。

1.4 基于迁移学习的 VGG 网络

1.4.1 迁移学习

BCI 在线系统通常需要在被试者使用系统前采集大量该被试者的脑电数据,从而对分类模型进行离线训练。并且需要让训练数据和测试数据在相同的特征空间中,服从相同的统计分布 。然而采集被试者大量的数据比较困难,不同被试者的脑电数据之间存在较大的差异,直接使用其他被试者的脑电数据训练分类模型对系统的鲁棒性要求比较大。因此,为了克服脑电数据样本量缺乏导致网络训练不足的缺点,以及针对被试者个体间存在较大差异这一特点,提出的另一个方法是在深度卷积神经网络的基础上引入迁移学习。

迁移学习将在相关领域学习到的特征应用到当前领域的任务上来,使得模型在目标域中没有大量脑电数据的情况下,通过在相似域中学习到的先验知识也能对目标任务进行学习 。迁移学习是一种深度学习技术,基于卷积神经网络的迁移学习用于快速准确地训练一个 CNN,且 CNN 网络参数不从0 开始初始化,而是把在其他被试者的脑电数据集上训练好的模型参数迁移到该被试者的 CNN 模型并作为该模型的参数初始值。

1.4.2 VGGNet

VGGNet 是卷积神经网络中具有优良分类性能的网络模型。其特点是全部使用 3×3 的小卷积核和 2×2 的池化核来进行架构,每层卷积层包含 2 ~ 4 个卷积操作,其网络深度一般为 11 ~ 19层, 比 较 常 用 的 是 VGGNet-16( 包 含 16 层) 和VGGNet-19(包含 19 层)。将多个小卷积核堆叠形成的一个卷积层代替只包含一个大卷积核的卷积层,可以增加空间感受野、减少参数并且增加非线性映射次数,增强了模型对数据的拟合能力。VGGNet 不仅对大规模数据集有良好的分类效果,对小数据集也有良好的扩展能力。

迁移学习应用到脑电分析领域,将预先训练好的深度学习网络进行微调,让它对新任务进行学习,需要通过以下几个步骤实现:(1)由于 VGGNet的输入要求是 224×224 的 RGB 图像,所以需要先把脑电信号从一维的时间序列转换为 224×224 的二维图片,实现方法可以参考本文 1.3 节。(2)选择一个预先训练好的 VGG 网络。(3)使用新数据集训练好的网络层替换原来训练好的 VGGNet 的最后面几层,并指定输出层的分类数。(4)选择合适的优化器、初始学习率和 batchsize 等一些训练参数并训练模型。Raghu 等人提出了另一种方法,使用预先训练的网络直接从指定层中提取图像特征,并使用 SVM 分类器对特征进行分类,也得到了比较好的准确率。

基于深度信念网络的运动想象脑电识别方法

2.1 深度信念网络

2.1.1 深度信念网络概述

深 度 神 经 网 络(Deep Neural Network,DNN)和简单神经网络架构上相似,但因其能对网络输入和输出之间复杂的非线性关系进行灵活、高阶的建模而备受关注。DNN 也存在一些问题,当神经网络的层数增加时,模型参数迅速增长,带来了模型训练时间长、反向传播过程容易出现梯度消失且需要大量训练样本等一些缺点。为了解决深度神经网络的训练问题,Geoffrey Hinton 于 2006 年提出了DBN,其通过逐层训练的方式解决了深层网络的上述问题。DBN 的优势在于通过无监督逐层训练的预训练方法,可以在不需要带标签数据的情况下生成模型权重,且逐层训练的方式大大减少了计算量。预训练结束后对带标签的数据使用 BP 算法可以对模型的性能进行调优,这在没有大量标签数据的情况下非常有效。

2.1.2 限制玻尔兹曼机

DBN 是 由 多 个 限 制 玻 尔 兹 曼 机(Restricted Boltzmann Machines,RBM)组成的,从底层到顶层逐层训练。RBM 具体分为两个层次,分别是可视层和隐藏层 ,其中可视层用于接收输入的训练数据,隐藏层用于提取特征,且具有层内无连接、层间进行全连接的特点。具体的逐层训练过程:(1)最底层的 RBM 接收输入层的原始训练数据,经过训练提取特征;(2)前一层 RBM 提取到的特征作为下一层 RBM 的输入继续训练。于是将 DBN复杂的训练过程简化成对多个 RBM 进行训练。

2.2 基于微分熵的 DBN

熵是热力学中表征物理状态的度量之一,其物理意义是表示体系的混乱程度。在信息论中,信息熵表示了信号的不确定性程度,是系统内信息含量的量化指标。对于脑电信号这类随机性、不确定性强的信号而言,信号的具体取值具有很大的不确定性,因此信息熵可以作为脑电信号所携带信息量的度量。

微分熵是一种连续随机变量的熵,用来度量连续随机变量的复杂度。对于一定长度的脑电信号序列,它在某一频段的微分熵等价于它在该频段的能量谱的对数值,而取对数可以在一定程度上平衡高、低频带能量特征值之间悬殊的差距,因此使用微分熵特征作为 DBN 的输入比傅里叶变换直接得到的能量谱特征更能降低由于能量悬殊的差距给后续计算带来的误差 。

2.3 基于小波包分析的 DBN

小 波 包 分 解(Wavelet Packet Decomposition,WPD)是在 WT 的基础上发展起来的,它克服了WT 在高频段频率分辨率较差、低频段时间分辨率较差的问题,可以对中、高频信号进行更好的时频局部化的分析,是一种更精细的时频分析方法。同时,WPD 继承了 WT 的优点,可以根据被分析信号的特点,自适应选择合适的频带与被分析信号相匹配,提高信号的分析能力。

小波包分析方法利用多次迭代对原信号进行多尺度的小波包分解,再对小波包子空间的高频和低频信息同时进行分解。选取合适的小波基函数和尺度因子是能够提取到有效脑电特征的保障,且往往需要在实验中不断进行调整。小波包分析方法可以以小波系数的对数值、均值、方差值等作为特征,也可以提取多尺度的空间能量特征将其作为 DBN的输入。

Lu 等 人提出了一种频域深度信念网络(Frequential DBN,FDBN)用于对 MI 任务进行分类。该模型首先使用快速傅里叶变换(Fast Fourier Transform,FFT)和 WPD 提取 EEG 信号的频域特征,并将这些特征作为 DBN 的输入去训练 DBN 网络。结果表明,FDBN 的性能得到了显著提升,并且对同一被试者跨会话的 MI-EEG 信号分类具有比较好的效果。

基于循环神经网络的运动想象脑电识别方法

3.1 循环神经网络

3.1.1 循环神经网络概述

在传统的神经网络模型中,都是从输入层经过隐藏层,然后再到输出层,层间的节点是没有连接的,也不会保存任何状态信息 。而循环神经网络(Recurrent Neural Network,RNN)是一种特殊的神经网络,其核心部分是循环单元进行链式连接,对每一次输出信息都进行记忆并且作用于下一次输出的计算中,隐藏层之间的节点建立起了连接,给定了当前输入的上下文环境,对于处理时间序列问题有比较好的效果。因此,将 RNN 应用到脑电分析识别任务中。RNN 可以在预处理阶段增强 EEG 信号,从而提高 BCI 性能,且 RNN 不会对混合在待滤波信号中的噪声性质做任何假设,因此十分适合处理EEG 信号这样的混合着未知特性噪声的信号。RNN 的输入可以是原始的脑电信号,也可以是提取的脑电特征。

3.1.2 长短时记忆神经网络

1991 年,Hochreiter 等 人 提 出 了 RNN 有 长 期依赖的问题,在对长序列进行学习时,RNN 会出现梯度消失和梯度爆炸现象。为解决这一问题,Hochreiter 等人提出了一个结合基于梯度的学习算法的新型循环网络结构,即长短时记忆(Long Short Term Memory,LSTM)神经网络,其特点是在标准 RNN 网络结构的基础上引入了一个由 sigmoid层和点积操作构成的门单元(遗忘门、输入门、输出门)。实现 LSTM 需要经过 4 步:(1)通过遗忘门将当前输入和前层输出信息中选择性丢弃一些信息;(2)通过输入门的 sigmoid 层决定哪些是需要更新的信息,tanh 层生成需要更新的内容;(3)更新细胞状态;(4)通过输出门输出基于细胞状态过滤后的部分。LSTM 通过控制上层输出和当前输入的记忆和遗忘程度选择性存储信息,因此能实现长时记忆的效果。Leon-Urbano 等人使用多层 感 知 机(Multilayer Perceptron,MLP) 和 LSTM模型对手脚运动想象任务的数据进行分类,结果表明 LSTM 具有更好的性能 。Wang 等人提出使用一维聚合近似(1d-AX)提取的 MI 脑电特征作为LSTM 网络的输入的 AX-LSTM 模型具有较好的分类性能。

3.2 BLSTM

1997 年,Schuster 等 人提出了具有深度结 构 的 双 向 递 归 神 经 网 络(Bidirectional RNN,BRNN),它可以在两个时间方向上训练网络并且同时最小化两个时间方向上的目标函数,真正意义上给出了当前输入的上下文环境。双向和门单元的特点大大提高了 RNN 的学习能力。在此基础上,Graves 等人于 2005 年提出了双向长短时记忆(Bidirectiona LSTM,BLSTM)网络,即把具有门机制的 LSTM 和双向递归的 BRNN 结合起来,从而能够获得长时的上下文信息,更有利于 RNN 网络的学习。

BLSTM 把从两个时间方向处理信号得到的特征向量组合起来用于识别 EEG 信号状态的特征,这样的结构能够使在线系统更加准确地捕捉到运动想象事件发生的起点和终点,有利于连续脑电信 号 的 识 别 与 分 析。Sridhar 等 人 使 用 BLSTM 对左右手运动想象任务进行分类并取得了不错的效 果。Ma 等 人 使 用 标 准 LSTM 和 BLSTM 的 并行网络来学习 EEG 信号的时空信息,充分利用了有限的数据并且在试验之间具有更好的泛化能力。

3.3 基于共空间模式的 LSTM

基于空间滤波的深度学习是通过空间滤波提取EEG 通道间的差异性作为神经网络的输入。最常见的应用于 MI 任务的空间滤波方式是共空间模式(Common Spatial Pattern,CSP)。

Kumar 等 人提 出 了 一 种 结 合 CSP 和 LSTM网络对 MI 任务进行分类的模型,该模型的主要工作流程是通过滑动窗口从空间滤波后的数据中获取时间序列,并将其作为 LSTM 网络的输入。由于脑电信号中常常存在一些与任务无关的噪声和其他非任务相关活动(比如眼电、肌电信号等),这些信号对 MI 任务的精确分类造成了比较大的影响,而该模型证明了对含非任务相关活动的不同 MI 任务进行实时分类的有效性。

CSP 是一种监督学习方法,训练样本是两组含标签的脑电数据。CSP 的目标是通过适当的矩阵变换,将高维的脑电信号转换到低维子空间,得到的一个最优矩阵可以最大化两类数据的方差。具体实现步骤是通过对每组训练数据求平均协方差矩阵,然后对公共协方差矩阵进行主成分分解、白化等操作,将生成的白化矩阵作用于两类训练数据的平均协方差矩阵,使得两类训练数据方差最大化,此时两组脑电信号具备了区分的特征。再通过主成分分解等操作得到公共特征矩阵 W,利用矩阵 W 得到投影矩阵。最后将投影矩阵作用到原始脑电信号上,得到脑电特征数据。测试数据通过公共空间滤波器能够实现两类数据的协方差最大化,即一类方差最大,一类方差最小,得到的特征向量增强了两类数据的差别。采用近似联合对角化(Joint Approximate Diagonalization,JAD)方法可以将两类CSP 方法推广到多类 CSP 方法 。

混合型网络

单一的深度学习模型不能满足对 EEG 信号进行全面分析的要求,除了其他方法和深度学习结合,这三大深度学习算法之间也进行一定程度的结合,从而更好地进行 EEG 信号的分析。在 MI 的分类识别任务中,CNN 和 RNN 是实际应用中采用最多的深度网络架构。因此,在对 MI 任务进行分类识别的混合深度学习网络中,常见的组合是 CNN 和RNN 混合。CNN 负责提取高维空间特征,RNN 负责提取出脑电信号的时间成分,两者将时间和空间特征信息整合,共同作用于脑电信号特征的提取。Yang 等人提出了一种结合 RNN-LSTM 和 CNN的并行特征学习方法,能够捕获原始的 MI 脑电信号的空间依赖性和时频谱依赖性,提高不同主题的MI 脑电信号的分类精度。Garcia-Moreno 等人提出了一种基于 CNN 和 LSTM 的深度学习分类器来对左右手 MI 分类,Li 等人 对 CNN 和 RNN 混合架构的优化和建立模型超参数进行了论述。Zhang 等人提出了基于 3DCNN、LSTM 和 Deep Q-Network(DQN)的混合网络,使用既保留拓扑结构又保留时间结构的 3DCNN 提取局部时空特征,再使用RNN 提取全局时间特征,从不同角度描述了脑电信号,然后使用 DQN 进行模糊积分优化,最后该模型在公开的 MI 数据集上验证了其有效性和比较高的性能。

结  语

随着深度学习在计算机视觉、语言识别等领域的优异表现,越来越多的研究者开始考虑在脑电信号分析识别任务中使用深度学习模型来处理。

本文介绍了目前用于脑电分析的比较流行的三种深度学习的体系结构。为了克服脑电数据自身数据量少、背景噪声大、随机性强、个体间差异大等不利影响,近年来这些体系结构混合传统特征提取方法能更加全面地分析脑电信号。本文综述了这些综合多尺度特征信息的模型在脑电分析识别领域的研究进展,同时对不同深度学习模型进行融合的混合型网络做出了介绍。

不同深度学习模型进行融合共同作用于脑电分析识别也成为新的研究趋势,而大多数研究者是使用对 CNN 和 RNN 进行融合的混合型网络。这种混合型网络不是简单的串联关系,而是并联构造的混合型结构。深度学习在脑电信号分类识别领域的应用将朝着对 EEG 信号进行时频空多尺度分析的方向发展。此外,现有研究针对 EEG 信号存在的异质性问题、跨会话和跨设备等跨域问题还没有提出较好的解决办法,这些跨域问题的存在可能会引起EEG 的识别准确率的剧烈下降。因此,为提高 EEG信号的识别准确率,推进个性化运动想象脑机接口的进展,未来的发展将针对以上跨域问题提出较好的解决思路和解决方案,如使用域对抗和域自适应等手段实现域对齐。

引用格式:陈茂洲 , 刘化东 . 基于深度学习的运动想象脑机接口研究综述 [J]. 通信技术 ,2023,56(6):673-681.

作者简介 >>>

陈茂洲,男,硕士研究生,主要研究方向为医学图像处理、脑机接口;

刘化东,男,硕士研究生,主要研究方向为脑机智能融合。

选自《通信技术》2023年第6期(为便于排版,已省去原文参考文献)

继续阅读