为研究手部义体（假肢手）的肌肉手势识别，工程研究人员开发了一种混合机器学习方法，该方法将图像识别人工智能技术与专业手写和语音识别方法相结合。与传统机器学习方法相比，该技术的性能表现方面要好得多。
2021年11月8日，一篇描述这种混合方法的论文发表在《赛博仿生系统》杂志上。
采集表面肌电信号的装置和位置示意图 | 参考文献[1]
运动神经元是中枢神经系统中直接控制我们肌肉的部分。它们通过传递电信号使肌肉收缩。肌电图是一种通过插入肌肉的电极针来记录肌肉反应的方法。表面肌电图(sEMG)将电极放置在肌肉上方的皮肤上，毋需穿刺也能执行同样的记录过程，并用运动和理疗研究等非医疗程序。
在过去的十年中，研究人员已经开展了通过表面肌电信号控制假肢的潜在应用研究，特别是关于假肢手所需的复杂动作和手势，以提供更平滑、更灵敏、更直观的假肢活动。
假肢如真手一般丝滑 | 《阿丽塔：战斗天使》
不幸的是，意外的环境干扰，例如电极移动，会在设备试图识别表面肌电信号的过程中带来大量的“噪声”。在平日里穿戴和使用中，电级会经常发生移动。为了克服这个问题，使用者必须在使用义肢之前进行冗长疲累的表面肌电信号训练。而为了实现对假手的控制，使用者还需要费力地对表面肌电信号进行收集和分类。
为了减少和消除这种训练带来的麻烦，研究人员探索了各种机器学习方法ーー特别是深度学习模式识别ーー以便能够在环境信号干扰存在的情况下，区分不同的、复杂的手势和动作。
通过对深度学习的网络结构模型进行优化，可以减少训练次数。一个已经试验过的潜在进步是采用类似于人类视觉皮层连接结构的卷积神经网络（convolutional neural network, CNN）。这种类型的神经网络提升了的图像和语音效果，因此是计算机的视觉核心。
到目前为止，研究人员已经通过 CNN 取得了一些成功，在识别(“提取”)与手势有关的表面肌电信号的空间维度方面取得了显著的进步。但是，尽管善于处理空间问题，他们却在时间问题上遇到了麻烦。手势不是静态的，而是随时间发生的，CNN 却忽略了肌肉连续收缩时的时间信息。
近年来，一些研究者开始利用一种长短期记忆(long short-term memory, LSTM)人工神经网络结构解决该问题。LSTM 包括一个含有反馈连接的结构，在进行分类以及根据数据进行预测方面有着卓越的性能，尤其是在重要任务之间存在放松、停滞或干扰导致了意外延时的时候。LSTM 是一种深度学习的形式，最适用于涉及非分段、拼接活动的任务，如手写和语音识别。
现在所面临的挑战是，虽然研究人员已经实现了更好的表面肌电信号的姿态分类，但计算模型大小是一个难点。所需的微处理器功能有限，而使用更强大的设备则代价太高。最后，虽然这种深度学习训练模型能在实验室的计算机上工作，但是它们很难通过将硬件嵌入假肢中展开应用。
论文作者之一、沈阳工业大学电气工程教授 Dianchun Bai 说: “毕竟卷积神经网络是基于大脑中的图像识别，而不是对假肢的控制。”“我们需要将 CNN 与一种能够处理时间维度的技术结合起来，同时还要确保用户必须佩戴的实体设备的可行性。”
因此，研究人员开发了一个将CNN 和 LSTM 联合起来的模型，从而结合了这两种方法的空间和时间优势。这减少了深度学习模型的规模，同时实现了高精度和更强的抗干扰能力。
系统被开发出来之后，他们在10名非截肢受试者身上测试了这种混合方法，这些受试者做了一系列共16种不同的动作，比如握住电话、拿起笔、指指点点、捏掐和抓住一杯水。结果表明，与单独使用 CNN 或其他传统机器学习方法相比，该方法的识别性能要优越得多，识别准确率达到80%以上。
实验采用的16种手势示意图 | 参考文献[1]
然而，这种混合方法难以准确识别两种捏的手势：一种是用中指捏，另一种是用食指捏。在今后的工作中，研究人员希望在保持训练模型较小的同时，进一步优化算法，提高算法的准确性，以便在假肢硬件中应用。此外，他们还想弄清楚的是什么导致了识别捏手势的困难，并将他们的实验扩展到更多的受试者身上。
最终，研究人员希望开发出一种与使用者原始肢体一样灵活可靠的假肢手。
参考文献
[1] https://spj.sciencemag.org/journals/cbsystems/2021/9794610/
[2] https://www.eurekalert.org/multimedia/817173
编译：绿洲
编辑：酥鱼
排版：尹宁流
研究团队
通讯作者Tie Liu：日本东京电子通信大学，机械工程与智能系统系。2014年获得沈阳工业大学自动化学士学位。此后，他继续在沈阳工业大学电气工程学院攻读电气工程博士学位。主要研究方向为表面肌电图信号分析和人体上肢建模。
课题组主页
https://dqxy.sut.edu.cn/info/1171/1562.htm
第一作者Dianchun Bai / 白殿春：副教授，2011年获沈阳工业大学电气工程专业博士学位。此后，他曾任沈阳工业大学电气工程学院讲师，并于2019年担任日本电气通信大学特聘研究员。主要研究方向为深度学习、人机界面、智能假肢。
论文信息
发布期刊《赛博仿生系统》Cybrog and Bionic Systems
发布时间2021年11月8日
论文标题Application Research on Optimization Algorithm of sEMG Gesture Recognition Based on Light CNN+LSTM Model
(DOI：https://doi.org/10.34133/2021/9794610）
文章领域深度学习、人体假肢、机器人，实验研究