天天看点

受显微镜下线虫启发,MIT推出「液态」神经网络参数随时间可变,显微镜线虫成灵感来源预测精确,小尺寸省下大量计算成本

作者:新智元

最近,麻省理工学院计算机科学与人工智能实验室(CSAIL)的团队推出了一个"液体"神经网络,除了训练过程外,还可以在实践中学习,并用新的数据输入进行更新,很好地适应现实生活中的可变性。有趣的是,灵感来自在显微镜下观察线虫神经元。

"液体"神经网络?

这是什么神圣的?

我想很有可能的是,当你第一次听到这个词时,你会好奇这个"耸人听闻"的神经网络到底是什么。

最近,麻省理工学院的研究人员开发了一种神经网络,除了在训练阶段学习外,还可以在实践中学习。

这些灵活的算法被称为"液体"网络,可以不断改变其基本方程以适应新的数据输入。

受显微镜下线虫启发,MIT推出「液态」神经网络参数随时间可变,显微镜线虫成灵感来源预测精确,小尺寸省下大量计算成本

我们知道,一些数据流会随着时间的推移而变化,例如涉及医疗诊断和自动驾驶的数据流。这一进展有助于基于这些数据流的决策过程。

因此,这些新的神经网络可以帮助自动驾驶和医疗诊断的决策。

该研究的主要作者Ramin Hasani说:

"这是未来迈向任何形式的时间序列数据处理的一大步,如机器人控制、自然语言处理、视频处理等,具有巨大的潜力。

该研究将在二月份的AAAI人工智能会议上发表。

除了麻省理工学院计算机科学与人工智能实验室(CSAIL)的博士后学生Hasani之外,麻省理工学院的合著者还包括CSAIL主任Daniela Russ,电气工程和计算机科学的Andrew和Erna Viterbi教授,以及博士生Alexander Amini。

其他合著者包括奥地利科学技术研究所的Mathias Lechner和维也纳理工大学的Radu Grosu。

受显微镜下线虫启发,MIT推出「液态」神经网络参数随时间可变,显微镜线虫成灵感来源预测精确,小尺寸省下大量计算成本

<h1>

参数随时间而变化,显微镜线虫成为灵感来源

</h1>

时间序列数据无处不在,是帮助我们了解世界的重要参考,Hasani先生说。

"现实世界完全由序列组成。甚至我们的感知也是如此:你不是在感知图像,而是在感知一系列图像。

"所以,事实上,时间序列数据创造了现实。

他指出,视频处理、财务数据和医疗诊断应用是对社会至关重要的时间序列的例子,而这些不断变化的数据流的变化是不可预测的。实时分析数据并使用它来预测未来行为可以推动自动驾驶汽车等新兴技术的发展。

因此,Hasani创建了一种适合此类任务的算法。他设计了一个可以适应现实世界变化的神经网络。

众所周知,神经网络是分析训练数据以识别模式的算法,人们常说它们模拟大脑的处理。

另一方面,Hasani是直接在显微镜下的线虫C.秀丽隐杆线虫的灵感:

"它的神经系统中只有302个神经元,但它可以产生意想不到的复杂动力学。

受显微镜下线虫启发,MIT推出「液态」神经网络参数随时间可变,显微镜线虫成灵感来源预测精确,小尺寸省下大量计算成本

在仔细研究了线虫神经元如何被电脉冲激活并相互通信之后,Hasani对他创建的神经网络进行了编码。

在他用来构建神经网络的方程中,他允许参数根据一组微分方程的结果随时间变化。

这种灵活性是关键 - 大多数神经网络在训练阶段后表现得很规律,这意味着它们不能很好地适应传入数据流的变化。

哈萨尼表示,他创建的"流动"网络的流动性使其对意外或噪音数据更具弹性,例如大雨阻挡了自动驾驶汽车摄像头的视野。

受显微镜下线虫启发,MIT推出「液态」神经网络参数随时间可变,显微镜线虫成灵感来源预测精确,小尺寸省下大量计算成本

"所以它更有活力,"他说。

他补充说,网络的灵活性还有另一个优势:"它更容易理解。

Hasani说,他的"液体"网络避免了其他神经网络常见的奇怪之处:

"仅仅使用微分方程来改变神经元的表示,就可以让你探索一定程度的复杂性,否则这是不可能实现的。

由于该神经网络中具有高度表达性的少数神经元,因此更容易观察神经网络的决策过程并确定网络分类的原因。

"该模型具有更丰富的表达能力,"Hasani说,因此此功能可以帮助工程师更好地了解和提高液体网络的性能。

准确的预测在小尺寸下节省了大量的计算成本

液体网络在一系列测试中表现良好:

从大气化学到交通模式的应用,模型在准确预测数据集的未来值方面比其他最先进的时间序列算法高出几个百分点。

受显微镜下线虫启发,MIT推出「液态」神经网络参数随时间可变,显微镜线虫成灵感来源预测精确,小尺寸省下大量计算成本

"在许多应用中,我们看到了可靠的高性能,"Hasani先生说。

此外,由于网络规模较小,因此在完成测试时进行计算不必昂贵。

"每个人都在谈论扩大他们的网络,"哈萨尼说。我们想要的是缩小规模,拥有更少但更丰富的节点。

该研究部分由波音公司,国家科学基金会,奥地利科学基金会和欧洲领先的电子元件和系统资助。

Hasani的计划是继续改进系统,为工业应用做准备:

"受到自然现象的启发,我们有一个更具表现力的神经网络,但这仅仅是个开始。

"接下来,我们面临着一个明显的挑战:如何进一步发展它?"我们相信,这种网络可能会成为未来智能系统的关键要素。

相关链接:

https://news.mit.edu/2021/machine-learning-adapts-0128