天天看点

乌贼变色的图像生成术:没有一次伪装是相同的

作者:中科院物理所
乌贼变色的图像生成术:没有一次伪装是相同的

撰文|梁希同

责编|严胜男‍‍

●  ●  ●

章鱼和乌贼能在一秒之内,根据不同环境,迅速改变全身颜色和图案,天衣无缝地和环境融为一体。近日,一篇发表于Nature的研究揭示了这一神奇行为背后的神经控制机制【1】。

乌贼变色的图像生成术:没有一次伪装是相同的

动图1: 章鱼瞬间变色隐入环境(视频未经加速)

相比之下,变色龙只能在数分钟内缓慢地改变身体的整体色调。而章鱼和乌贼变色速度极快,不但改变整体颜色,还能在皮肤上直接模拟出背景环境的纹理和图案的细节。

乌贼变色的图像生成术:没有一次伪装是相同的

同一只乌贼在实验室内不同背景图片上显示出不同的图案

章鱼和乌贼之所以能快速在皮肤切换不同图案,是因为他们的皮肤就像一个覆盖全身的显示屏,上面有上百万个微小的色素细胞,每个色素细胞相当于一个屏幕上的一个像素点。

乌贼变色的图像生成术:没有一次伪装是相同的

动图2: 乌贼色素细胞的动态

每个色素细胞由一个精妙的神经肌肉的机关控制,使其可以在十分之一秒之内飞快地变大变小。他们的大脑可以精确控制皮肤不同区域的色素细胞的大小来组成不同的图案。色素细胞本身一种固定的颜色,通过组合不同颜色的色素细胞就可以组成不同颜色的图案。

乌贼变色的图像生成术:没有一次伪装是相同的

不同颜色的色素细胞,通过辐射状的肌肉纤维牵引而变大

这个皮肤“显示屏”的分辨率高于市面上所有的电视机屏幕,所以成年乌贼的体表有几十万到上百万个这样的色素细胞(像素点)。它的大脑是如何同时控制上百万个色素细胞,来形成复杂的图案的呢?想象一下如果你要同时控制一百万根手指,乌贼和章鱼是否有一种独特高效的算法来实现如此复杂的控制呢?

纵观整个动物界,只有乌贼和章鱼具有图像生成的能力。研究这个能力背后的神经算法,可以为脑启发人工智能开阔一个新的方向。此前,对各种动物的视觉系统的研究已经为计算机视觉提供了很多借鉴和启发。最近,包括GPT在内的大型生成性模型的爆发式发展,也对GPU的算力和能耗有了空前的需求。通过研究乌贼皮肤“显示屏”背后的神经算法,这一个“GPU”在生物体中唯一的类似存在形式,或许使现有人工智能在软件和硬件层面都变得更加高效而节能。

能变出多少种不同的图案?

早期研究者在实验室和野外通过大量肉眼观察,将乌贼用于伪装的图案分成三个大类:均匀一致型,细微颗粒型,和大片斑图型。

乌贼变色的图像生成术:没有一次伪装是相同的

Roger Hanlon总结了乌贼的三种伪装图案类型【2】

近日,德国马普所的Gilles Laurent研究组使用2亿像素相机阵列,结合计算机视觉和深度学习算法,对乌贼进行全身微米尺度的录像,追踪和记录在变色模拟环境的整个过程中,一只动物身上几十万个色素细胞的动态。【1】

乌贼变色的图像生成术:没有一次伪装是相同的
乌贼变色的图像生成术:没有一次伪装是相同的

拍摄和识别乌贼全身的色素细胞。上图:原图;下图:通过深度神经网络识别出皮肤上的色素细胞。

通过将复杂的动物行为还原到单细胞的尺度,研究者发现,乌贼可以产出图案类型非常丰富,远远不止三种。而且,即使是肉眼看上去很像的两个皮肤图案,也可以由完全不同的色素细胞激活模式组成。

乌贼变色的图像生成术:没有一次伪装是相同的
乌贼变色的图像生成术:没有一次伪装是相同的

乌贼可以产出各种各样不同的图案,远远不止三种。下图为乌贼产生图案在图案空间里的密度分布,有很多细分的类型。

早期研究者通过观察和总结,将乌贼的身体切分成约40个区块,认为乌贼可以选择性的激活不同的皮肤区块,可以通过组合这些图案组件来够成不同图案。

乌贼变色的图像生成术:没有一次伪装是相同的

早期研究者通过肉眼观察总结出构成乌贼身体图案的40个图案组件【3】

通过分区块的却是可以大大简化变色控制的复杂度,但通过色素细胞的尺度的分析,研究者发现,实际上的并没有那么简单。原先观察到图案组件其实是不固定的。肉眼看上去相似的图案组件,在不同时刻可能是由不同色素细胞组成的。乌贼对于皮肤上的色素细胞的调用非常之灵活而复杂。

乌贼变色的图像生成术:没有一次伪装是相同的

构成身体图案的组件在不同的时候可以由不同群色素细胞来组成。图中左右对比了两次变色过程,色素细胞分组的重新分配

伪装:在图像的世界里漫游

早期研究者将乌贼用于伪装的图案分成的三个大类,认为的变色伪装背后的神经控制可能是一个观察-决策-实施的过程:当乌贼进入一个新的环境,他首先会对环境的视觉信息做一个整体的评估,然后在脑中对环境进行归类(比如分成三个大类);针对不同类的环境,它会有一套固定的运动程序,来产生相应的图案。根据这个模型,数百万色素细胞并行控制将会被大大简化。

但是,通过对数十万色素细胞动态的高精度定量分析,我们发现变色伪装背后的神经控制算法并非如此。

乌贼变色的图像生成术:没有一次伪装是相同的

同步追踪全身数十万个色素细胞在变色过程的动态

首先,如果是对环境归类后选择对应身体图案,那么预期会看到类似环境图案诱发相同的身体图案,身体图案的分布应该是离散的,但当测试了30种自然背景和30种人工背景(大小不同的棋盘格),我们发现,动物可以产生连续变化的身体图案来适应不同环境。可以想象,如果测试更多的环境图案,将会诱发动物生成更多不同的身体图案。

乌贼变色的图像生成术:没有一次伪装是相同的

乌贼可以连续的图案变化来应对不同环境图案

更重要的是,在同一只动物上测试完全相同背景转换,即使是肉眼看上去很像的变色过程,在单细胞的尺度上,这个过程却是完全不同的。乌贼的每次变色都像在图案的世界里漫游,而且每次漫游的路径都不一样。它不依赖于固定的变色路径,不是由预先设定好的运动程序来控制的。

乌贼变色的图像生成术:没有一次伪装是相同的

同一只动物上测试三次相同背景转换,变色路径不相同,像在图案的世界里漫游

当乌贼看到一个新的环境,它采取一种迭代式的探索来改变自身的图案。首先做出一步随机的尝试,停下来对比自己身上的图案和环境的图案,决定下一步怎么变;然后再变一点,再停下对比,再变一点…… 通过反复的探索和迭代优化,采取了类似“随机梯度下降”的算法,逐步逼近和环境最像的图案。

乌贼变色的图像生成术:没有一次伪装是相同的

乌贼变色的寻优过程,通过迭代优化,逐步逼近和环境最像的图案。

所以,乌贼的变色伪装不是一个简单的观察-决策-实施的过程,而是一个搜寻-反馈-迭代优化的过程。通过这种算法,乌贼就可以灵活地根据不同的环境,有创造性地变出相应的身体图案。

直接的“警示”

如果说变色伪装是一个探索寻优的过程,每次探索似乎要花二三十秒甚至更长时间,而且同一只动物重复这个过程并不会越来越熟练。那为什么文章开头的动图里的章鱼能变得这么快呢?

实际上开头的动图是一段较长视频的剪辑。如果我们看完整的录像,你可能会注意到一开始这只章鱼表现出完美的伪装;当镜头靠近时,它向潜水员显示出全身变黑的警戒色;然后在一秒钟内恢复原来的伪装图案。

乌贼变色的图像生成术:没有一次伪装是相同的

动图3: 章鱼显示出警戒色

通过分析发出警戒色信号过程中色素细胞的活动模式,研究者发现用于通信的变色轨迹基本上遵循相同的且更直接的路径,不像伪装变色的路径那样蜿蜒曲折。用于通信的变色是由一个固定的运动程序来控制的。

乌贼变色的图像生成术:没有一次伪装是相同的

四次重复的威胁信号沿着相同的变色路径

因此,伪装和通信很可能是由两个相互独立的变色系统控制的。通信图案可以直接叠加到伪装图案上。即使是在完全变白的状态,原本的伪装图案也残留着细微的痕迹,就像是残留在皮肤上的肌肉记忆。所以一旦通信图案被撤销,它就会瞬间回到原来的伪装图案。

除了警戒色,乌贼和章鱼都能通过身体“显示屏”显示不同的图案,作为一种“动画表情/emoji”来和同类交流。如何破译它们的“图像语言”将是人们进一步研究的问题。

乌贼变色的图像生成术:没有一次伪装是相同的

乌贼的各种用于同类间信息交流的变色信号【4】

总结来说,该研究而通过结合大规模成像技术和人工智能算法,对乌贼独特的变色伪装行为进行单细胞精度的定量分析,推翻了之前基于肉眼观察所总结的结论。通过乌贼皮肤“显示屏”这一个独特的通往动物内心世界的窗口,未来的研究将进一步揭示这一动物界中独一无二的图像生成神经网络背后的奥秘。

参考文献:

[1] Woo, T.*, Liang, X.*, Evans, D., Fernandez, O., Kretschmer, F., Reiter, S., & Laurent, G. (2023). The Dynamics of Pattern Matching in Camouflaging Cuttlefish. Nature. https://www.nature.com/articles/s41586-023-06259-2

[2] https://www.ibiology.org/ecology/cephalopods/#part-1

[3] Messenger, J. B. (2001). Cephalopod chromatophores: neurobiology and natural history. Biological Reviews, 76(4), 473-528.

[4] Hanlon, R. T., & Messenger, J. B. (2018). Cephalopod behaviour. Cambridge University Press.

转载内容仅代表作者观点

不代表中科院物理所立场

如需转载请联系原公众号

来源:知识分子

编辑:冬眠爱好者

继续阅读