天天看點

烏賊變色的圖像生成術:沒有一次僞裝是相同的

作者:中科院實體所
烏賊變色的圖像生成術:沒有一次僞裝是相同的

撰文|梁希同

責編|嚴勝男‍‍

●  ●  ●

章魚和烏賊能在一秒之内,根據不同環境,迅速改變全身顔色和圖案,天衣無縫地和環境融為一體。近日,一篇發表于Nature的研究揭示了這一神奇行為背後的神經控制機制【1】。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

動圖1: 章魚瞬間變色隐入環境(視訊未經加速)

相比之下,變色龍隻能在數分鐘内緩慢地改變身體的整體色調。而章魚和烏賊變色速度極快,不但改變整體顔色,還能在皮膚上直接模拟出背景環境的紋理和圖案的細節。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

同一隻烏賊在實驗室内不同背景圖檔上顯示出不同的圖案

章魚和烏賊之是以能快速在皮膚切換不同圖案,是因為他們的皮膚就像一個覆寫全身的顯示屏,上面有上百萬個微小的色素細胞,每個色素細胞相當于一個螢幕上的一個像素點。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

動圖2: 烏賊色素細胞的動态

每個色素細胞由一個精妙的神經肌肉的機關控制,使其可以在十分之一秒之内飛快地變大變小。他們的大腦可以精确控制皮膚不同區域的色素細胞的大小來組成不同的圖案。色素細胞本身一種固定的顔色,通過組合不同顔色的色素細胞就可以組成不同顔色的圖案。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

不同顔色的色素細胞,通過輻射狀的肌肉纖維牽引而變大

這個皮膚“顯示屏”的分辨率高于市面上所有的電視機螢幕,是以成年烏賊的體表有幾十萬到上百萬個這樣的色素細胞(像素點)。它的大腦是如何同時控制上百萬個色素細胞,來形成複雜的圖案的呢?想象一下如果你要同時控制一百萬根手指,烏賊和章魚是否有一種獨特高效的算法來實作如此複雜的控制呢?

縱觀整個動物界,隻有烏賊和章魚具有圖像生成的能力。研究這個能力背後的神經算法,可以為腦啟發人工智能開闊一個新的方向。此前,對各種動物的視覺系統的研究已經為計算機視覺提供了很多借鑒和啟發。最近,包括GPT在内的大型生成性模型的爆發式發展,也對GPU的算力和能耗有了空前的需求。通過研究烏賊皮膚“顯示屏”背後的神經算法,這一個“GPU”在生物體中唯一的類似存在形式,或許使現有人工智能在軟體和硬體層面都變得更加高效而節能。

能變出多少種不同的圖案?

早期研究者在實驗室和野外通過大量肉眼觀察,将烏賊用于僞裝的圖案分成三個大類:均勻一緻型,細微顆粒型,和大片斑圖型。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

Roger Hanlon總結了烏賊的三種僞裝圖案類型【2】

近日,德國馬普所的Gilles Laurent研究組使用2億像素相機陣列,結合計算機視覺和深度學習算法,對烏賊進行全身微米尺度的錄像,追蹤和記錄在變色模拟環境的整個過程中,一隻動物身上幾十萬個色素細胞的動态。【1】

烏賊變色的圖像生成術:沒有一次僞裝是相同的
烏賊變色的圖像生成術:沒有一次僞裝是相同的

拍攝和識别烏賊全身的色素細胞。上圖:原圖;下圖:通過深度神經網絡識别出皮膚上的色素細胞。

通過将複雜的動物行為還原到單細胞的尺度,研究者發現,烏賊可以産出圖案類型非常豐富,遠遠不止三種。而且,即使是肉眼看上去很像的兩個皮膚圖案,也可以由完全不同的色素細胞激活模式組成。

烏賊變色的圖像生成術:沒有一次僞裝是相同的
烏賊變色的圖像生成術:沒有一次僞裝是相同的

烏賊可以産出各種各樣不同的圖案,遠遠不止三種。下圖為烏賊産生圖案在圖案空間裡的密度分布,有很多細分的類型。

早期研究者通過觀察和總結,将烏賊的身體切分成約40個區塊,認為烏賊可以選擇性的激活不同的皮膚區塊,可以通過組合這些圖案元件來夠成不同圖案。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

早期研究者通過肉眼觀察總結出構成烏賊身體圖案的40個圖案元件【3】

通過分區塊的卻是可以大大簡化變色控制的複雜度,但通過色素細胞的尺度的分析,研究者發現,實際上的并沒有那麼簡單。原先觀察到圖案元件其實是不固定的。肉眼看上去相似的圖案元件,在不同時刻可能是由不同色素細胞組成的。烏賊對于皮膚上的色素細胞的調用非常之靈活而複雜。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

構成身體圖案的元件在不同的時候可以由不同群色素細胞來組成。圖中左右對比了兩次變色過程,色素細胞分組的重新配置設定

僞裝:在圖像的世界裡漫遊

早期研究者将烏賊用于僞裝的圖案分成的三個大類,認為的變色僞裝背後的神經控制可能是一個觀察-決策-實施的過程:當烏賊進入一個新的環境,他首先會對環境的視覺資訊做一個整體的評估,然後在腦中對環境進行歸類(比如分成三個大類);針對不同類的環境,它會有一套固定的運動程式,來産生相應的圖案。根據這個模型,數百萬色素細胞并行控制将會被大大簡化。

但是,通過對數十萬色素細胞動态的高精度定量分析,我們發現變色僞裝背後的神經控制算法并非如此。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

同步追蹤全身數十萬個色素細胞在變色過程的動态

首先,如果是對環境歸類後選擇對應身體圖案,那麼預期會看到類似環境圖案誘發相同的身體圖案,身體圖案的分布應該是離散的,但當測試了30種自然背景和30種人工背景(大小不同的棋盤格),我們發現,動物可以産生連續變化的身體圖案來适應不同環境。可以想象,如果測試更多的環境圖案,将會誘發動物生成更多不同的身體圖案。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

烏賊可以連續的圖案變化來應對不同環境圖案

更重要的是,在同一隻動物上測試完全相同背景轉換,即使是肉眼看上去很像的變色過程,在單細胞的尺度上,這個過程卻是完全不同的。烏賊的每次變色都像在圖案的世界裡漫遊,而且每次漫遊的路徑都不一樣。它不依賴于固定的變色路徑,不是由預先設定好的運動程式來控制的。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

同一隻動物上測試三次相同背景轉換,變色路徑不相同,像在圖案的世界裡漫遊

當烏賊看到一個新的環境,它采取一種疊代式的探索來改變自身的圖案。首先做出一步随機的嘗試,停下來對比自己身上的圖案和環境的圖案,決定下一步怎麼變;然後再變一點,再停下對比,再變一點…… 通過反複的探索和疊代優化,采取了類似“随機梯度下降”的算法,逐漸逼近和環境最像的圖案。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

烏賊變色的尋優過程,通過疊代優化,逐漸逼近和環境最像的圖案。

是以,烏賊的變色僞裝不是一個簡單的觀察-決策-實施的過程,而是一個搜尋-回報-疊代優化的過程。通過這種算法,烏賊就可以靈活地根據不同的環境,有創造性地變出相應的身體圖案。

直接的“警示”

如果說變色僞裝是一個探索尋優的過程,每次探索似乎要花二三十秒甚至更長時間,而且同一隻動物重複這個過程并不會越來越熟練。那為什麼文章開頭的動圖裡的章魚能變得這麼快呢?

實際上開頭的動圖是一段較長視訊的剪輯。如果我們看完整的錄像,你可能會注意到一開始這隻章魚表現出完美的僞裝;當鏡頭靠近時,它向潛水員顯示出全身變黑的警戒色;然後在一秒鐘内恢複原來的僞裝圖案。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

動圖3: 章魚顯示出警戒色

通過分析發出警戒色信号過程中色素細胞的活動模式,研究者發現用于通信的變色軌迹基本上遵循相同的且更直接的路徑,不像僞裝變色的路徑那樣蜿蜒曲折。用于通信的變色是由一個固定的運動程式來控制的。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

四次重複的威脅信号沿着相同的變色路徑

是以,僞裝和通信很可能是由兩個互相獨立的變色系統控制的。通信圖案可以直接疊加到僞裝圖案上。即使是在完全變白的狀态,原本的僞裝圖案也殘留着細微的痕迹,就像是殘留在皮膚上的肌肉記憶。是以一旦通信圖案被撤銷,它就會瞬間回到原來的僞裝圖案。

除了警戒色,烏賊和章魚都能通過身體“顯示屏”顯示不同的圖案,作為一種“動畫表情/emoji”來和同類交流。如何破譯它們的“圖像語言”将是人們進一步研究的問題。

烏賊變色的圖像生成術:沒有一次僞裝是相同的

烏賊的各種用于同類間資訊交流的變色信号【4】

總結來說,該研究而通過結合大規模成像技術和人工智能算法,對烏賊獨特的變色僞裝行為進行單細胞精度的定量分析,推翻了之前基于肉眼觀察所總結的結論。通過烏賊皮膚“顯示屏”這一個獨特的通往動物内心世界的視窗,未來的研究将進一步揭示這一動物界中獨一無二的圖像生成神經網絡背後的奧秘。

參考文獻:

[1] Woo, T.*, Liang, X.*, Evans, D., Fernandez, O., Kretschmer, F., Reiter, S., & Laurent, G. (2023). The Dynamics of Pattern Matching in Camouflaging Cuttlefish. Nature. https://www.nature.com/articles/s41586-023-06259-2

[2] https://www.ibiology.org/ecology/cephalopods/#part-1

[3] Messenger, J. B. (2001). Cephalopod chromatophores: neurobiology and natural history. Biological Reviews, 76(4), 473-528.

[4] Hanlon, R. T., & Messenger, J. B. (2018). Cephalopod behaviour. Cambridge University Press.

轉載内容僅代表作者觀點

不代表中科院實體所立場

如需轉載請聯系原公衆号

來源:知識分子

編輯:冬眠愛好者

繼續閱讀