機器之心報道
編輯：杜偉
加州大學歐文分校的這項研究，讓我們更期待未來更先進的彩色夜視儀。
在一些軍事大片中，士兵頭戴夜視儀搜尋前進似乎是少不了的場景。使用紅外光在黑夜中觀察的夜視系統通常将視物渲染成單色圖像。
圖源：flir.com
不過，在最近的一項研究中，加州大學歐文分校的科學家們借助深度學習 AI 技術設計了一新方法，有了這種方法，紅外視覺有助于在無光條件下看到場景中的可見顔色。
研究共同一作、加州大學歐文分校工程師、外科醫生和視覺科學家 Andrew Browne 表示，「世界上很多地方都以人們賴以做出決策的方式進行顔色編碼，比如信号燈。」
夜視系統是個特例。使用紅外光照亮黑夜的夜視系統通常僅以綠色渲染場景，而無法顯示出在正常光線下可見的顔色。一些較新的夜視系統使用超靈敏相機放大可見光，但這些相機幾乎不能顯示出漆黑環境中沒有光可放大的顔色。
Andrew Browne
是以，在這項研究中，研究者推斷，賦予物體可見光的每種染料和顔料不僅反射了一組可見波長，而且可能反射一組紅外波長。那麼，如果可以訓練一個能夠識别每種染料和顔料的紅外指紋的夜視系統，則能夠使用與每種染料和顔料相關的可見光來顯示圖像。
效果圖
目前，相關論文已在期刊 PLOS ONE 上發表。
論文位址：https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0265185
這項研究是從不能感覺的近紅外照明中預測人類可見光譜場景的第一步。接下來的工作可以極大地促進各種應用，比如夜視系統和對可見光敏感的生物樣本研究。
研究概述
人類可以感覺 400-700nm 可見光譜中的光。一些夜視系統使用人類無法感覺的紅外光，将渲染後的圖像轉換到數字顯示器上，最後在可見光譜中呈現單色圖像。
研究者想要開發一種由優化深度學習架構驅動的成像算法，進而可以使用場景中的紅外光譜光照來預測該場景中的可見光譜渲染，就好像人類使用可見光譜光感覺它一樣。當人類處于完全「黑暗」并隻有紅外光照射時，他們能夠以數字方式渲染可見光譜場景。
圖像處理目标。僅使用紅外光照顯示的圖像與使用深度學習處理 NIR 資料後的可見光譜圖像比較。
Andrew Browne 表示，「單色相機對它所看到的場景中反射的任何光子都很敏感。是以，我們使用可調光源将光照射到場景上，并使用單色相機捕捉在所有不同照明顔色下從該場景反射的光子。」
為此，研究者采用了一個對可見光和近紅外光敏感的單色相機，在覆寫标準可見紅光（604nm）、綠光（529nm）和藍光（447nm）以及紅外波長（718、777 和 807 nm）的多光譜照明下采集面部列印圖像的圖像資料集。接着，他們對具有類 U-Net 架構的卷積神經網絡進行優化，以僅從近紅外圖像中預測可見光譜圖像。
人臉肖像庫中的示例圖像。
接着，研究者将三張紅外圖像與彩色圖像配對，以訓練一個人工智能神經網絡來對場景中的顔色進行預測。在經過訓練并提升性能之後，該神經網絡能夠從三張看起來非常接近真實物體的紅外線圖像中重建彩色圖像。下圖左為用可見光譜的真彩色，圖右為深度學習算法加持下的彩色。
Andrew Browne 說到，「當我們增加紅外通道或紅外顔色數量時，它會提供更多資料，我們也能更好地預測實際看起來非常接近真實圖像的應是什麼。我們在這項研究中提出的方法可以用來擷取三種不同紅外顔色的圖像，這三種顔色人眼無法看到。」
不過，研究者隻在列印的彩色照片上測試了他們的算法和技術。他們正在尋求将這些算法和技術應用于視訊，并最終應用于真實世界的物體和人類主體。
參考連結：
https://spectrum.ieee.org/night-vision-infrared
https://www.popsci.com/technology/ai-infrared-night-vision-in-color/
IJCAI 2022 - Neural MMO 海量 AI 團隊生存挑戰賽
4月14日，由超參數科技發起，聯合學界MIT、清華大學深圳國際研究所學生院以及知名資料科學挑戰平台 AIcrowd 共同主辦的「IJCAI 2022-Neural MMO 海量 AI 團隊生存挑戰賽」正式啟動。
本屆賽事以「尋找未來開放大世界的最強 AI 團隊」為主題，通過在 Neural MMO 的大規模多智能體環境中探索、搜尋和戰鬥，獲得比其他參賽者更高的成就。比賽還設定新的規則，評估智能體面對新地圖和不同對手的政策魯棒性，在 AI 團隊中引入合作和角色分工，豐富了比賽内容，增強了趣味性。