研究人員開發的架構可以根據物體空間關系的文本描述生成場景圖像。
作者 |莓酊
編輯 | 青暮
人類在描述場景時，經常描述物體之間的空間關系。生物視覺識别涉及自上而下通路和自下而上通路的互動，而深度神經網絡隻模拟了第二種通路。自上而下的視覺通路涉及生物視覺感覺的全局性、拓撲性、多解性等特點，尤其是了解圖像時會面臨數學上的無窮解問題。而這些特點或許就是深度神經網絡下一步的改進方向。
“視覺場景了解包括檢測和識别物體，推理被檢測物體之間的視覺關系以及使用語句描述圖像區域。”依據《我們賴以生存的隐喻》的觀點，物體關系相比于語義關系是更加基本的，因為語義關系背後都包含着物體關系的假設。
就如下圖中，兩隻貓貓在「互毆」，另一隻貓貓在旁邊不嫌事大地看熱鬧。通過這個例子，人類可以非常清晰直接地觀察并捕捉到貓咪的位置、行為和關聯。但許多深度學習模型卻無法以相同的方式了解複雜實況，捕獲全部資訊并進行解析，因為它們不明白單個物體之間的「糾纏」關系。
那麼問題來了，如果「捋不清」這些關系，像被設計用于廚房的機器人就很難執行「拿起菜闆左邊的櫃子下面的爐竈上的鐵鍋炖大鵝」此類指令。
為了讓機器人能夠精準完成這些任務，來自麻省理工學院的Shuang Li、Yilun Du和伊利諾伊大學香槟分校的Nan Liu等人合作提出一款可以了解場景中物體之間空間關系的模型。該模型具有很好的泛化能力，能夠通過組合多個物體的空間關系進而生成或者編輯複雜的圖檔。論文已作為Spotlight展示被NeurIPS 2021接收。
論文連結：https://arxiv.org/abs/2111.09297
總的來說，研究主要有三個主要貢獻：
1. 提出了一個架構來分解群組合物體之間的關系，該架構能夠生成和編輯圖像根據通過組合物體之間空間關系描述，并且明顯優于基線方法。
2. 能夠推斷出潛在物體之間的場景描述，并能夠很好的了解物體之間的語義等效。語義等效是同樣的場景但是不同的表述方式，例如蘋果在香蕉左邊和香蕉在蘋果右邊。
3. 最重要的這個方法通過組合物體關系的描述可以推廣到以前未見過的更複雜關系描述中。
這種泛化可以應用于工業機器人執行複雜多步驟的操縱任務，比如在倉庫中堆放物品或組裝電器。讓機器能進一步“仿生”人類從環境中學習、互動，并且通過不斷學習分解，組合進而很快适應新的環境和學習新的任務。
共同一作Yilun Du說道：“當我們看到一張桌子時，不會用空間坐标系的XYZ三軸來表達物體位置, 因為人類大腦不是這樣工作的。我們對周圍環境的洞悉是基于物體之間的關系。通過建構能夠了解物體關系的系統，更有效地操縱機械進而改變周圍場景。”
單次單個關系
研究人員所提架構的亮點就在于，「它能以人類的方式“解讀”場景中物體之間的關系」。
比如輸入一段文本——木桌在藍色沙發的右側，木桌在木櫃的前面。
系統首先将句子拆分為「木桌在藍色沙發的右側」和「木桌在木櫃的前面」兩部分，再逐一描述單獨部分之間的空間關系，然後對每個關系機率分布模組化，通過優化過程将這些分離的“結構”彙合，最終生成一個完整、準确的場景圖像。
基于能量的模型（Energy-Based Model）
研究人員使用機器學習中「基于能量的模型」編碼每一對物體直接的空間關系，然後像樂高積木一樣将它們組合起來進而描述整個場景。
共同一作Shuang Li解釋道：“系統通過重新組合物體之間的描述，進而産生很好泛化能力，可以生成或者編輯以前沒有見過的場景。”
Yilun Du也表示：“其他系統是從整體上考慮場景中物體之間的關系，再根據文本描述中一次性生成場景圖像。一旦包含更複雜的場景描述時，這些模型就無法真正的了解并且生産想要的場景圖像。我們将這些單獨的、較小的模型內建起來，實作對更多的關系進行模組化，進而可以生産新穎的組合。
這個模型也可以逆向操作。給定一張圖像和不同的描述文本，它能準确找到場景結構中與物體關系相比對的描述文本。
了解複雜場景
每種情況下，Nan Liu等人提出的模型都優于基線。
“我們的模型在訓練過程中隻見過一個物體關系描述，但是在測試中，當物體關系描述增加到兩個、三個甚至四個的時候，我們的模型依然效果良好，其他機器學習方法則失敗了。”
如圖所示，圖像編輯(Image Editing) 列出了不同方法在 CLEVR 和 iGibson 資料集上的分類結果。文中方法都大大優于基線—— StyleGAN2和StyleGAN2 (CLIP)。在 2R 和 3R 測試子集上的模型亦有優秀表現，所提方法對訓練分布之外的關系場景描述具有良好的泛化能力。
研究人員還請實驗參與者評估生成圖像和場景描述的比對度。在描述包含三個物體關系的最複雜示例中，91% 的人認為該模型比其他基線的性能更好。
在模型代碼網頁上Interactive Demo的展示中，可以清晰看到新模型在多層物體位置中依然可以按照指令準确生成我們想要的圖像。
OpenAI訓練的神經網絡模型「DALL·E」，也是可以根據文本标題為自然語言的各種概念建立圖像。DALL·E 雖然可以很好的了解物體，但是不能夠準确的了解物體之間的關系。
可以說Nan Liu等人提出的新模型魯棒性十分優越，特别是在處理從未遇到的場景描述時，其他算法隻能望其項背。
雖然早期實驗效果甚佳，但研究人員希望模型能夠進一步在更複雜的真實世界場景中（比如具有嘈雜的背景和互相阻擋的物體時）執行任務。更進一步讓機器人能夠通過視訊推斷物體空間關系，然後應用這些知識來和周邊環境中的物體互動。”
捷克技術大學捷克資訊學、機器人和控制論研究所的傑出研究員 Josef Sivic 說：“開發出可以了解事物關系并且通過不斷組合認識新的事物是計算機視覺領域至關重要的開放問題之一。他們的實驗結果着實令人驚歎。”
作者介紹
Nan Liu, 伊利諾伊大學厄巴納香槟分校碩士。2021 年畢業于密歇根大學安娜堡分校，獲得計算機科學學士學位。目前從事研究計算機視覺和機器學習。
Shuang Li, MIT CSAIL博士，師從Antonio Torralba。主要研究使用語言作為交流和計算工具以及建構可以持續學習并與周圍世界互動的智能體。
Yilun Du，MIT CSAIL博士生，受 Leslie Kaelbling 教授、Tomas Lozano-Perez 教授和 Josh Tenenbaum 教授指導。他對建構可以像人類一樣感覺了解世界的智能體和對構模組化塊化系統感興趣。曾在國際生物學奧林匹克競賽中獲得了金牌。
Joshua B. Tenenbaum，MIT腦認知科學系教授、CSAIL研究員。1993 年獲得耶魯大學實體學學士學位，1999 年獲得麻省理工學院博士學位。Tenenbaum因對數學心理學和貝葉斯認知科學的貢獻而聞名，他是最早開發并将機率和統計模組化應用于人類學習、推理和感覺研究的人之一。2018 年，R&D 雜志将 Tenenbaum 評為“年度創新者”。麥克阿瑟基金會于 2019 年授予他麥克阿瑟研究員稱号。
Antonio Torralba，MIT電氣工程與計算機科學系 (EECS) 人工智能與決策系主任、CSAIL的首席研究員、MIT-IBM Watson AI Lab負責人、2021 AAAI Fellow。1994年獲得西班牙電信BCN的電信工程學位，并于2000年獲得法國格勒諾布爾國立理工學院的信号，圖像和語音處理博士學位。他是“計算機視覺國際期刊”的副主編，并在2015年擔任計算機視覺和模式識别會議的計劃主席。2008年國家科學基金會職業獎，2009年IEEE計算機視覺和模式識别會議上獲得最佳學生論文獎，2010年獲JK國際模式識别協會頒發的Aggarwal獎。2017年Frank Quick Faculty研究創新獎學金和Louis D. Smullin優秀教學獎。
參考連結：
https://news.mit.edu/2021/ai-object-relationships-image-generation-1129
https://openai.com/blog/dall-e/
https://composevisualrelations.github.io/
https://arxiv.org/abs/2111.09297
雷峰網雷峰網