雲栖号資訊：【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊，還在等什麼，快來！
在陽台上給小姐姐拍個視訊：
再把她P到噴泉廣場：
需要幾步？
現在，無需綠幕，AI 就能搞定這件事。
就像這樣，随便用手機給小姐姐拍張照片，再在同一地點拍張不帶人像的背景圖。
深度神經網絡就能自動分析出 alpha 遮罩和前景色，把小姐姐的發絲都摳得根根分明。
視訊也是如此。
讓憋着笑的同僚在實驗室白闆前表演一段廣播體操，再給背景闆單獨來一張，就可以無中生有把同僚“轉移”到大廳裡，引來路人圍觀了。
這是來自華盛頓大學的一項最新研究，無需綠幕，無需手動建立 Trimap，一個具有對抗性損失的深度神經網絡，就能準确預測遮罩，給照片和視訊摳圖。
論文已經中了 CVPR 2020，代碼即将開源。
深度摳圖網絡 + 鑒别器網絡
那麼，這樣的摳圖特技是如何煉成的？
研究人員表示，是具有對抗性損失的深度網絡 + 判斷合成品質的鑒别器。
深度摳圖網絡
研究人員先在 Adobe Matting 資料集中的非透明對象子集上對深度神經網絡 G 進行了監督訓練。
輸入是帶人像的照片 I 和照片中的背景 B’，以及人像軟分割 S 和 運動先驗 M（僅對視訊而言）。
需要注意的是，在真實環境中，B’ 是通過在真實背景的前景區域随機加入噪聲而生成的。
依據輸入，網絡會預測出 alpha 遮罩 α 和前景圖像 F。
研究人員提出用背景切換塊（Context Switching block，CS block）來取代基于殘差塊的編碼器-解碼器。
有什麼不同？
舉個例子，當人的一部分與背景相比對的時候，網絡會将更多精力放在該區域的細分線索上。
G 網絡有四個不同的編碼器，分别适用于 I，B’，S 和 M 四種輸入。每個編碼器分别生成256個通道的特征圖。
通過 1×1 卷積，BatchNorm 和 ReLU，I 中的圖像特征分别與 B’，S 和 M 結合，每一對組合都會生成 64 通道特征。
最後，将這 3 個 64 通道特征與原始的 256 通道圖像特征組合在一起，生成編碼後的特征，并傳遞到由殘差塊和編碼器組成的其餘網絡。
在未标記真實資料上的對抗訓練
CS block 和資料增強的結合，可以有效彌合真實圖像與 Adobe資料集建立的合成圖像之間的差距，但真實圖像中仍然有存在一些難點：
- 将手指、手臂、頭發周圍的背景痕迹複制到遮罩中；
- 分割失敗；
- 前景色的重要部分與背景顔色接近；
- 人像照片和背景照片之間沒有對準。
為了應對這些問題，研究人員還提出了一種自監督方案，從未标記的真實資料（真實圖像 + 背景）中學習。
用深度摳圖網絡 G 的單獨副本 GReal 組成對抗網絡，對抗網絡會生成類似于 GAdobe 輸出的遮罩，而鑒别器網絡 D 會判别結果的真假。
研究人員使用真實輸入（手機拍攝）聯合訓練 GReal 和 D，并用 GAdobe 來提供監督。
與SOTA方法的對比
研究人員将新方法與以下幾種 SOTA 方法進行了定性比較：
- 基于 Trimap 的 Context Aware Matting （CAM）和 Index Matting（IM）；
- 自動遮罩算法 Late Fusion Matting（LFM）；
不難看出，效果改進着實明顯。
你覺得怎麼樣？不妨mark一下，坐等開源。
畢竟有些大膽的想法，可能已經在醞釀了，是吧？
【雲栖号線上課堂】每天都有産品技術專家分享！
課程位址：
https://yqh.aliyun.com/zhibo立即加入社群，與專家面對面，及時了解課程最新動态！
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間：2020-04-08
本文作者：魚羊
本文來自：“量子位公衆号”，了解相關資訊可以關注“公衆号 QbitAI”