天天看點

AI論文探讨室·A+·第5期 Human Synthesis and Scene Compositing

《Human Synthesis and Scene Compositing》

​​論文連結​​

主要解決的問題:參數化控制人體姿态和形狀,并将生成的人體嵌入到3D背景中

主要描述

       本論文提出的架構主要包含三部分:(1)一個人像圖像統一模型在控制姿态和外觀,基于一個參數的展示;(2)一個人像插入處理,利用幾何和語義的3D場景;(3)一個現實組成處理來創造一個無縫的融合在場景顔色和生成人體圖像,以及避免視覺僞影。并在DeepFashion資料集上進行測試,得到比較好的結果。

系統架構

AI論文探讨室·A+·第5期 Human Synthesis and Scene Compositing

架構流程:輸入一張人體的前景圖,一個背景場景包含深度圖和語義标簽,以及一個目标的3D身體模型。首先,本論文使用北京場景來估計地面模闆。在幾何合成階段,本論文給目标人體确定一個固定的3D位置,以及進行相關的視點轉換,使用支援面法向進行對齊。通過HUSC-S網絡,将新更新的目标人體形狀和輸入圖像一起進行編碼到目的表面。統一的前景圖像結果在背景圖中進行渲染,通過适當考慮深度排序限制。最後,它的外觀使用論文中的外觀組成網絡來選擇,為了得到最終的結果。

HUSC-S網絡詳解

AI論文探讨室·A+·第5期 Human Synthesis and Scene Compositing

名額對比

AI論文探讨室·A+·第5期 Human Synthesis and Scene Compositing

實驗效果

AI論文探讨室·A+·第5期 Human Synthesis and Scene Compositing

主要工作

(1)在3D背景空間進行處理和操作;

(2)為解決空間尺度和模型閉合,引入場景的語義資訊;

(3)使用參數化的3D人體和稠密幾何對應關系,來較好的控制外觀轉化處理;

繼續閱讀