2019/09/16
論文位址：https://arxiv.org/abs/1711.06375
摘要
為了用語義合理性和上下文細節修補三維模型，本文推出了由3D編解碼生成對抗網絡(3D-ED-GAN)和長期循環卷積(LRCN)組成的混合架構。
其中：
3D-ED-GAN用來在低分辨率下填補缺失的3D資料；
LRCN則是用循環網絡來最小化GPU顯存的使用，并把編解碼器整合到LSTM網絡中。把3D模型當成2D切片序列，LRCN可以把粗糙的3D形狀變成更完整和高分辨率的體塊，因為捕獲了3D形狀的上下文，LRCN在局部擁有細粒度的細節。
一、簡介
3D傳感器（如LiDAR、Kinect）獲得的很多資料，受遮擋、傳感器噪聲和光照的影響，導緻三維模型不完整且有噪聲，比如掃描建築是被樹木擋住，獲得的模型就不完整。
通常，處理3D體素模型時，使用3D卷積。目前存在的問題，3D卷積計算量太大，占用顯存太大，這限制了3D卷積的分辨率。
本文方法，沒有上述限制，是以可以做到：
（1）修補丢失或被破壞的部分，重構一個完成的3D結構
（2）預測一個具有細粒度細節的高分辨率3D形狀
二、網絡結構
整體網絡結構如圖1所示：
3D修複論文：Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 摘要一、簡介二、網絡結構三、實驗結果 圖1 論文對應網絡結構
Slice左側部分是3D-ED-GAN，作用是修補低分辨率3D模型；右側部分就是LRCN部分，使用RNN避開顯存限制，來實作高分辨率的預測。
1、3D-ED-GAN網絡
3D修複論文：Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 摘要一、簡介二、網絡結構三、實驗結果 圖2 3D-ED-GAN
網絡結構如圖2，編解碼生成網絡。
這部分有兩個loss，一個是修補結果和完整結果之間的loss：
3D修複論文：Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 摘要一、簡介二、網絡結構三、實驗結果 修補模型和完整模型之間loss
一個是判别器的loss：
3D修複論文：Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 摘要一、簡介二、網絡結構三、實驗結果 判别器loss
3D修複論文：Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 摘要一、簡介二、網絡結構三、實驗結果 、
3D修複論文：Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 摘要一、簡介二、網絡結構三、實驗結果 表示x、
3D修複論文：Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 摘要一、簡介二、網絡結構三、實驗結果 中的第i個體素，其餘符号意義如圖2。
2、LRCN網絡
3D修複論文：Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 摘要一、簡介二、網絡結構三、實驗結果 圖3 LRCN網絡
結構如圖3所示，步驟如下：
- PCA為了獲得最多的上下文資訊，要保證非空白切片盡可能的多，使用了PCA來對齊3D模型。
- 将切片放入3D CNN中編碼
- 編碼結果放如LSTM，形成上下文
- 同時LSTM的輸出放入2D Full-CNN解碼，上采樣成高分辨率結果。
這個網絡隻有一個loss，作者嘗試了L1和L2，發現L1效果更好。
三、實驗結果
對真實物體掃描結果進行實驗，結果如圖4
3D修複論文：Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 摘要一、簡介二、網絡結構三、實驗結果 圖4 真實物體掃描結果實驗
還有引入少量噪聲的實驗結果、分類的結果，這裡就不貼了。
