傳統的圖形學和視覺的研究方法，主要還是基于數學和實體的方法。然而随着近幾年深度學習在視覺領域取得的卓越的效果，視覺領域研究的前沿已經基本被深度學習占領。在這樣的形勢之下，越來越多的圖形學研究者也開始将目光投向深度學習。在圖形學和視覺交叉的領域，一系列問題的研究正在圍繞深度學習火熱展開，特别是在圖像編輯(image editing)和圖像生成(image generation)方面，已經初見成效。今天我們讨論的問題，圖像補全(image inpainting)，正是介于圖像編輯和圖像生成之間的一個問題。
圖像補全最初是一個傳統圖形學的問題。問題本身很直覺：在一幅圖像上挖一個洞，如何利用其它的資訊将這個洞補全，并且讓人眼無法辨識出補全的部分。這個問題對我們人類似乎很容易，比如下面這個洞，大家很容易腦補出洞裡應該有窗戶和門，背景是牆，如果還有一些繪畫天賦的話，大概就能想象着把它補出來。但是這個任務對于計算機卻顯得格外困難，首先這個問題沒有唯一确定的解，其次如何利用其它的資訊？如何判斷補全結果是否足夠真實？
以深度學習為代表的機器學習，正在逐漸席卷整個圖形學研究領域。研究者們逐漸發現，當傳統的基于實體的模型發展遇到瓶頸的時候，機器學習的方法也許能夠幫助我們解釋這些複雜的數理模型。畢竟隻有了解了圖像的深層結構，才能更好地指導圖像的生成和處理。
文章推薦
1. CVPR 2016的Context-Encoders（CNN+GAN， 鼻祖級的 NN修複方法）
連結： Feature Learning by Inpainting;
Github代碼:
pathak22/context-encodergithub.com
2. CVPR 2017的High Resolution Inpainting(Context-Encoders+CNNMRF)
連結： High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis;
Github代碼:
leehomyc/Faster-High-Res-Neural-Inpaintinggithub.com
3. ICCV 2017的on demanding learning(感覺也是Context-Encoders的衍生版...)
連結：
On-Demand Learning for Deep Image Restoration，
Github代碼:
rhgao/on-demand-learninggithub.com
4. SIGGRAPH 2017 (ACM ToG)的Globally and Locally Consistent Image Completion
(CE中加入Global+Local兩個判别器的改進)，
Github代碼:
1)https://github.com/satoshiiizuka/siggraph2017_inpaintinggithub.com
2)https://github.com/shinseung428/GlobalLocalImageCompletion_TF
其中第二個實作稍微不同于原論文。但是展示效果非常棒。
5. ICLR 2018的New AI Imaging Technique Reconstructs Photos with Realistic Results
Image Inpainting for Irregular Holes UsingPartial Convolutions
号稱秒殺PS的AI圖像修複神器，來自于Nvidia 研究團隊。引入了局部卷積，能夠修複任意非中心、不規則區域），代碼還沒有放出來
[1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutionsarxiv.org
6. CVPR 2018的Generative Image Inpainting with Contextual Attention，
一作大佬jiahui Yu 後續還有個工作: Free-Form Image Inpainting with Gated Convolution,
Github代碼：
JiahuiYu/generative_inpaintinggithub.com
7. 哈工大左旺孟老師他們也有一篇Shift-Net: Image Inpainting via Deep Feature Rearrangement
效果也不錯，代碼還沒有放
8.Deep image prior
項目首頁：https://dmitryulyanov.github.io/deep_image_prior
适用場景：
1）難以模組化圖像退化過程
2）難以得到訓練圖像進行監督訓練
9.
ECCV 2018的Contextual-based Image Inpainting，inpainting大佬Chao Yang(NPS的一作)等人的又一力作:
Contextual-based Image Inpaintingarxiv.org
10.ArXiv 2019 EdgeConnect：使用對抗邊緣學習進行生成圖像修複
論文連結：ArXiv | BibTex
項目位址：https://github.com/knazeri/edge-connect#testing
EdgeConnect，一種基于邊緣補全的圖像修複新方法,這篇文章将圖像修複的工作分成了兩個部分，首先利用利用啟發式的生成模型得到了缺失部分的邊緣資訊，随後将邊緣資訊作為圖像缺失的先驗部分和圖像一起送入修複網絡進行圖像重建。（from 安大略技術大學）
具體來說，作者們提出了一個二階段生成對抗網絡 EdgeConnect，它包括一個邊緣生成器，然後是一個圖像補全網絡。邊緣生成器在圖像的缺失區域（規則和不規則）生成預測邊緣，然後圖像補全網絡使用預測邊緣作為先驗填充缺失區域。研究者通過公開可用的資料集 CelebA、Places2 和 Paris StreetView 對模型進行端到端評估，并表明它在數量和品質上優于目前最先進的技術。
詳見這裡
11. ACM MM 2018的Semantic Image Inpainting with Progressive Generative Networks，簡稱PGN，采用了由外至内的步進式修補政策，Github代碼：
crashmoon/Progressive-Generative-Networksgithub.com
12. NIPS 2018的Image Inpainting via Generative Multi-column Convolutional Neural Networks，用了不少trick，
Github代碼：
shepnerd/inpainting_gmcnngithub.com
13. CVPR 2019的Foreground-aware Image Inpainting, 思路類似于上面的工作，也是先推斷生成輪廓邊緣，輔助缺失區域進行修複，不知道上面的哥們看了這篇會是什麼感受...速度也很重要啊...
Foreground-aware Image Inpaintingarxiv.org
14. CVPR 2019的Pluralistic Image Completion，
論文與Github代碼：https://arxiv.org/abs/1903.04227arxiv.org
lyndonzheng/Pluralistic-Inpaintinggithub.com
15. IJCAI 2019的MUSICAL: Multi-Scale Image Contextual Attention Learning for Inpainting，武漢大學杜博老師組的工作（注：第一作者為我校計院的一名大學生...廣大CV狗瑟瑟發抖!）。引入一個多尺度的上下文注意力子產品，避免資訊濫用/誤用導緻的紋理模糊等問題,損失函數部分聯合了風格損失、感覺損失、對抗損失，來保證補繪内容的一緻性和清晰水準。
武漢大學地學智能感覺與機器學習研究組sigma.whu.edu.cn
16. ArXiv 2019的Coherent Semantic Attention for Image Inpainting，論文作者為@Kuma , 文中提出了一個全新的Attention子產品，該子產品不僅有效的利用了上下文資訊同時能夠捕捉到生成更新檔之間的相關性。同時提出了一個新的損失函數配合子產品的工作，最後利用一個新的特征感覺辨識器對細節效果進行加強，代碼過段時間會公開。
Coherent Semantic Attention for Image Inpaintingarxiv.org
KumapowerLIU - Overviewgithub.com
參考連結：
1.https://www.zhihu.com/question/56801298
2.https://blog.csdn.net/muyiyushan/article/details/79093806