天天看點

【每周CV論文推薦】基于GAN的圖像修複值得閱讀的文章

歡迎來到《每周CV論文推薦》。在這個專欄裡,還是本着有三AI一貫的原則,專注于讓大家能夠系統性完成學習,是以我們推薦的文章也必定是同一主題的。

圖像修複(補全)是一個非常基礎的圖像處理領域,也是一個難度較大的方向,随着生成對抗網絡技術的成熟,基于GAN的圖像修複在傳統方法的基礎上取得了非常大的進展,本次我們來簡單給大家推薦一些初學者值得關注的工作。

作者&編輯 | 言有三

1 基本模型

由于GAN模型擁有很好的圖像生成能力,對于需要修複的部位,直接使用GAN模型進行學習,通過對抗損失來限制生成比較真實的結果,Context encoders及其改進GLCIC模型就是最基本的模型,是研究基于GAN的圖像修複問題必讀的初級論文。

文章引用量:6000+

推薦指數:✦✦✦✦✦

【每周CV論文推薦】基于GAN的圖像修複值得閱讀的文章

[1] Pathak D, Krahenbuhl P, Donahue J, et al. Context encoders: Feature learning by inpainting[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2536-2544.

[2] Iizuka S, Simo-Serra E, Ishikawa H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (ToG), 2017, 36(4): 1-14.

2 注意力模型

在圖像修複領域中,不管是傳統方法還是基于深度學習模型的方法,上下文資訊都是非常重要的,因為待修複區域内容是完全缺失的,必須從未缺失區域中采集資訊進行補全,注意力機制可以得到很好的應用。

文章引用量:1700+

推薦指數:✦✦✦✦✧

【每周CV論文推薦】基于GAN的圖像修複值得閱讀的文章

[3] Yu J, Lin Z, Yang J, et al. Generative image inpainting with contextual attention[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 5505-5514.

3 條件監督模型

由于圖像修複問題本身難度較大,尤其是對于缺失區域面積較大的内容很難補全,如果有額外的資訊監督,将有利于生成結果的穩定性,比如目标的邊緣輪廓,或者其他确定性的語義資訊,如人臉的關鍵點。

文章引用量:1500+

推薦指數:✦✦✦✦✦

【每周CV論文推薦】基于GAN的圖像修複值得閱讀的文章

[4] Yu J, Lin Z, Yang J, et al. Free-form image inpainting with gated convolution[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 4471-4480. 

[5] Xiong W, Yu J, Lin Z, et al. Foreground-aware image inpainting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 5840-5848.

[6] Nazeri K, Ng E, Joseph T, et al. Edgeconnect: Structure guided image inpainting using edge prediction[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. 2019: 0-0.

4 圖像修複應用

圖像修複的應用非常廣泛,從水印去除,到照片的刮痕、異物、反光遮擋等資訊去除,甚至于陰影去除,凡是在圖中有不想要的目标,都可以使用圖像修複方法進行去除,是以盡管圖像修複問題比較難,研究的熱度也一直不低。

文章引用量:200+

推薦指數:✦✦✦✦✧

【每周CV論文推薦】基于GAN的圖像修複值得閱讀的文章

[7] Ding B, Long C, Zhang L, et al. Argan: Attentive recurrent generative adversarial network for shadow detection and removal[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 10213-10222.

繼續閱讀