???? 聲明: 作為全網 AI 領域 幹貨最多的部落客之一，❤️ 不負光陰不負卿 ❤️
- ???? ???? Follow me ????，一起 Get 更多有趣 AI ???? ????
聲明：精簡翻譯，未完全校對
- 積壓的存稿、好久沒更文了、先發一篇
- 這個代碼很不錯、推薦有興趣的同學學習
- 文末附中文翻譯 PDF （機翻）分享
- ???? 精選專欄，圖像修複-代碼環境搭建-知識總結
- ???? 部落客：墨理，2020年碩士畢業，目前從事圖像算法，AI工程化 相關工作
- ???? 該代碼的測評，近期會更新博文，敬請關注
???? 基礎資訊
- github.com/Xiefan-Guo/…
- arxiv.org/pdf/2108.09…
恭喜北航 和 論文作者（ 作者隻有三個人 ）
???? 精簡翻譯
摘要翻譯：
深度生成方法最近通過引入結構先驗在圖像修複方面取得了相當大的進展。然而，由于在結構重建過程中缺乏與圖像紋理的适當互動，目前的解決方案無法處理具有大損壞的情況，并且通常會出現失真的結果。在本文中，我們提出了一種用于圖像修複的新型雙流網絡，它以耦合的方式對結構限制紋理合成和紋理引導結構重建進行模組化，以便它們更好地互相利用以獲得更合理的生成。此外，為了增強全局一緻性，設計了雙向門控特征融合 (Bi-GFF) 子產品來交換群組合結構和紋理資訊，并開發了上下文特征聚合 (CFA) 子產品來按區域細化生成的内容親和力學習和多尺度特征聚合。在 CelebA、Paris StreetView 和 Places2 資料集上的定性和定量實驗證明了所提出方法的優越性
輸入 - 過程（重建的結構） - 輸出（修複圖像） - 真實圖像
簡單說一說論文目錄結構
優秀頂會論文的特點：文章内容高度凝聚、沒有多餘的标題
- Introduction
圖像修複[3]指的是在重建圖像受損區域的同時保持其整體一緻性的過程，這是一項典型的低水準視覺任
務，具有許多實際應用，如照片編輯、分散注意力的物體移除和修複受損部分。
與大多數計算機視覺問題一樣，在過去十年中，深度學習的廣泛應用在很大程度上促進了圖像修複。與
傳統方法[2, 5]不同，傳統方法通過從已知區域搜尋最相似的更新檔來逐漸填補缺失區域，而深層生成方法[19, 7, 31, 33]捕捉到了更高層次的語義，并更好地處理了具有非重複模式的圖像修複任務；
還有一種趨勢是，将深度生成和基于更新檔的傳統圖像修複方法的優點結合起來[35, 30, 24, 15],提供具有真實紋理和合理語義的修複内容。此外，還研究了香草卷積的更新版本[13, 27, 36],其中操作被屏
蔽并标準化為僅以有效像素為條件，進而在不規則損壞方面實作了良好的性能。然而，上述方法在恢複圖像的全局結構時暴露了一個共同的缺點，因為生成網絡的功能不如預期的強大。
為了解決這個問題，人們提出了許多多階段方法來明确地結合結構模組化，在第一階段中幻覺缺失區域的結構，并在第二階段使用它們來指導像素生成。例如，EdgeConnect [18]通過邊緣對此類結構進行編碼，而[20]和[28]采用中間邊緣保留的平滑圖像和前景輪廓。這些替代方案顯示了結構和紋理得到改善的結果。不幸的是，從損壞的圖像中擷取合理的邊緣本身就是一項非常艱巨的任務。在這些串聯耦合的架構中，重複任務和采用不穩定的結構先驗往往會導緻很大的錯誤。
最近，一些嘗試混合了結構和紋理的模組化過程。PRV（視覺結構的漸進重建）[10]和MED（互相編碼解碼器）[14]是代表，它們通常利用紋理和結構的共享生成器。盡管報告了一些性能提升，但在這種單一
纏繞結構中，結構和紋理之間的關系并未得到充分考慮。特别是，由于圖像結構和紋理在整個網絡中互相關聯，它們很難傳遞整體的補充資訊來幫助另一方。這一事實表明，仍有很大的改進空間。
在本文中，我們提出了一種新的雙流網絡，該網絡将圖像修複分為兩個子任務，即結構限制紋理合成和
紋理引導結構重建。通過這種方式，兩個并行耦合流被單獨模組化并組合以互相補充。相應地，我們開發了一個雙分支鑒别器來評估這一代的性能，它監督模型同時合成真實像素和銳利邊緣，以進行全局優化。此外，我們還引入了一個新的雙向選通特征融合（bi GFF）子產品來內建重建的結構和紋理特征映射，以增強它們的一緻性，以及一個上下文特征聚合（CFA）子產品來突出來自遙遠空間位置的線索，以呈現更精細的細節。由于雙代網絡以及專門設計的子產品，我們的方法能夠實作更具視覺說服力的結構和紋理（見圖1, 放大以獲得更好的視圖）。
在 CelebA [16]、Paris StreetView [4] 和 Places2 [39] 資料集上進行了大量實驗以進行評估。定性和定量結果表明，我們的模型顯著優于最先進的模型。
- CelebA[16], Paris StreetView [4] and Places2 [39] datasets for evaluation.
- Qualitative and quantitative results demonstrate [ 定性 定量評估 ]
- our model significantly outperforms the state-of-the-art.
- The main novelties and contributions are as follows:
- Related Work
- 2.1. Traditional Methods
傳統的方法主要可以歸納為兩類，即基于擴散的方法和基于斑塊的方法。基于擴散的方法[3, 1]根據相鄰
區域的外觀資訊渲染缺失區域。由于這種初步的搜尋機制，他們的結果不太好。在基于面片的方法[2, 29]中，像素完成是通過從源圖像的未受損區域搜尋和粘貼最相似的面片來實作的，這利用了遠距離資訊。這些方法實作了更好的性能，但在計算缺失區域和可用區域之間的更新檔相似性時，它們的計算成本很高，并且難以重建具有豐富語義的模式。
- 2.2. Deep Generative Methods
深度生成方法[35, 36, 8, 34, 38, 40, 37, 26, 12]目前占主導地位，由于其強大的特征學習能力，可以有效地從受損圖像中提取有意義的語義，并以較高的視覺保真度恢複合理的内容。
最近，Wang等人[25]通過涉及結構資訊，顯著提高了邊緣更清晰的圖像合成品質。随後，提出了一系列
多階段方法，這些方法連續地結合了額外的結構先驗，産生了更令人印象深刻的結果。EdgeConnect [18]通過邊緣提取圖像結構，并根據邊緣填充孔洞。Xiong等人[28]展示了一個類似的模型，該模型使用前景對象輪廓作為結構先驗，而不是邊緣。Ren等人[20]指出，由于捕捉到了更多的語義，是以邊緣保留的平滑圖像傳達了更好的全局結構。但這些方法對結構（如邊緣和輪廓）的準确性很敏感，這不容易保證。為了克服這個缺點，有幾種方法試圖利用紋理和結構的相關性。Li等人[10]設計了一個視覺結構重建層，以逐漸纏繞圖像内容和結構的生成。Yang等人[32]引入了一個多任務架構，通過添加結構限制來生成銳利的邊緣。Liu等人[14]提出了一個互相編碼-解碼網絡，以同時學習CNN特征，這些特征對應于不同層的結構和紋理。然而，很難對紋理和結構進行模組化，并使它們在單個共享架構中充分互補。
我們的研究還利用了圖像結構資訊，提出了一種不同但更有效的雙流網絡，其中結合了結構限制紋理合成和紋理引導結構重建。這兩個子任務可以更好地互相促進，在 dual generation 中産生更令人信服的紋理和結構。
- Approach ( 網絡的可改進點，主要就是圍繞這些，至于你是創新、還是拼湊、先實驗效果好、然後理論升華一樣 很 OK )
- 3.1. Generator
這裡作者所提出的這倆創新子產品、盲猜大機率有很多 Tricks 創意 是受 NLP、語音 領域的一些前沿網絡啟發
這裡的網絡結構圖，是如何生成、或者用什麼 工具畫出來的，希望有經驗的 碩博 前輩 指點一二
- 3.2. Discriminator
Motivated by global and local GANs [7], Gated Convolution [36] and Markovian GANs [9], we develop a twostream discriminator to distinguish genuine images from the generated ones by estimating the feature statistics of both texture and structure.
- 3.3. Loss Functions
損失也還是那幾個常見的 Loss ， 名字大家都知道
這個地方就是，有的時候，其他頂會中如果出來某個新的 Loss、确實效果好的話、都可以及時拿來 套用、看是否适合目前領域研究
The model is trained with a joint loss, containing the reconstruction loss, perceptual loss, style loss and adversarial loss, to render visually realistic and semantically reasonable results.
4 Experiments
- 4.1. Experimental Settings
- 4.2 Qualitative Comparison
- 4.3 Quantitative Comparison
定性、定量對比
- 4.4 Analysis on Network Architecture
- 4.5. Ablation Study
補充工作量、提升想象空間，這些東西說來容易、折騰其中的時候、如果不是對科研充滿熱愛、都是磨人的過程，痛并快樂着 ？
- Conclusion
在本文中，我們提出了一種新的雙流圖像修複方法，該方法通過同時模組化結構限制紋理合成和紋理引導結構重建來恢複損壞的圖像。 通過這種方式，兩個子任務交換有用的資訊，進而互相促進。 此外，引入了一個雙向門控特征融合子產品，然後是一個上下文特征聚合子產品來細化結果，具有語義上合理的結構和細節豐富的紋理。實驗表明，該模型能夠勝任這一任務，并且優于最先進的模型。
???? 中文翻譯 PDF （機翻）分享
機翻中文論文效果大緻如下：
文末卡片、關注 墨理學AI 、背景回複，關鍵詞，20220110
20220110 ???? 預祝各位 前途似錦、可摘星辰
- ???? 作為全網 AI 領域 幹貨最多的部落客之一，❤️ 不負光陰不負卿 ❤️
- ❤️ 如果文章對你有幫助、點贊、評論鼓勵部落客的每一分認真創作
- ???? 深度學習模型訓練推理——基礎環境搭建推薦博文查閱順序【基礎安裝—認真幫大家整理了】——【1024專刊】
計算機視覺領域 精選專欄、不少幹貨、有興趣可了解一下
- ❤️ 圖像風格轉換 —— 代碼環境搭建 實戰教程【關注即可閱】！
- ???? 圖像修複-代碼環境搭建-知識總結 實戰教程 【據說還行】
- ????超分重建-代碼環境搭建-知識總結 解秘如何讓白月光更清晰【脫單神器】
- ????YOLO專欄，隻有實戰，不講道理 圖像分類【建議收藏】！
- ???? 計算機視覺：超分重建、圖像修複、目标檢測、風格遷移 等領域 稍有所學
- ???? AI 工程化：Ncnn、MNN、TensorRT 正在 學習
- ???? C++、Python、Java 略懂一二
- ???? ???? Follow me ????，一起 Get 更多有趣 AI、實戰博文教程、沖沖沖 ???? ????