website：http://raywzy.com/Old_Photo/
GitHub：https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life
一、簡介
目的：老照片的退化太複雜，合成資料跟真實老照片間的domain gap使得隻在合成資料上訓練的網絡很難去很好的泛化，為此，希望通過域轉換對齊分布。
二、主要内容
1、定義：設真實老照片域為R，合成資料域為X，合成資料對應的真值資料域為Y。
2、主要架構：
首先，通過VAE将三個域的圖像分别映射至對應的隐空間：R->Z_R，X->Z_X，Y->Z_y。這裡，為了對齊分布，盡可能的對齊合成資料和真實老照片資料的隐空間：Z_R～Z_X。然後，通過合成資料對{x, y}，學習退化圖像的隐空間到真值圖像的隐空間的轉換，進而實作老照片複原：
2.1、在VAE的隐空間進行域對齊：該方法的一個關鍵就是把真實老照片域R和合成資料域X編碼到同一個隐空間。為此，作者采用VAE來實作，使用VAE的關鍵一點就是，VAE包含隐空間的KL正則項，該項可以幫助對齊老照片的隐空間和合成資料的隐空間，進而減小域間隔。這裡，該架構總共有兩個VAE，真實老照片資料R和合成資料X共享同一個VAE_1，真值圖像用第二個VAE_2進行編解碼。VAE假設隐編碼服從高斯先驗，這樣，新的圖像可以從高斯分布采樣進行重建。對于，真實老照片資料的優化目标是：
其中，第一項是KL散度，懲罰隐編碼服從高斯先驗；第二項是重建項，隐式限制隐編碼捕獲圖像的主要資訊；第三項是LSGAN loss限制VAE生成視覺品質高的圖像。訓練時，交替輸入合成資料和真實老照片資料，優化VAE1，為了進一步減小域間隔，額外用對抗損失進一步判别老照片的隐編碼和合成資料的隐編碼：
2.2、通過隐編碼映射進行複原：
由于老照片和合成資料已經在隐空間進行了很好的域對齊，是以，通過成對資料{x, y}學到的從隐編碼Z_X到隐編碼Z_Y的映射，也能夠很好的泛化到老照片上。在這一階段，那就是固定兩個VAE，然後學兩個隐空間的映射網絡T，損失函數為：
第一項懲罰成對資料{x, y}的隐編碼一緻：
第二項鼓勵最終的轉換輸出圖像的視覺品質高。第三項是特征比對損失，用來穩定GAN的訓練，具體包括判别器的特征損失和VGG的特征損失：
2.3、多退化重建：
為了複原劃痕這種大的結構性退化，需要利用圖像的大範圍全局特征，是以，在編碼映射網絡T中，加入非局部子產品（non-local attention），該非局部子產品同時利用了表示劃痕的mask。該子產品結構如下：
非局部操作可公式化為：
其中：
這裡的非局部分支利用了表示劃痕的mask，該mask是通過一個預訓練好的mask預測網絡得到的。這個mask預測網絡采用Unet結構，訓練時利用了采樣和focal loss來解決樣本不平衡問題。
非局部分支和局部分支的融合如下：
三、實驗
1、資料：合成資料采用高斯噪聲，高斯模糊，JPEG壓縮以及box 模糊來模拟。按照随機的順序組合這些退化，并以30%的機率丢棄退化。
2、網絡結構：
3、結果