本文為 AI 研習社編譯的技術部落格，原标題 ：
NeuroNuggets: CVPR 2018 in Review, Part I
作者 | Sergey Nikolenko、Aleksey Artamonov
翻譯 | 老趙 校對 | 李晶
整理 | 鳳梨妹
原文連結：
https://medium.com/neuromation-io-blog/neuronuggets-cvpr-2018-in-review-part-i-f22b8c223202
NeuroNuggets：CVPR 2018年回顧，第一部分
在Neuromation，我們一直在尋找有助于我們的研究的新的有趣想法。 還有什麼比頂級會議更适合尋找它們的地方。 我們已經在CVPR（計算機視覺和模式識别）會議的研讨會DeepGlobe介紹了我們如何取得成功。 這次我們将仔細研究一下CVPR本身最有趣的論文。 這段時間，頂級會議是非常重要的事情，是以我們準備了一系列的推文。 我們介紹的論文沒有特别的順序，不僅選擇優秀的論文，而且與我們在Neuromation所做的研究相關。 這一次，Aleksey Artamonov（你以前見過的人）準備了這份清單，我試圖對其補充一些介紹。 在這個系列中，我們将非常簡短，試圖從每篇論文中提取最多一個有趣的點，是以在這種方式我們不能真正了解完整的工作，并強烈建議完整閱讀論文。
GAN和計算機視覺
在第一部分中，我們專注于生成模型，即不僅可以區分貓狗，還可以生成新的貓和狗圖像的機器學習模型。 對于計算機視覺，最成功的一類生成模型是生成性對抗網絡（GAN），其鑒别器網絡學習區分生成的對象和真實對象，生成器學習去欺騙鑒别器。 我們已經多次寫過GAN（例如，這裡和這裡），是以讓我們直接進入正題。
尋找戶外的小臉
Y. Bai等人，用生成性對抗網絡在戶外尋找小小的面孔
在沙特和中國研究人員的合作中，作者使用GAN來檢測和放大人群照片上的非常小的面孔。 即使僅檢測小面孔也是一個有趣的問題，普通的人臉檢測器（例如，在我們之前的文章中出現）通常無法解決該問題。 在這裡，作者提出了一個端到端的流水線來提取面部，然後應用生成模型将其提升到4倍（一個稱為超分辨率的過程）。 以下是論文中的流水線概覽：
PairedCycleGAN化妝
H. Chang等人，PairedCycleGAN：用于和去除化妝的不對稱樣式轉移
條件GAN已經廣泛用于圖像處理; 我們已經提到過超分辨率，GAN也成功應用于風格轉換。 使用GAN，可以學習與特定圖像元素相對應的顯着特征 - 然後更改它們。 在這項工作中，來自普林斯頓、伯克利和Adobe的研究人員提出了一個修飾照片的架構。 這項工作的一個有趣的部分是作者為不同的臉部組成部分（眼睛，嘴唇，皮膚）訓練單獨的生成器并分别應用它們，用不同的網絡提取臉部組成部分：
GANerated Hands
F. Mueller等人，GANerated Hands for Mon-time RGB for Real-Time 3D Hand Tracking
我們已經寫過關于姿勢估計的文章。 姿勢估計的一個非常重要的子集（通常需要單獨的模型）是手部跟蹤。 通過揮動雙手來操縱計算機的科幻主題尚未完全實作，仍然需要專門的硬體，如Kinect。 像往常一樣，主要問題之一是資料：在哪裡可以找到3D标記的真實視訊流？在這項工作中，作者提出了一種條件GAN架構，能夠将合成的3D模型轉換為圖像 然後用于訓練手部跟蹤網絡。 這項工作非常吸引我們，合成資料是Neuromation研究的重點，是以我們之後可能會更詳細地考慮它。 同時，這裡是“合成到實際”的GAN架構：
行人遷移GAN
L. Wei 等人，Person Transfer GAN to Bridge Domain Gap for Person Re-Identification
人物重新識别（ReID）是在不同條件和不同情況下拍攝的不同照片上找到同一個人的問題。 這個問題自然而然地成為許多研究的主題，現在已經相對較好地解決了，但是領域差異問題仍然存在：不同的資料集與人物的圖像具有非常不同的條件（照明，背景等），在一個資料集上訓練的網絡在轉移到另一個資料集（以及例如現實世界的應用程式）時損失很大。 上圖展示了不同的資料集。 為了解決這個問題，這項工作提出了一種GAN架構，能夠将圖像從一種“資料集樣式”轉移到另一種“資料集樣式”，使用GAN來通過複雜的變換增強真實資料。 它的工作原理如下：
生成模型的眼睛圖像合成
K.Wang等人，用于眼睛圖像合成和眼睛凝視估計的分層生成模型
倫斯勒理工學院的這項工作解決一個非常特殊的問題：生成人眼的圖像。 這不僅對于生成圖像中漂亮的眼睛重要，而且用生成的眼睛解決視線估計問題：人們在看什麼？ 這将為真正的科幻界面鋪平道路......但這仍然是未來，目前甚至合成眼睛生成也是一個非常難的問題。 作者提出了一個複雜的眼形合成機率模型，并提出了一個GAN架構，根據這個模型生成眼睛 - 取得了巨大的成功。
圖像修複：填寫空白
J. Yu等人，Generative Image Inpainting with Contextual Attention
Adobe Research和伊利諾伊大學厄本那 - 香槟分校的這項工作試圖解決填補圖像空白這個極具挑戰性的問題（見上面的例子）。 通常，修複圖像需要了解潛在場景：在上圖中的右上角，你已經知道臉部是什麼樣的，以及我們根據看到的頭發和頸部預測臉可能是什麼樣的。 在這項工作中，作者提出了一種基于GAN的方法，可以利用周圍圖像的特征來改善生成。 該結構由兩部分組成，首先生成粗略結果，然後使用另一個網絡對其進行細化。 結果非常不錯：
今天就是這樣。 這隻是第一部分，我們将在下一期繼續進行CVPR 2018回顧，再見。雷鋒網(公衆号：雷鋒網)雷鋒網雷鋒網
Sergey Nikolenko
Chief Research Officer, Neuromation
Aleksey Artamonov
Senior Researcher, Neuromation
想要繼續檢視該篇文章相關連結和參考文獻？
長按連結點選打開或點選【CVPR 2018摘要：第一部分】：
http://ai.yanxishe.com/page/TextTranslation/1193
AI研習社每日更新精彩内容，觀看更多精彩内容：
使用 SKIL 和 YOLO 建構産品級目标檢測系統
如何極大效率地提高你訓練模型的速度？
良心推薦：一份 20 周學習計算機科學的經驗貼（附資源）
資料科學家應當了解的五個統計基本概念：統計特征、機率分布、降維、過采樣/欠采樣、貝葉斯統計