博雯 發自 凹非寺
量子位 報道 | 公衆号 QbitAI
這下真的是萬物皆可JOJO化了！
本來就神采飛揚的馬斯克，下一刻更是仿佛要直接“我不做人啦！”
世界名畫蒙娜麗莎神秘優雅的微笑，似乎也變得JO灼了起來……
再來個同一次元的……團長你在做什麼啊團長！
而上面這些效果隻要打開網頁Demo，點選上傳任意本地圖檔就能實作。
這就一下子引來了大批網友的圍觀，不僅推特熱度800+，線上試玩的抱抱臉（Hugging Face）還排起了隊，一張照片最多要等四五分鐘。
還不僅JOJO一種風格，還有迪士尼風、英雄聯盟風……輸入任意一種風格的圖像，都可以将這種風格快速應用到新的圖檔上：
看這楚楚可憐的卡姿蘭大眼睛，以及天真無邪的公主笑，我隻想說……老馬，快收了神通吧！
線上JO化任意人像
看了上面的示範，是不是自己也想整一個JO化臉？
我們用開發者提供的Hugging Face和Colab來試一下。
首先是線上網頁版的Hugging Face，點選左邊框中空白處就能把任意本地照片丢進去：
再點Submit，等個十幾秒……站在你面前的不是别人，而是ko no肌肉金輪大司馬哒！
這個方法點開連結就能即傳即玩。不過雖然簡單快捷，但偶爾還是要排隊等個幾分鐘：
是以強烈安利colab版本，向test_input檔案夾中導入任意圖像，比如我們這裡放入一張冰冰，然後點選運作：
再繼續運作下面的生成子產品：
把我的冰冰女神JOJO化，這也在你的算計之中嗎GAN !
而且，colab中還提供了另一種玩法：導入一張任意風格的圖檔，自己制作一個XX風格生成器。
嗯……這不得整一個提瓦特大陸版的馬斯克？
上傳一張老馬的正經圖：
再在style_images檔案夾中上傳一張原神風格的人像：
（上傳偏二次元風格的圖像可能會出現“找不到人臉”的情況，需要多試幾張圖）
然後進行微調，等待幾分鐘，再點運作：
這個堅毅的眼神，再配上原圖裡老馬的那個遠眺抱胸的姿勢，感覺下一秒就能來句天動萬象了！
通過GAN反轉擷取近似風格
那麼，這種方法到底是怎麼做到隻參考一張圖檔，就能完美學習其美術風格，再将其運用到其他圖像上呢？
我們一起來看看這個叫做JoJoGan的模型。
它主要是通過GAN反轉（inversion）來擷取近似風格的，主要工作流程分四步：
通過GAN将參考風格圖像反轉為近似的配對訓練資料，得到相應的風格化的代碼；
根據風格化代碼生成真實的人臉圖像，并與參考風格圖像相比對，形成成對的資料作為配對訓練集；
基于這些成對的訓練資料，對StyleGAN進行微調；
使用微調後的StyleGAN生成新的樣本。
開發者表示，這一模型非常關注零監督下的風格細節，并且在不同風格中具有良好的通用性，能夠輕松泛化到其他風格的圖像上。
從二次元到技術宅
開發者Min Jin Chong也是我們的老熟人了，之前曾經搞過二次元老婆生成器：
Min Jin Chong本人大學畢業于美國伊利諾伊大學厄巴納-香槟分校（UIUC），後繼續留校讀博，主要研究領域為機器學習、計算機視覺和圖像生成。
此前他曾在位元組實習過3個月，現在與兩位同校學生一起創立了一個叫做Style Space的時尚購物應用，允許使用者在虛拟空間中試用和購買産品。
而他的導師David Forsyth則是一位CV領域的大牛，曾與Jean Ponce著有計算機視覺經典教材《Computer Vision：A Modern Approach》：
Hugging Face線上試玩：
https://huggingface.co/spaces/akhaliq/JoJoGAN
colab線上試玩：
https://colab.research.google.com/github/mchong6/JoJoGAN/blob/main/stylize.ipynb#scrollTo=LCLWiXoXwcJb
論文連結：
https://arxiv.org/abs/2112.11641
參考連結：
[1]https://twitter.com/ak92501/status/1473522187491590148
[2]https://github.com/mchong6/JoJoGAN