本文來自AI新媒體量子位(QbitAI)
最近,來自加州大學伯克利分校的RICHARD ZHANG、JUN-YAN ZHU、PHILLIP ISOLA等人寫了一篇題為“用Learned Deep Priors來實時指導圖像着色”的論文,這篇文章提出了一種有趣的圖像着色方案。
以下是論文的主要内容:

我們提出了一種有趣的深度學習方法,來實時指導使用者進行圖像着色。該網絡會結合輸入的灰階圖像和簡單的使用者提示,直接映射到卷積神經網絡(CNN),即可輸出使用者滿意的彩色圖。
傳統的神經網絡一般通過人為地定義相關規則,并從大規模資料集中學習進階語義資訊,融合圖像的低級特征,來幫助使用者對圖像進行着色。我們通過模拟使用者操作,訓練了一百萬張圖像。
為了引導使用者選擇有效的着色方案,該系統會根據輸入圖像和目前使用者的輸入來提出最佳的着色方案。圖像着色僅通過單次前向傳播即可完成,計算量小,可實時完成。
我們随機地模仿使用者進行輸入,從視訊中可以看出,該系統可幫助新手快速地建立逼真的圖像,且在簡單熟悉後,新手們在着色品質上大幅改善。
此外,我們還表明,該架構可以應用顔色直方圖轉換的功能,将其他使用者的“提示”納入備選的着色方案中。
我們使用130萬張彩色照片來訓練這個圖像着色系統,通過去除RGB分量來合成灰階圖。在這裡,我們展示一些示例。
下面我們展示出一些使用者的操作效果。每個使用者在每張圖像上大約花費了1分鐘。對于參加實驗的28個使用者,我們進行了簡短的2分鐘解釋和說明了相關要點,并給出了10張圖像進行着色測試。我們給出了28個使用者對這10張圖像的着色方案。你可以從論文的第4.2節查到該部分的相關資訊和延伸。
我們還展示了包含有全局直方圖資訊的擴充性網絡,請參閱論文的第3.3節和第4.4節。下圖是應用随機直方圖的轉化效果。
Paper:
<a>https://arxiv.org/pdf/1705.02999.pdf</a>
對Paper的補充材料:
<a>https://richzhang.github.io/ideepcolor/</a>
Code:
<a>https://github.com/junyanz/interactive-deep-colorization</a>
本文作者:王新民
原文釋出時間:2017-05-10