天天看點

AI 自動生成二次元妹子?或将替代插畫師部分工作

AI 自動生成二次元妹子?或将替代插畫師部分工作
AI 自動生成二次元妹子?或将替代插畫師部分工作

其實這并不是第一個将ai應用到動漫當中的模型。2015年soumith chintala等人開發dcgan後不久,就有人将dcgan應用到了生成動漫角色當中,出現了chainerdcgan、illustrationgan和animegan等,三者分别使用了chainer、tensorflow和pytorch的架構,它們本質上都是dcgan,隻是實作方式不同。但這些模型的效果并不是很好,尤其是會出現面部頭像模糊和扭曲的問題。在makegirls.moe的模型中,作者針對這些問題做出了兩方面的改進。

之前幾家,他們訓練模型所使用的資料集大多數是使用爬蟲從網絡上爬下來的,這類圖檔在品質和畫風上參差不齊,甚至還有一些背景。訓練資料集品質的低下會給訓練造成很大的影響。本文的作者則通過從日本的遊戲販賣商getchu購買了高品質的圖像,這些圖像基本出于專業畫師之手,同時背景統一。

AI 自動生成二次元妹子?或将替代插畫師部分工作

除了高品質的圖像外為了訓練網絡模型,作者使用了一種基于cnn的圖像分析工具illustration2vec,對圖像中動漫人物的屬性,如頭發顔色、眼睛顔色、發型和表情等做标記。

此外,在訓練的過程中他們還發現釋出時間越晚的圖檔,訓練出的模型效果越好。這不難了解,随着遊戲角色制作和cg技術的發展,越是現代的圖檔,細節越豐富,如陰影和頭發。是以作者舍棄了2005年之前的全部資料,并過濾掉分辨率低于128*128的圖像,用剩下的31255張高品質圖像進行訓練。

AI 自動生成二次元妹子?或将替代插畫師部分工作

下面展示一下效果——

AI 自動生成二次元妹子?或将替代插畫師部分工作
AI 自動生成二次元妹子?或将替代插畫師部分工作

雖然訓練出的模型大多數時候都比較好,但該模型仍然存在一些缺點。問題仍出在資料集中,由于訓練資料中各個屬性(發色、發型、眼鏡、帽子等)的數量分布不均勻,某些屬性的生成并不理想(例如眼鏡和帽子常常不能生成) ,如果将某些罕見的屬性組合,生成的圖檔甚至會崩潰(例如帽子+眼鏡)。也許當增加資料集的數量,訓練出的模型生成圖檔品質可以進一步提高。雷鋒網(公衆号:雷鋒網)認為,按照此趨勢ai或許在不久将替代掉插畫師的一部分工作。

本文作者:camel

繼續閱讀