背景
在視覺設計領域中，設計師們往往會因為一些簡單需求付出相當多的時間，比如修改文案内容，設計簡單的海報版式，針對不同機型、展位的多尺寸拓展等。這些工作需要耗費大量的時間、人力成本（5~6張/人日），但對設計師的進步成長起到的作用卻非常有限。另一方面，精準營銷是未來的大趨勢，在大流量背景下，首頁的海報資源展位需要展示“千人千面”的效果，這對海報的生産效率也提出了非常高的要求。是以，我們美團外賣技術團隊嘗試結合AI技術，來協助設計師避免這種低收益、高重複的任務，同時低成本、高效率、高品質地完成海報圖檔的生成。本文以Banner（橫版海報）為例，介紹我們在海報設計與AI技術結合方面所進行的一些探索和研究。
分析
什麼是Banner的設計過程？我們嘗試總結了對Banner設計的了解，Banner的設計過程是一系列的具備某種特征屬性的素材圖層的有序疊加過程。這裡的特征屬性既包括顔色、形狀、紋理、主題等視覺屬性，也包括位置、大小、貼邊等空間屬性。在這個過程中，哪些環節可以被機器算法所探索呢？文獻[1]研究了如何調整圖像的顔色分布，使雜志封面的視覺效果更加符合人眼的視覺特性；文獻[2]以此為基礎，引入了基于顯著性識别的圖像裁剪，并使用優化方法來解決布局問題。阿裡巴巴的鹿班系統在去年雙十一當天，生成1.7億張Banner；京東内部也在孵化玲珑和莎士比亞系統，更加智能地設計文案和Banner。
圖1 封面配色&布局設計[2]
在設計領域的一些子問題上，可以用算法來挖掘出資料背後的規律（如圖1所示）。那麼，能否建構一個完整的學習算法和處理系統，統一解決Banner設計中所有的子問題（配色、布局、搭配、生成）呢？
技術方案
素材圖層是Banner的基礎元素，其本身可以被特征化，同時組成Banner的若幹元素間的疊加順序可以被序列化，是以，算法實際是在學習“在什麼時候，選擇某種素材，放在哪裡”。
圖2 流程架構
如圖2所示，為了解決這個問題，我們設計規劃器、優化器、生成器來共同建構海報設計的學習與生産過程。其中：
規劃器從資料中學習設計師對不同風格下的設計習慣與規律；
優化器基于美學品質和設計原則，對前者的輸出結果做精細化調整；
最後，由生成器選取/生成素材并渲染成圖；
素材庫作為這三個環節的基礎，負責素材管理和素材标簽化。
如何提取素材圖檔的特征屬性，這是比較典型的分類問題。在計算機視覺領域，傳統方案是提取圖像的顔色、梯度等低級語義特征[3]，結合傳統的分類器（LR、SVM等）來實作分類。近年來，基于深度學習的方法因為能表達更為複雜的語義特征，逐漸成為主流方法[4]。如圖3所示我們提取傳統的低級語義特征，以及基于CNN的進階語義特征，來共同完成素材特征屬性提取。
圖3 素材庫-特征提取
完成素材的資料化工作後，怎樣學習Banner的設計過程？
作為一種生成模型，對抗生成網絡（GAN）[5]在近年廣為應用，其優勢是可以端到端地訓練圖像生成模型，但在我們的應用場景下，GAN存在以下兩個問題：
GAN的過程更像是“黑盒”的過程：輸入方面，雖然Conditional-GAN之類的方法可以實作某種程度有條件地可控生成，但對于Banner設計任務來說，其輸入資訊（文案、目标風格、主體資訊）仍然過于複雜；
輸出方面，GAN直接生成源資料（即圖像），但非常缺乏解釋性。我們需要的是更加直覺、更有解釋性的資訊，比如素材的類型、顔色、輪廓、位置等。
在上文中有提到，Banner設計過程是素材圖層依次疊加的過程。是以，我們可以用序列生成模型來拟合這個過程[6]。在模組化過程中，我們把素材視作詞彙（Word），海報視作句子（Sentence），詞彙索引視為離散化的特征索引，素材疊加順序就可以視為句子中的詞順序[7]。
圖4 規劃器-序列生成
圖4是我們使用的序列生成模型，輸入主體資訊和目标風格，輸出素材特征的序列。為了增強預測過程中多條路徑結果的多樣性，我們在監督性地訓練每個時刻的輸出之外，還引入了評估整個序列合理性的Object loss。如圖5所示，借鑒SeqGAN的思想，Object loss可以由判别器來提供[8]。
圖5 SeqGAN[8]
規劃器預測素材的量化特征，為了確定最終成圖符合美學标準，需要一個後處理的過程（圖6）。我們用優化器來解決這個問題。從本質上講，這是一個優化過程。通過和設計師們的溝通，我們設計了一些基于正常設計理念和美學标準的目标函數，動作集合包括移動、縮放、亮度調整等，結合優化方法，提升Banner的視覺效果。
圖6 優化器
優化後的素材特征序列，通過生成器來渲染成圖。如圖7所示，對于素材庫檢索不到符合某種特征屬性的素材的情況，我們設計了圖像風格遷移的方法來實作圖像特征遷移。這裡的特征可以是顔色、形狀、紋理等低級特征，也可以是某種語義化的視覺風格特征，對後者來說，可以将源圖像的内容Content和目标圖像的風格Style在某種特征空間（CNN中的某一層）裡做融合，實作風格遷移[9,10]。
圖7 素材生成
應用場景及功能拓展
“千人千面”的精準營銷是未來營銷政策的趨勢，這對商品素材的豐富性提出了非常高的要求；從為商家賦能的角度來說，也需要為商家提供更多樣的海報版式，這也要求系統具備海報風格的快速學習能力和拓展能力。對此，在正常設計風格的研究之外，我們從以下3個方面做了一些拓展研究。
商品素材的豐富度與美學品質是精細化營銷及海報美學品質非常重要的一環。其中最核心的要求是圖像分割的能力[11,12]。以全卷積網絡（FCN）為基礎，如圖8所示，我們采取以下幾個在目标分割領域常見的技巧，來實作商品圖檔的目标分割：
Encoder-Decoder結構
空洞卷積
多尺度特征融合
Two-Stage微調網絡
圖8 圖像語義分割&摳圖（結構圖部分參考DeepLab v3+[12]）
這種基于語義分割方法的結果，在專業設計師人工評審品質的過程中，發現主體邊緣有時會出現明顯的鋸齒感。經過分析，我們認為有以下兩個原因：
語義分割模型把問題模組化為一個“像素級分類過程”，每一個像素的類别都天然地被假設為“非此即彼”，大多數的Segmentation模型都采用Cross-Entropy作為損失函數；
是以，無論是從模型結構（CNN）還是從損失函數的角度來說，分割模型會更傾向于全局資訊進而丢棄局部結構資訊，導緻隻能得到邊緣比較粗糙的分割結果。
為此，如圖8所示，我們在圖像分割的輸出結果之外，結合了Image Matting方法：
對分割模型的輸出結果做形态學變換，生成三值Trimap，分别表示前景區、背景區、未知區；
應用正常的Matting方法，比如Bayesian、Close-Form等，以原圖像和Trimap圖像為輸入，輸出前景圖的Alpha通道；
Matting可以使前景主體的邊緣更加平滑，視覺品質更高（圖9）。
圖9 商品主體摳圖
另外，基于圖像美學品質評分模型，我們會優先選擇品質分高的圖檔作為主體素材來源。對中低分的圖檔，未來可以考慮借鑒Cycle-GAN[13]的思想，設計基于半監督和GAN的圖像增強網絡，美化後再經過圖像分割産生主體素材。
上述的正常設計風格的學習屬于一種廣義的設計風格，需要設計師先期投入很多精力做風格劃分以及資料收集、處理。為了快速适配熱點場景，我們借鑒圖像檢索技術(如圖10所示)，提取素材圖檔的CNN特征及顔色特征，使用歐式距離來度量素材相似度，這能節省人工打标簽的成本，實作基于固定模闆的自動拓展及生成（海報臨摹）。
圖10 素材圖像檢索與模闆拓展
在日常工作中，設計師在設計出Banner後，往往要花費很長時間對不同展位、不同版本、不同機型做多尺寸适配（如圖11所示）。能否用算法來協助人工提效？在素材已經确定，并且互相的位置關系近乎确定的條件下做多分辨率适配，這本質上是一個優化問題，我們在上文布局優化器的基礎上，增加元素的局部相對位置與全局絕對位置的拓撲關系作為目标函數。目前，系統支援在某個固定寬高比±30%範圍内的任意分辨率适配，未來會進一步擴大适配範圍。
圖11 多分辨率拓展
總結
目前，我們的Banner智能設計系統為鑽展（外賣首頁廣告位）、商家店鋪裝修等業務提供穩定的設計能力；素材加工等子能力也在為外賣、閃購等商品圖檔提供技術支援。後續我們會從擴充正常設計風格、語義相關的顔色及素材挖掘、自動解析資料、建構自評估學習閉環等方面繼續研究，進一步提高算法的設計能力和适用性，盡可能協助設計師提高效率，降低高重複性工作的時間和經濟成本。