近期,央視《機智過人》的舞台上來了位“三超設計師”——設計能力超強;出圖能力超快;抗壓能力超強,成功迷惑嘉賓和現場觀衆,更讓撒貝甯出錯三連。
節目一開場,這位“設計師”就為現場嘉賓:主持人撒貝甯、演員韓雪、神經科學家魯白生成了三張獨具特色的海報。幾乎是說話的瞬間,海報立即生成,出圖速度之快讓撒貝甯驚呼“秒完”。

鹿班為現場嘉賓設計的海報
這位設計師正是阿裡巴巴研制的AI設計師——鹿班。鹿班是為解放人類平面設計師而生,它學習了五百萬張人類設計作品,現在它每秒能做八千次設計。自從2016年上線至今,鹿班已經完成了十億次海報制作,是全球首位大規模投入使用的人工智能平面設計師。
節目中,鹿班将接受設計領域的兩輪檢驗,如果鹿班的作品被現場觀衆成功找出,則認為鹿班通過檢驗。究竟AI能否在設計領域達到人類水準?接下來,我們一起走進檢驗場。
第一輪挑戰中,鹿班與一次成稿率在80%以上的設計師、從業十二年的資深設計師等三位同台競技,各自設計一張以“汽車卓越加速性能”為主題的商業海報。下圖即四位設計師的設計成圖,大家不妨來猜一猜哪幅是鹿班的作品。
根據現場觀衆投票,多數觀衆認為4号作品出自鹿班之手。讓觀衆出乎意料的是2号才是鹿班的創作,這個結果讓神經學家魯白大呼“不服氣”。
不信?眼見為實!
接下來,戰況更新。中央美術學院院長範迪安教授帶來畫家與服裝設計師來和鹿班同台創作,為《孫子兵法》這本書設計封面。
面對設計難度更新,鹿班能否成功應對?我們馬上揭曉鹿班和兩位人類設計師為《孫子兵法》設計的封面的作品:
以上圖檔中有三幅作品,其中哪一張是鹿班的設計?到底觀衆們有沒有猜對?不急,我們先請阿裡巴巴資深技術專家星瞳為我們揭秘鹿班背後的技術。
使用場景視覺生成引擎的使用場景大緻可抽象成下圖。以顯式輸入而言,使用者可以輸入标簽需要的風格、色彩、構圖等,或者輸入一個例子,或者進行一些互動的輸入。除顯式輸入之外還可以有隐式輸入,比如人群資訊、場景資訊、上下文資訊等。總的來說,輸入可以是千變萬化的,但通過規範化之後就會減少變化,使得生成過程可控,輸出品質可控。
對視覺生成引擎來說,它要求輸入是規範化的。但在輸入前,可以加入各種互動方式,如自然語言處理,語音識别等,将其轉化成規範化輸入。最後輸出結構化資訊或可視成圖。
其技術架構如下圖左側。首先對視覺内容進行結構化了解,如分類、量化、特征化。其次通過一系列學習、決策變成滿足使用者需求的結構化資訊即資料,最後将資料轉化成可視的圖像或視訊。這一架構依賴于大量的現有資料。其核心是一個設計核心。同時,引入效用循環,利用使用後的回報來不斷疊代和改進系統。
其生産流程分成六個步驟,如下圖右側所示。首先使用者提出需求,将需求特征化轉變成系統可以了解的結構化資訊。其次将資訊進行規劃得到草圖。有了粗略的草圖後再将其轉變成相對更精确的圖,然後調整細節,最後通過資料可視化形成最終的圖。當然其中還有很多的trick,以及各部分的優化。
下面介紹一些關鍵算法。我們希望基于下圖最左的耐克鞋生成最右的圖。先通過規劃器得到草圖,再通過強化學習獲得相對細緻的結果,再通過對抗學習及渲染算法得到圖檔,再通過評估器進行評估,最後形成業務閉環,其中還會有一些基礎的能力,包含更強的聯合特征(非普通 CNN特征)及多元度檢索算法等。
基本上,處理的第一步是将圖檔中的資訊結構化,這也是與現有的識别了解技術結合最緊密的地方。其中的難點和重點包括,對圖像中多目标的識别、遮擋和互包含情況如何得到分割的資訊等,下圖隻是個簡單的示例。
有了結構化資訊之後,需要對資訊進行量化。可以量化成特征或量化圖。量化過程中會包含很多資訊,比如主題風格、布局配色、元素種類、量化空間等。有了這些資訊後可以在主題、種類、風格、視覺特征大小位置上,量化成各種碼,用相對有限的特征來表達無限的圖。
下一步是通過使用者的輸入,得到一個相對粗略的結果即草圖。目前主要使用的是深度序列學習。從圖像角度,首先標明一個點的像素顔色再選擇位置,再疊代進行操作,最後形成一張圖。規劃器模拟的就是這個過程。本質上預測過程是一棵樹,當然也可以拆成一條條路徑。為了簡化,可以分成幾步進行,比如空間序列,視覺序列。最後形成量化特征模型,主要應用的是LSTM模型。它把設計的過程轉化成基于遞歸、循環的過程。
得到草圖後,利用行動器将草圖細化。如果将圖中的每個元素看作一個Agent,那麼它将有若幹個可選的行動空間。
假設一張圖中有20個元素,每個元素在視覺上有多種可選的行動空間,由其組合成的可選行動空間非常龐大。我們有很多trick可以解決這一問題,比如在空間上,隻允許在有限範圍内進行變動,且行動方向有序,即狀态有序,行動有限。
下一步是如何衡量結果的好壞。圖像的評估相對比較主觀,主要可以從美學和效果兩方面來評估。美學角度可以包括是否對齊、色系搭配是否合理、有無遮擋這些較低級别的判斷标準,以及較進階的,比如風格是否一緻,是否切合主題。從效果上,産品投放後是否會在點選率等方面實作提升。最後将多個名額形成對應權重并形成多個DeepLR聯合模型。
但在衡量結果之前,需要形成像素級别可見的圖。這裡有以下幾種構造器分類,包括臨摹、遷移、創造、搭配與生成。
前面介紹了,如何通過使用者的需求形成可見的圖。後續還需要進行投放和回報并進行優化,形成效用外循環。這樣才能使得系統效用不斷得到提升,形成一個線上閉環,這也是智能設計相對設計師的一大優勢。
從技術角度來說,鹿班可以滿足海量無選擇客戶的需求。相信在未來,可以做到“所想,即所見”。節目的最後,撒貝甯、韓雪、魯白紛紛為鹿班站台,鹿班也是以成功入選 “2018智能先鋒”。
原文釋出時間為:2018-11-23
本文作者:厲害了!
本文來自雲栖社群合作夥伴“
阿裡技術”,了解相關資訊可以關注“
”。