智東西（公衆号：zhidxcom）
作者 | ZeR0
編輯 | 漠影
微軟和Meta就像兩列勢不可擋的列車，以驚人的速度駛向前方。
智東西4月14日報道，繼釋放一系列大模型開源大招後，Meta AI的基礎人工智能研究（FAIR）團隊釋出了首個AI動畫繪圖（Animated Drawings）開源項目，用AI技術輕松讓各種人物塗鴉變成動畫。
Meta創始人兼CEO馬克·紮克伯格在Instagram上曬出了他女兒畫的小人兒動起來的動圖。
▲紮克伯格女兒畫的小人兒動起來（圖源：紮克伯格）
Meta AI釋出了動畫代碼以及包含近180000張帶标注的業餘繪圖新資料集，以幫助AI研究人員和創作者進一步創新。據Meta所知，這是第一個以此類藝術為特色的帶标注的資料集。
為了友善人們探索開源動畫繪圖項目，Meta還釋出了一個直覺的操作步驟解說視訊。
該項目的論文題目為《一種讓兒童人物繪圖動畫化的方法》（A Method for Animating Children’s Drawings of the Human Figure），已被計算機圖形領域國際頂級期刊Transactions on Graphics接收，并将在國際計算機圖形頂級會議SIGGRAPH 2023上展示。
項目網站：http://www.fairanimateddrawings.com
論文指路：https://arxiv.org/abs/2303.12741
代碼指路：https://github.com/facebookresearch/AnimatedDrawings
資料集指路：https://github.com/facebookresearch/AnimatedDrawings#amateur-drawings-dataset
一、開源草圖轉動畫代碼，讓AI看懂人類的想象力
Meta的動畫繪圖項目始于2021年，當時FAIR研究人員想讓計算機視覺的最新進展更直覺，将人物畫中的類人形象動畫化。
人類的想象力如此廣泛，畫出的人物千奇百怪，可能很抽象，也可能因為是“手殘黨”是以創作出一些神奇的畫風。對于人類來說，看懂别人的随手塗鴉沒那麼難，但讓AI模型去了解一些各種獨特甚至稀奇古怪的人物畫作，壓力就有點大了。
對此，FAIR研究人員設想使用目标檢測模型、姿勢估計模型和基于圖像處理的分割方法來快速建立繪圖的數字版本。然後可以使用傳統的計算機圖形技術對其進行變形和動畫處理。
但是有一個問題：很難獲得訓練計算機視覺模型所需規模的人物畫集。而且這些畫還需要被标注好邊界框、分割掩碼、關節位置等資訊。
另一種方法是綜合建立繪圖，這也有問題：生成方法需要大量樣本資料來學習，而風格遷移方法可能無法捕捉到繪圖與照片的所有細微差别，而且可能做不出像紙張折痕、擦除的線條、強光和陰影等實際繪圖中會出現的一些變化。
為此，Meta研究人員從單張圖形生成動畫的任務建構為人體圖形檢測、分割、姿勢估計和動畫等一系列子任務，并建立了一個動畫繪圖示範。
創作者可在浏覽器上公開通路這個動畫繪圖示範網站，上傳他們的繪圖，檢視/更正一些标注預測，并接收由繪圖中的類人角色的動畫——完成所有這些任務，用時不到1分鐘。
家長可以選擇允許或者不允許Meta保留圖像和标注以供将來研究之用，無論選擇什麼都不會影響該工具的使用。研究人員希望通過釋出該示範最終能收集到10000張圖紙來改進模型的性能。
結果使用者們對動畫繪圖示範的反應非常積極，最初幾個月就上傳并同意使用超過160萬張圖檔，而且很多上傳的圖檔根本不是業餘畫作，而是公司徽标、毛絨玩具、動漫人物、寵物、可動人偶以及人們想要制作動畫的各種其他事物的圖檔。
雖然示範在說明中明确了人物形象的必要性，但使用者還是上傳了一些四足動物、鳥類、魚類和許多其他形式。使用者還表達了對獲得更全面工具的期望，比如透明背景、支援不同的骨骼類型、多個互動角色、音效、背景風景和文本疊加等等。
感受到大家對将繪圖變成動畫的熱情後，Meta決定将動畫繪圖示範使用的模型和代碼的開源版本釋出出來，激勵更多開發者嘗試和體驗。
二、簡單四步，讓手繪人物動起來
如果你想嘗試将自己畫的人物角色變成動畫，但不想處理下載下傳代碼和使用指令行，可以在浏覽器登陸Animated Drawings網站。
網站位址：https://sketch.metademolab.com/
上傳繪圖後，使用者可以選擇調整檢測到的邊界框、分割蒙版和關節位置，并選擇一個動作來制作動畫。
其系統結合了經過重新設計的、根據真實世界物體照片訓練的計算機視覺模型。由于繪畫領域在外觀風格上存在顯着差異，是以Meta使用業餘繪畫資料集對模型進行了微調。
第一步，上傳一張有類人角色的繪圖，注意這個角色是畫在一張沒有線條、褶皺的白紙上，確定拍攝光線充足，手臂和腿不要疊放到身體上，同時不包含任何侵權資訊。
第二步，調整角色周圍框的大小，確定它正好框柱角色。
第三步，将角色從背景中分離出來，并突出顯示它。如果角色的身體部分沒有突出顯示，可以使用畫筆和橡皮擦工具來修複它；如果手臂或腿粘在一起，可以用橡皮擦工具将它們分開。
第四步，檢查角色的關節。如果你的角色沒有任何手臂，将肘部和手腕關節拖離角色很遠，它仍然可以被動畫化。
下一步便是将使用分割蒙版和這些關節位置，用動作捕捉資料來将你上傳的角色動畫化。你可以任意選擇想讓這個角色做出的動作。
如果你想自己下載下傳和運作代碼，可以到GitHub項目上按照指引步驟進行嘗試。
代碼指路：https://github.com/facebookresearch/AnimatedDrawings
Meta的動畫繪圖項目已經在macOS Ventura 13.2.1和Ubuntu 18.04上進行了測試。如果在其他作業系統上安裝，可能會遇到問題。Meta建議先激活Python虛拟環境，比如用Conda的Miniconda，然後按照下述步驟下載下傳安裝。
首先，運作如下指令。
設定好後就可以制作動畫了。如果一切都正确安裝，螢幕上将出現一個互動式視窗。（使用空格鍵暫停/取消暫停場景，方向鍵及時來回移動，q鍵關閉螢幕。）
這背後，角色、動作、場景等等都由配置檔案控制。你可以通過改變配置檔案，導出MP4視訊、動圖等不同格式檔案。
Meta訓練了一個繪制的人形圖形檢測器和姿态估計器，并提供了從模型預測自動生成标注檔案的腳本。為了讓它工作，你需要設定一個運作TorchServe的Docker容器，GitHub上有詳細的設定步驟說明。
設定完成後，隻需輸入一行指令，就能立即将圖像轉化成動畫。
比如輸入一個在紙上畫的洋蔥頭人圖檔。
稍作等待，AI模型會對輸入的手繪洋蔥頭人進行分析、檢測、分割、操縱，并使用來自人類表演者的BVH（人體動作捕捉格式）運動資料對其進行動畫處理，然後将生成動畫儲存成動圖檔案。
你還可以在場景中添加多個角色、添加手繪的背景圖像或者使用不同骨架的BVH檔案。
▲手繪背景圖像
GitHub項目中也提供了建立自己的BVH檔案的詳細步驟。比如你可以用手機攝像頭錄下自己的跳舞視訊，然後用Rokoko導出BVH，建立一個新的運動配置檔案，并重新定位配置檔案，以适應由Rokoko導出的骨架，然後就能制作出類人角色的動畫版本。
三、Meta的業餘繪圖資料集政策：開放網站，審查過濾，對外共享
要教AI看懂各種手繪人物作品，需要讓它學習大量的草圖資料集。
而Meta今天分享的新資料集（在相關研究論文中有較長的描述），研究人員和從業者可以建構工具來更輕松、更準确地分析業餘繪圖的内容，解鎖新的數字-實體混合體驗。
此前全球有超過320萬人通路了Meta在2021年底釋出的動畫繪圖示範網站，總計上傳了670萬張圖檔。然後人工審閱者過濾了參與者選擇與Meta的研究團隊分享的業餘繪圖集，執行了多個級别的過濾以確定高品質并實施了隐私保護措施，以盡可能減少濫用資料的可能性。
具體改進分為兩步：首先，使用自監督聚類方法來識别和過濾域外圖像，例如真人照片；其次，一家簽約機構人工審查了剩餘的圖像，以確定它們符合标準。審稿人被要求檢查圖像是否是紙上的手繪圖，至少有一個全身人形；還會檢查確定圖像不包含受知識産權保護的字元或任何隐私或低俗内容。因為評論者主要是說英語的人，是以包含非英語單詞的圖像被排除在外，以避免它們可能包含不适當的内容。
雖然Meta的示範隻能做一組有限的動作，但動畫繪圖示範的許多使用者提供了回報，希望有更多功能，如多個角色、額外的動作、微笑、眨眼和注視提示。帶有跳舞人物的動圖是擴充開源代碼和資料集以用于其他創意和教育目的的示例。
有了這些資源，其他研究人員可以添加到Meta分析和擴充業餘繪圖的方法中，以擴充原始示範功能。
這個資料集反映了現實世界的條件，例如模糊、硬陰影、褶皺表面和背景元素等，這些在數字繪圖和高分辨率掃描中都是不存在的。資料集還包括邊界框、分割蒙版和關節位置的标注——這些特征可以為模型提供更多方法來識别或動畫化繪制的圖形，對于研究人員非常有價值。
結語：開源激勵AI技術探索，為人類創造力添上引擎
繪畫是一種自然而富有表現力的方式，每個人都可以畫出自己的作品。尤其是孩子的畫作，總是天馬行空、充滿想象力，而用AI技術将這些靜态的圖檔秒轉動畫，則将進一步打開想象力之門。
Meta正通過開源動畫繪畫項目的代碼和業餘繪畫資料集，為更多有興趣參與這類研究及體驗的研究人員及創作者們降低開發門檻，使更多人能夠更輕松地探索用AI技術補充人類的創造力。