雲栖号資訊：【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊，還在等什麼，快來！
我有一個動畫形象，我有一套人體動作，可想要把它們組合成真正的動畫，可不是 1+1 這麼簡單。
别看這體型迥異的三位動作整齊劃一，支撐動畫的骨架卻差異甚大。
這也就意味着，想給新的動畫角色套上已經做好的動作，依然需要對骨骼進行重構，費時費力。
好消息是，來自北大和北京電影學院的最新研究，正在化繁為簡。
根據這項研究結果，從左到右，一個動作遷移深度學習架構就能解決，并且，不需要任何配對示例。
也就是說，現在，同一個動作可以被更輕松地應用于不同的形象了。
這篇論文中了計算機圖形學頂會SIGGRAPH，代碼現已開源。
論文一作，分别是北京電影學院研究科學家Kfir Aberman，和北大圖靈班大三大學生李沛卓。
對于這一成果，論文通訊作者陳寶權教授诙諧地表示：這是最懂骨骼的卷積網絡。
而且據說，論文和代碼釋出之後，就有相關工業界公司來跟研究團隊接洽了。
是以這究竟是怎樣一個“骨骼驚奇”的神經網絡？
最懂骨骼的卷積網絡
論文的主要技術貢獻，是提出了全新的骨骼卷積和骨骼池化算子。
這些算子都是骨骼感覺的，也就是說，它們能顯式地考慮骨骼的層次結構和關節的鄰近關系。
據作者李沛卓介紹，由于骨骼不具有和圖檔（image）一樣規整的結構，但又擁有相對于一般的圖（graph）更特殊的結構，新算子的設計亦是整個研究過程中最棘手的環節。
研究人員使用靜态骨骼位置+動态關節旋轉來表示骨骼上的動作，并把不同骨骼之間的動作遷移視作無配對的域轉移任務，将動态靜态部分分别處理，建構了用于同胚骨骼之間無需配對示例的動作遷移深度學習架構。
架構結構類似于GAN，包含兩對自動編碼器構成的生成器，在共同的隐空間中實作不同骨骼之間的動作遷移。還引入了判别器，以提高生成結果的品質。
在這其中，研究人員利用骨骼卷積算子來充分利用骨骼的拓撲結構。
具體而言，在對一個關節及其對應的單個骨骼做卷積時，将其所有距離為 d 的鄰接骨骼對應的通道提取出來。同時将靜态部分和動态部分的通道進行拼接，進行時間軸上的1維卷積。
骨骼池化，則是将不同拓撲不同的同胚骨骼合并到一個公共基本骨骼的過程。
研究人員介紹，這是不同骨骼的自動編碼器能達到統一隐空間的基石。
效果更“服帖”
那麼，“骨骼如此驚奇”的神經網絡，效果如何？
接下來，我們就一起看下與其它方法比較的結果。
這個運動處理架構，是在Pytorch中實作，實驗是在配備了NVIDIA GeForce GTX Titan Xp GPU(12 GB)和Intel Core i7-695X/3.0GHz CPU(16 GB RAM)的PC上進行的。
在做測試時，編碼器的輸入是源動作，而解碼器的輸入，是編碼器輸出的隐變量和目标骨骼資訊。
而後，根據目标骨骼的拓撲結構選擇相應的解碼器，得到遷移後的動作。
主要做比較的方法包括：CycleGAN和NKN。
而做比較實驗的情況也分為兩種：
隻使用一個自動編碼器，但使用不同的骨骼資訊，進行同拓撲骨骼之間的動作遷移。
使用完整的兩個自動編碼器，實作不同拓撲結構之間的動作遷移。
首先，來看下第一個情況下的比較：同一拓撲結構的源骨骼、目标骨骼。
下圖從左至右，依次表示輸入、CycleGAN、NKN和研究人員的方法。
不難看出，根據輸入的這段鬼步舞，研究人員方法的“貼合度”更高。
另外，是第二種難度更高的情況：不同拓撲結構的源骨骼、目标骨骼。
同樣的，從左至右依次為：輸入、CycleGAN、NKN和研究人員的方法。
在這種情況下，在小人兒“踉跄”和“打鬥”動作中，該方法也完勝CycleGAN和NKN。
看完定性比較，再來看下定量比較。
不難看出，在兩種情況下，都達到了最優。
北大大三大學生一作
這篇SIGGRAPH論文，有兩位共同一作。
其中一位，是北大圖靈班大三大學生李沛卓。
李沛卓畢業于重慶一中，2016年入選重慶資訊學競賽省隊，2017年以聯考總分687分的成績，北大資訊科學與技術學院錄取。
目前，李沛卓師從陳寶權教授，研究方向是深度學習和計算機圖形學，正在北京大學視覺計算與學習實驗室和北京電影學院未來影像高精尖創新中心（AICFVE）實習。
另一位，是北京電影學院AICFVE的研究科學家Kfir Aberman。
他博士畢業于以色列特拉維夫大學，現在從事深度學習和計算機圖形學研究。在今年的SIGGRAPH 2020上，他有兩篇一作論文入選。
另外，據論文通訊作者陳寶權教授透露，今年的SIGGRAPH上，“亮相”的北大大學生還不止李同學一位：
李沛卓（圖靈班17級）、翁伊嘉（圖靈班17級）、倪星宇（圖靈班16級）、蔣鴻達（博士19級）四位同學與國内外學者合作……相關成果将發表在7月份的 SIGGRAPH 會議。
因為疫情，今年的 SIGGRAPH 會議改為線上，第一次“出道”的四位同學遺憾不能現場享受傳統的視覺盛宴。基于 SIGGRAPH 的創意基因，這次虛拟會議更值得期待。
而作為一名大學生，拿到頂會論文是相當不容易的事情，在我們專訪李沛卓時，他表示：
作為一個大三學生能收獲一篇SIGGRAPH是很幸運的。
一方面有我自己努力的成果，但更重要的是我們團隊中教授以及學長的幫助指引和付出。
我對圖形學本來就特别感興趣，能收獲這篇論文更加鼓勵了我繼續這方面的研究。
後生可畏，後生可畏啊。
最後，也祝願幾位同學，在科研的道路上再創佳績~
【雲栖号線上課堂】每天都有産品技術專家分享！
課程位址：
https://yqh.aliyun.com/live立即加入社群，與專家面對面，及時了解課程最新動态！
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間：2020-05-27
本文作者：魚羊 金磊
本文來自：“量子位公衆号”，了解相關資訊可以關注“公衆号QbitAI”