Android Motion Stills實作AR即時運動捕捉

為視訊短片增加有趣的3D對象，通過Android Motion Stills就可以實作。近日，Google宣布對Motion Stills增加了AR功能。本文由LiveVideoStack摘譯，點選『閱讀原文』通路原文連結。

文 /  Jianing Wei和Tyler Mullen

譯 / 鴻蒙

審校 / Ant

去年夏天，我們在Android平台上推出了Motion Stills，它可以在各種Android手機上提供出色的視訊捕捉和觀看體驗。然後，我們進一步改進了Motion Stills技術，為Pixel 2增加了新的動态照片功能。

今天，我們很高興地釋出Android Motion Stills中的增強現實（AR）模式。在新推出的AR模式下，使用者隻需觸摸取景器即可在靜态或移動的水準表面（例如桌子，地闆或手）上放置有趣的虛拟3D對象，進而與動态真實世界環境進行無縫互動。您還可以将剪輯錄制下來并分享為GIF圖或者視訊形式。

Motion Stills的即時運動捕捉

AR模式由即時運動捕捉、6自由度跟蹤系統來支撐。6自由度跟蹤系統是基于能夠驅動Motion iOS中的Motion Text和YouTube上的Privacy Blur這兩項功能的相關技術的，這項技術可以精确跟蹤靜态和移動物體。我們對這項技術進行了改進和增強，以便能夠在任何使用陀螺儀的Android裝置上運作有趣的AR應用體驗。

當您觸摸取景器時，Motion Stills AR會将3D虛拟物體“粘”到該位置，使其看起來像是真實世界場景的一部分。假設跟蹤的表面與地平面平行，并使用裝置的加速度計傳感器提供手機相對于地平面的初始方向，我們便可以跟蹤錄影機的6個自由度（3個用于平移，3個用于旋轉）。這使我們能夠準确地變換和渲染場景中的虛拟物體。

當手機大緻穩定時，加速計傳感器會提供由于地球重力而産生的加速度。對于水準面來說，重力矢量平行于跟蹤平面的法線，并且可以精确地提供手機的初始定向。

即時運動捕捉

即時運動捕捉的核心思想是解耦錄影機的平移和旋轉估計，将其視為獨立的優化問題。首先，我們隻根據相機的視覺信号确定3D相機的平移。為此，我們觀察目标區域的明顯2D平移和跨幀的相對縮放比例。一個簡單的針孔照相機模型将圖像平面中的框的平移和縮放與相機的最終3D平移相關聯。

可以使用圖像平面中的框的平移和尺寸（相對縮放比例）的變化來确定兩個相機位置C1和C2之間的3D平移。但是，由于我們的相機模型并不假定相機鏡頭的焦距，我們不知道被跟蹤平面的真實距離/深度。

為了解決這個問題，我們在現有的跟蹤器（Motion Text中使用的跟蹤器）中添加了縮放比例估計，并在相機的視場之外追加了區域跟蹤。當相機靠近被跟蹤的表面時，虛拟内容精确地縮放，這與真實世界對象的感覺一緻。當您将鏡頭移出目标區域的視場之外并再傳回時，虛拟物體将重新出現在大緻相同的位置。

獨立的平移（僅從紅色框顯示視覺信号）和旋轉捕捉（從陀螺儀;但未顯示）

我們使用手機的内置陀螺儀來獲得裝置的3D旋轉（翻滾，俯仰和偏擺）。估算的3D平移與3D旋轉相結合，使我們能夠在取景器中正确渲染虛拟内容。而且，由于我們分别處理旋轉和平移，是以我們的即時運動捕捉方法不需要校準，可以在任何帶有陀螺儀的Android裝置上工作。

Motion Still AR模式下的小雞家庭

我們很高興為Android的Motion Stills增加這種新的模式，我們也希望您能喜歡它。請下載下傳Motion Stills的新版本，并繼續在您最喜愛的社交媒體上發送#motionstills回報意見。

緻謝

在渲染方面，我們很感謝能夠使用動畫Poly模型來利用Google的Lullady引擎。感謝曾與我們合作過的團隊成員，他們是：John Nack，Suril Shah，Igor Kibalchich，Siarhei Kazakou和Matthias Grundmann。

WebRTCon 2018 7折火熱報名

WebRTCon希望與行業專家一同分享、探讨當下技術熱點、行業最佳應用實踐。如果你擁有音視訊領域獨當一面的能力，歡迎申請成為講師，分享你的實踐和洞察，請聯系 [email protected]。

點選了解

大會詳情

。