天天看點

VR全新的互動方式來了!自然手勢識别技術一體機方案“骐骥”面世

随着VR行業技術更新,更自然的互動方式也随之而來,自然手勢識别追蹤技術憑借更符合人真實操作習慣受到ToB和ToC的關注。而手勢識别技術的更新也能友善打通上下遊關系,加大内容開發者創作空間,增加遊戲趣味性使其互動方式得到更大提升。

由趣立研發的6DoF一體機解決方案“骐骥”中已經搭載最新的自然手勢識别系統,合作方可在系統中直接去調用此子產品最終完成自然手勢的識别任務。趣立科技也成為國内VR行業少有擁有自然手勢識别産品化方案的公司,而全球目前也僅有Quest擁有該項技術。

骐骥裝置下的自然手勢玩音遊

基礎技術原理

【自然手勢識别】是基于計算機視覺和人工智能算法,對錄影機采集到的圖像中使用者手部區域進行檢測和對其姿态進行估計,進而得到全自由度自然手勢跟蹤的技術。 通俗地可對其拆分為3個步驟:第一要解決手在什麼位置;第二、解決手是何種姿态;第三、識别手在做什麼?前面兩項很多時候是放在一起做姿态預估,最後對動、靜态手勢做時間序列劃分,并完成最終的指令實作。

“骐骥”-靜态手勢

從硬體來說,目前市面上常見的手勢識别方案中所采用的檢測裝置大緻分為四類:純紅外錄影機、灰階錄影機、RGB錄影機及深度錄影機。

各方案都有比較明顯的優劣勢,比如深度錄影機雖然可以根據深度資訊較其他方法更簡單的擷取手部區域的位置和形狀,但FOV很小、幀率很低、成本高、功耗較大,而且目前VR一體機的現狀,手勢識别與SLAM的攝像頭需要做複用,而深度攝像頭很難拿來做SLAM算法,是以目前在XR的領域應用場景中會有局限性。

紅外錄影機的原理是将子產品内置紅外LED光源,光線反射回手勢識别子產品的紅外攝像頭中,實作基于光學資料的手勢識别。由于使用主動光源,是以它的環境适應性好,也比較容易能檢測到手部區域,但是它同時會加大功耗,尤其是伴随對手部使用範圍的增大,需要更多數量和更大功耗的紅外光,這對整體的ID設計以及成本都是非常大的挑戰。此方案比較知名的則是Leap Motion。

針對灰階相機與RGB相機的方案,RGB相機由于能更好地将手和環境用顔色進行區分是以具備較好的識别作用,但同樣也有FOV較小、幀率較低的問題。而灰階相機優勢是FOV比較大、幀率高、覆寫範圍大、适應性強、且成本相對可控,缺點則是難度系數較高,因為在黑白灰的世界中,将手和複雜的環境背景準确快地剝離開,需要在算法方面下足功夫。

而趣立科技新的6DoF解決方案“骐骥”中,融合的則是根據現有一體機的灰階攝像頭進行複用的方式。趣立科技依附集團影創科技大背景,在算法實作上具有多年的經驗積累和沉澱。

骐骥裝置的自然手勢識别操作

此項手勢識别技術算法經多期打磨調整,目前已達到通用狀态,算法架構可适用于任何的錄影機裝置中,在未來産品中,新一代的VR一體機解決方案可能采用彩色RGB錄影機和灰階錄影機的搭配(彩色負責透視、灰階負責6DoF追蹤)。而自然手勢識别本質依舊會采用基于6DoF的灰階攝像頭為主,彩色攝像頭作為輔助在識别過程中對手在與環境剝離時的精度進行補充。

整個手勢識别技術比較難的是,手與面部、人體的識别不同,因為手部複雜度相對比較高、自遮擋嚴重,手部可以非常快的移動并且外觀可以在幾幀内大幅變化。而目前“骐骥”解決方案中能做到準确性高、低延遲是因為依靠集團所屬搭建自研的資料深層采集和标注平台,基于平台有非常多的參考資料,同時在深度模型的序列方面有自研成果,并沉澱了6年多的技術積累及龐大的資料參考值。

未來應用場景

【C端互動娛樂】

手勢識别技術的發展能夠更好地拓寬内容開發者的想象空間,在内容創作時增加多重玩法及互動體驗,比如在玩音遊的時候可以直接用手來操作,或是在RPG遊戲中一個特定手勢就可以實作魔法攻擊,甚至在未來一組手勢也能夠完成“火影忍者”裡的結印。

【B端教育辦公】

B端的應用場景則更廣泛。在智能辦公方面,随着VR裝置逐漸向辦公工具靠攏,自然手勢識别能更好地通過特定的放大縮小拖拽等手勢,完成彙報方案演講的展示,實作真正意義上的便攜式辦公環境;而教育教學中,也可更好的直接用手部識别技術完成教學課件的拆裝、組合等要求,更便捷有效地完成操作互動,相信未來随着自然手勢識别的更進一步發展,定能催生更多的應用場景,同時還可以根據不同需求,量身定制專屬的解決方案。

未來趣立科技将融合影創總部多方資源,逐漸在其原有解決方案中內建更多的前驅技術,更好地服務上下遊合作方,為其提供全方位綜合技術支援。

*聲明:企業通稿非VR陀螺官方稿,法律問題一律與VR陀螺無關。

繼續閱讀