FBEC2021｜歡創科技創始人 周琨：從雙目到四目是一個趨勢

2021年12月10日，由廣東省遊戲産業協會、廣東省虛拟現實産業技術創新聯盟、深圳市科學技術協會、深圳市網際網路文化市場協會指導，陀螺科技主辦，深圳市科技開發交流中心、恒悅創客魔方協辦，行業頭部媒體遊戲陀螺、VR陀螺、陀螺電競、陀螺财經、陀螺傳媒聯合主辦的2021未來商業生态連結大會暨第六屆金陀螺獎頒獎典禮（簡稱“FBEC2021”）在深圳大中華喜來登酒店6樓宴會廳盛大開幕！

在中國力量·2021 5G XR産業峰會現場，歡創科技創始人周琨：以“從雙目到四目，XR空間定位技術的發展”為主題發表了演講。

以下為演講實錄：

今天我演講的題目是“從雙目到四目，XR空間定位技術的發展”，内容由四個部分組成：

首先介紹一下AR/VR視覺空間定位的技術。空間定位主要分為外定位和自定位兩個技術流派，外定位叫Outside-in，将傳感器和錄影機安裝在外部，從外向内來觀察活動的物體或者人物。它的特點：安裝和使用比較複雜，但是精度比較高，視角有限，容易被遮擋。比較常見的像OptiTrack，應用領域是影視動捕、VR、工業機器人等等。

第二種叫自定位（inside-Out），相機或傳感器往往設定在頭盔上，從内向外觀測視覺，比如vSlam，特點是便攜、視角理論無限大、定位精度相對較低，應用領域是移動機器人等。在VR方面應用得比較廣泛的就是Oculus第一代産品Oculus Rift，采用外定位技術來做定位，把相機安裝在應用環境的外部，通過相繼觀測使用者頭部或者手部所佩戴物體上面的Marker來定位頭部和手部的空間位置。

前幾年的時候已經逐漸被後面Inside-Out所替代了，替代的主要原因就是成本和安裝便捷性的問題。這些年越來越多的公司采用自定位。自定位方案有兩種細分的流派：

一種是基于Marker，手部定位就是Marker，特點是定位精度比較高，适用于高速和高精度的定位場景；

另外一種是基于無marker，頭部的定位就是無marker的方式，安裝比較友善，精度低一些，容易受到環境的影響。從外定位和自定位比較起來看，有很多名額說明它們的差別.

從精度上看，外定位高一些，可以做到毫米級；自定位隻能做到厘米級。兩者延遲差不多。可移動範圍，外定位一定要在環境中布置一圈攝像頭，在此基礎上才能實作外定位；成本，外定位的安裝成本和使用成本比較高，比較麻煩.

自定位非常友善，是以在C端應用上非常受歡迎，這也是為什麼Inside-Out越來越流行的原因。外部傳感器，外定位需要設定錄影機，自定位不需要；抗遮擋方面，外定位會受到影響，而自定位是不受影響。

說一下公司在inside-Out上的一些積累。公司從2015開始研究AR/VR的定位，開始研究的是外定位，後來切換到了自定位，我們基于雙目做的自定位技術，在研究Inside-Out的時候我們面臨了幾個方面的挑戰。

第一，搖桿上面光帶方案的設計難度很大，别小看Oculus上面小小的光帶，有很多LED，LED的數量、布局都有講究，另外它的大小和尺寸很關鍵。做技術的人都喜歡光帶設計得大一點，大一點容易識别，但是作為消費者場景來講不太好，安裝不友善，用起來也不美觀，對于C端産品的銷售肯定不利的，是以兩者之間需要形成平衡，而且我們作為技術公司，開發的時候還要時時刻刻注意專利的問題。因為AR/VR是一個全球競争的舞台，Oculus和微軟在這個領域布局已經很多年了，是以要注意專利的規避，這是第一個難點。

第二，初始化的問題。因為CV方案最大的痛點和難點就是視場角的問題，Controller會超過視線範圍，超出範圍回來之後，要對于錄影機進行初始化，初始化做得不好就會延遲初始化或者卡頓，最好在錄影機一幀的時間内完成初始化的工作。這對于初始化的算法有很高的要求，需要快速初始化才能讓消費者感覺不到延遲和卡頓，很快自然而然追蹤搖桿正确的位置。

第三，多個Controller交叉、重疊、遮擋的情況的處理，出現重疊之後不能讓它出現漂移和出錯，這在算法設計當中是非常大的難題。

前面這些是五星級的難題。後面還有三個難題：

第一，為了降低成本和功耗，不可能把頭部追蹤的Camera和手部的Camera分開，Camera既要實作頭部追蹤，也要進行手部追蹤，要十分複用，這需要做到切換，這就要避開專利的問題；

第二，高速跟蹤的問題，手裡拿的Controller最快達到7秒，高速運動之下，咱們手部的算法是否适合運動的姿态；

第三，把算法移動到嵌入平台的問題。現在都要跑一體機，像高通、麒麟海思這樣的平台，處理性能還是有差別的，怎麼讓算法跑到平台上，不再占用CPU，需要把DSP用好，這也是一個挑戰。

現在已經完成了第一代XR雙目定位方案的一個研發，推出來的産品實作了inside-Out雙目的追蹤，FOV是170度，而且可以使用低成本，Camera微機分布就可以了。

這是我們在實踐過程中得到的參數，包括傳感器數量、分辨率、幀率、視場角、最大距離、動态的角度、精度、動态的位置精度、預算延遲以及占用的實際功耗和CPU占用率，這是我們實際測量出來的結果。

從雙目開始到四目是一個趨勢。因為我們在研發過程中和與客戶的對接過程中發現一個問題：雙目有一個局限性，FOV不夠大，FOV小的話會不斷超出FOV的視野範圍，導緻使用者經常遇到初始化的問題。

總之，它的效果體驗不如四目方案好，是以我們往四目方案演進。但演進并非簡單地把兩個攝像頭換成四個攝像頭，将攝像頭進行堆砌，要處理的問題很多。因為四目擴充了範圍，是以交疊的區域小了，鏡頭的畸變非常厲害，怎麼做呢？要做到非常高精度的定位才行，這是難點。二是運算量大了很多，雙目變成四目，運動量翻書了一番，但對于四目的處理量又不能很大。

将性能做一個提升，FOV從170度變成220度，垂直視角增加了一倍，另外在動态的角度定位誤差和位置定位誤差方面也進行了大幅的優化。

我們看一下雙目和四目的對比，這是我們的示範視訊，左邊是雙目定位，右邊是四目定位方案。每一幅圖左邊是原始圖象，右邊是它所還原出來的六軸的姿态，我們看一下示範的視訊。

示範過程中，使用者會出現各種各樣的動作，比如有遮擋、交叉、重疊，還會把手伸到後方再拿出來，讓我們實作初始化的過程。追蹤系統還是能夠非常靈活和穩定地追蹤它的效果和位置。右側是我們四目的追蹤系統，運動起來使它的範圍大幅擴大了，這樣使得使用者體驗更好，避免它超出這個基線之後需要用IMU來追蹤的問題，使得它的體驗會更加流暢和連貫。

另外，這裡面要解決好的問題還包括，使用者使用過程中或者參加展會，會遇到環境光幹擾的問題，這需要在我們的算法上進行比較好的處理。這是我們的對比結果，從視場角到定位精度再到延遲，能看到我們有很大的提升。

我們公司2014年成立，是一個專注于做高精度定位傳感器的公司，公司成立以來一直做高精度定位的算法以及算法晶片的研發。目前我們主要的産品線是在機器人層面的産品線，做雷射雷達，裡面的晶片也是我們設計的。

目前我們在行業裡是頭部供應商的定位。同時，第二條線是在AR/VR領域，從2015年開始做AR/VR的工作，2015年的時候與愛奇藝合作，為它們提供外定位方案的解決方案。今年年初的時候完成了2億的B輪融資。

這是我們公司的主營業務：

第一，機器人裡面的雷射雷達，包括這裡面的三大廠商，石頭、科沃斯、小米，其中有兩家都是我的客戶，出貨量今年達到将近200萬台；

第二，VR領域，專門為客戶提供高精度6DoF的模組；

第三，工業醫療領域提供高精度定位系統，中國商用飛機公司也是我們的使用者。

這是我們公司的願景，緻力于成為全球計算機視覺空間定位領先的企業。