天天看點

微軟專利分享為多個定位追蹤裝置共享資料實作6DoF統一坐标

作者:映維Nweon

(映維網Nweon 2022年10月31日)六自由度追蹤是裝置使用傳感器确定其相對于周圍實體環境位置的方法。例如,混合現實頭顯或智能手機可以使用這種位置了解來放置全息圖或數字内容,以便看起來世界鎖定在實體世界中的特定位置。為了支援兩個或多個這樣的裝置加入至相同的體驗,兩台裝置需要對位置具有共同的了解。是以,可以在裝置之間共享映射資料。

在名為“Sharing neighboring map data across devices”的專利申請中,微軟就介紹了一種相關的技術。

追蹤裝置位置的一種方法是外向内追蹤。盡管這種方法可以确定兩個或多個裝置的位置,但它需要在外部定位傳感器,這在某些情況下可能不友善或不切實際。

追蹤裝置位置的另二種方法是為内向外追蹤。内向外追蹤無需借助環境中的外部傳感器即可确定其位置的方法。盡不過,位置資料是在每個裝置内确定。是以,協調裝置之間的相對對齊是一個挑戰。

兩個或多個内向外追蹤裝置實作六自由度坐标對準的一種傳統方法是,使用識别的标記以及實體環境中了解的互相參考點,以便每個裝置确定其相對于特定點的位置。然而,一個局限性是,每增加一個标記,實體環境都需要改變,這會增加成本和設定時間,并減少自發性。

另外,如果标記移動或更改,裝置之間關于标記的任何常見空間了解都必須更改,進而降低可靠性。這種方法同時限制了共享坐标的實體範圍,因為裝置需要在實體環境中标記的操作範圍内。

另一種傳統方法是裝置獨立生成映射,然後傳輸到中央伺服器并拼合在一起,形成一個公共映射,然後将其重新傳輸回每個相應的裝置。

但這種方法的缺點是傳輸時間變慢,因為需要通過網絡進行大量資料傳輸。另外,加載公共映射的裝置可能會遇到本地映射資料的意外丢失,因為在與所有目标裝置共享公共映射的過程中,每個目标裝置中以前存在的映射資料可能會被覆寫、删除或删除,并且公共映射可能不會100%保真度地保留來自每個貢獻裝置的映射資料。

是以對于微軟而言,由裝置共享映射資料是一種合适的解決方案。

微軟專利分享為多個定位追蹤裝置共享資料實作6DoF統一坐标

圖4是根伺服器計算裝置與裝置和互動的示意圖。伺服器計算裝置可用于生成位于目标虛拟位置處錨56的虛拟位置。目标虛拟位置可以被世界鎖定到一個位置。或者,目标虛拟位置可以被世界鎖定到相對于真實世界三維環境中的對象位置。

伺服器計算裝置可以包括錨程式和錨傳輸程式,錨傳輸程式可以存儲在計算裝置的大容量存儲器中。錨程式和錨傳輸程式可加載到存儲器中,并由伺服器計算裝置的處理器執行,以生成位于錨56的虛拟位置,并将錨資料54和相鄰映射資料58從第一裝置傳輸到第二裝置。

伺服器計算裝置可以配置無線收發器。收發器230與第一裝置和第二裝置無線通信,以接收指令52并從顯示裝置傳輸請求48,并将映射資料傳輸到顯示裝置。可以了解,相鄰映射資料58是虛拟位置錨56所在的虛拟位置周圍的鄰近映射資料。

伺服器計算裝置可以通過與網絡的有線連接配接或無線連接配接與一個或多個其他裝置進行通信耦合。在一個實施例中,網絡可以采取區域網路(LAN)、廣域網(WAN)、有線網絡、無線網絡、個人區域網絡或其組合的形式,并且可以包括Internet。

在圖4的示例中,伺服器計算裝置通過一個或多個網絡通信地耦合到第一裝置和第二裝置。在其他示例中,伺服器計算裝置可以與更少或更多的裝置進行操作連接配接。第一裝置的顯示器和第二裝置的顯示器可以從各自裝置的有利位置在位于錨56的虛拟位置顯示一個或多個全息圖。

在一個示例中,位于虛拟地點的錨56的虛拟位置可以被世界鎖定到一個虛拟位置。在其他示例中,位于錨56的虛拟地點的虛拟位置可以被世界鎖定到相對于真實世界三維環境中的對象的虛拟位置。

第一裝置和第二裝置的處理器執行公共錨傳輸程式38。第一裝置将本地映射資料32存儲到本地存儲器中,而第二裝置将本地映射資訊36存儲到本地記憶體中。本地映射資料可能包括顯示裝置中視覺傳感器和/或慣性測量傳感器追蹤的顯示裝置旋轉和平移運動。錨傳輸程式38以兩種模式之一執行:導出錨模式和導入錨模式。

在圖4中,第一裝置描繪為正在執行錨傳輸程式38的導出錨模式,其中,第一裝置向第二裝置發送錨資料54和序列化的相鄰映射資料66。第二裝置描繪為在執行錨傳輸程式38的導入錨模式。其中,第二顯示裝置從另一裝置接收錨資料54并序列化相鄰映射資料,使得第二裝置最終将映射資料66合并到現有的本地映射資料36之中,以及使得第二裝置的顯示器從第二使用者的有利位置向操作顯示一個或多個全息圖。

第一裝置和第二裝置可以通過與網絡的有線連接配接或無線連接配接與一個或多個其他裝置進行通信耦合,但通信耦合并不特别受限,并且可以包括任何形式的資料流,包括Wi-Fi、電子郵件、外部資料儲存設備、雲儲存設備等。

微軟專利分享為多個定位追蹤裝置共享資料實作6DoF統一坐标

如圖5所示,第一使用者302可以穿着第一顯示裝置30站在餐廳306中,在本示例中,第一顯示裝置可以是頭戴式顯示器。

第一顯示裝置30和第二顯示裝置34可以包括錨傳輸程式38的程式邏輯,錨傳輸程式配置為發送和接收餐廳306的映射資料。在這個示例中,全息圖50使用目标錨56投影在桌子308上。另一全息圖的另一個相鄰錨64位于時鐘312中。第一使用者302和第二使用者304在房間306周圍漫遊,分别操作第一顯示裝置30和第二顯示裝置34,以便從各自的有利位置從房間306中的不同角度檢視全息圖50。

當使用者在房間306周圍漫遊時,第一顯示裝置30和第二顯示裝置34内的傳感器18捕獲視覺和/或慣性追蹤資料,進而通過傳感器裝置18追蹤顯示裝置的旋轉和平移運動。它們觀察傳感器裝置18的三維旋轉和平移,将其記錄為姿勢62A-G和關鍵幀60A-G,随後分别作為本地映射資料32和本地映射資料36存儲在第一顯示裝置30和第二顯示裝置34中。

為了幫助每個顯示裝置在房間内定位,顯示裝置可以配置為觀察其環境中的角落,例如所示兩個視窗中每個視窗的四個角落,并可以使用檢測到的視窗角落的位置來校正其估計位置,。是以,可由每個裝置存儲的本地映射資料的一個示例是訓示房間中檢測到的視窗角落的特征比對資料。

微軟專利分享為多個定位追蹤裝置共享資料實作6DoF統一坐标

在圖5的示例中,第一使用者302可能希望指定一個虛拟位置,并在所述虛拟位置顯示藝術品圖像的全息圖50。為了設定全息圖50,第一使用者302可以通過操作第一顯示裝置30,通過使用者輸入指定位于虛拟位置的錨56的虛拟位置,第一顯示裝置執行錨傳輸程式38,向伺服器計算裝置200發送指令52,以生成位于圖檔310一角的虛拟位置錨56。

伺服器計算裝置200執行個體化錨程式214以接收指令52。響應接收指令52,伺服器計算裝置20生成位于圖檔310旁邊牆上的錨56的虛拟位置,并将錨56的錨資料54發送回第一顯示裝置30,然後使用錨定資料54檢視藝術品圖像的全息圖50。

或者,第一顯示裝置30可以程式設計方式為位于世界鎖定虛拟位置的錨56處的虛拟位置生成指令52。例如,第一顯示裝置30可以使用傳感器資料以程式設計方式将餐廳306中的圖檔310識别為虛拟位置,進而生成虛拟位置定位錨。

響應于識别圖檔310,第一顯示裝置30可程式設計地向計算裝置200發送指令52,以生成位于與圖檔310的角對應的世界鎖定虛拟位置處的錨56的虛拟位置。

第一使用者302可能希望與正在使用第二顯示裝置34的第二使用者304共享全息圖50。在這種情況下,第一使用者302向計算裝置200發送傳輸請求48,以将對應于目标錨56的相鄰映射資料58傳輸到第二顯示裝置34。在一個實施例中,從第二顯示裝置34到第一顯示裝置30的原始傳輸請求47可以緻使第一顯示裝置發送傳輸請求48。

微軟專利分享為多個定位追蹤裝置共享資料實作6DoF統一坐标

計算裝置200接收傳輸與目标錨56對應的相鄰映射資料58的請求48。裝置檢索、序列化,并将相鄰映射資料58作為串行化的相鄰映射資料66發送到第一顯示裝置30。串行化處理将鄰近映射資料58編碼為專有格式,隻有計算裝置200才能反串行化為對執行錨傳輸程式38的顯示裝置可讀的格式。序列化的相鄰映射資料66可以以二進制檔案或資料流的形式打包。

計算裝置200可以應用錨傳輸程式216的程式邏輯來定義錨56的鄰域,以适當地确定對應于錨56的相鄰映射資料58。所述鄰域可以包括姿勢62A-G、關鍵幀60A-D、目标錨56附近的相鄰錨64。

微軟專利分享為多個定位追蹤裝置共享資料實作6DoF統一坐标

第一顯示裝置30接收序列化的相鄰映射資料66,然後将錨定資料54和序列化的相鄰映射資料66發送給第二顯示裝置34。第二顯示裝置34接收錨定資料64和序列化的鄰近映射資料66。然後将序列化的相鄰映射資料66發送到計算裝置200。

計算裝置200接收序列化的相鄰映射資料66,然後反序列化相鄰映射資料58,并将反序列化的相鄰映射資料68發送回第二顯示裝置34。第二顯示裝置34接收反序列化的鄰近映射資料68,然後,将反序列化的相鄰映射資料68縫合到存儲在第二顯示裝置34中的本地映射資料36中,以建立內建映射資料。第二顯示裝置34使用內建的映射資料在顯示器35渲染全息圖50圖像。

通過這種方式,兩人都可以以合适的角度在同一體驗中檢視全息内容。

相關專利:Microsoft Patent | Sharing neighboring map data across devices

名為“Sharing neighboring map data across devices”的微軟專利申請最初在2022年6月送出,并在日前由美國專利商标局公布。

繼續閱讀