天天看點

如何在2D地圖上通過視覺進行重定位?

作者:3D視覺工坊

這是近日我們《3D視覺從入門到精通》知識星球的一位小夥伴提出的問題:“通過視覺在2D地圖(地圖上有牆、門等資訊)上進行有限範圍内的重定位,有沒有比較成熟的方法?”

如何在2D地圖上通過視覺進行重定位?

在回答中,我們星球的嘉賓以及大佬給出了自己的一些想法。

然後,結合我之前看到過的一個系列工作,這裡我想再擴充延申一下。

這是之前研究過的一篇文章,也是一個系列工作。即在未通路環境下,通過房間布局平面圖進行定位。

論文:LaLaLoc: Latent Layout Localisation in Dynamic, Unvisited Environments(ICCV 2021)

LaLaLoc++: Global Floor Plan Comprehension for Layout Localisation in Unvisited Environments (ECCV 2022)

項目位址:https://github.com/ActiveVisionLab/LaLaLoc

首先是第一個LalaLoc,它通過房間布局的隐式表達來進行定位,方法是通過網絡學習從RGB全景圖像和已知的平面圖推斷的布局之間共享的一個隐空間,在隐空間中引入直接的跨模态姿态優化。

如何在2D地圖上通過視覺進行重定位?

然後是LalaLoc++,相比于LaLaLoc,這是其改進版,LaLaLoc要求首先使用平面來構造場景的顯式三維表示,這個過程要求對場景幾何體進行假設,而LaLaLoc++引入了一個全局平面圖了解子產品,該子產品能夠直接從2D平面圖中密集推斷場景結構,消除了對顯式模組化或者渲染的需求。

如何在2D地圖上通過視覺進行重定位?

感興趣的讀者可以下載下傳兩篇文章研究一下,他們提供了一種在未通路環境下通過房間布局平面圖進行定位的方式,通過僅視覺的解決方案,成本更低,而且房間布局平面圖這一地圖形式所占的存儲量也很小,其方案很适合部署在掃地機器人上面。

最後,上述讨論以及相關文章分享解讀都可以在我們的星球中找到!

繼續閱讀