原創 | 文 BFT機器人
01
背景
機器人等智能裝置需要從它們的車載視覺系統中獲得高效的基于物體的場景表示，以解釋接觸、實體和遮擋。已識别的精确對象模型将與未識别結構的非參數重建一起發揮重要作用。
本文提出了一個系統用于估計實時的接觸和遮擋的精确姿态。從單個RGBD視圖中提出三維對象姿态建議，在錄影機移動時從多個視圖中積累姿态估計和非參數占用資訊，并執行聯合優化，以估計接觸中的多個對象的一緻的、不相交的姿态。
本文在兩個對象資料集上通過實驗驗證了該方法的準确性和魯棒性：YCB-Video和具有挑戰性的雜亂的YCB-Video。
其具有周圍空間感覺的姿态預測，預測網絡接收占用網格作為對象的不可穿透空間；多對象姿态的聯合優化，對多對象的場景配置進行評估和更新；将融合和6D姿态作為實時系統，利用目标級體積圖進行增量和精确的姿态估計。
機器裝置在執行複雜的任務的時候，需要從相機中捕捉資訊，進而對物體之間的接觸、實體和遮擋進行推理，實作它們在混亂的環境中進行精确操作。一些短期任務通過端到端連接配接感覺和動作的端到端學習模型來完成，但擴充和多階段的任務可以在以後3D場景表示展現出巨大的潛力。
圖1 顯示的是我們在一個實時的機器人抓取應用程式中示範了該系統
圖2 6D姿态估計系統
02
相關工作及文本思想
本文展開工作與這些RGB-D和基于學習的深度神經網絡方法最密切相關。與之前工作中基于點雲和以目标對象為主的方法相比，使用更結構化的體積表示和目标對象周圍的幾何資訊來處理幾何圖形。
（1）對象級的體積融合階段。
它将對象檢測産生的對象執行個體掩模與深度測量和相機跟蹤元件結合起來，以生成體積地圖。物體級體積融合建立體積圖是我們的姿态估計系統的第一階段，它允許系統逐漸增加對場景的知識，直到有了對場景中物體姿态的了解。
對于這個目标級的體積融合階段，本文建構了一個管道，結合了RGB-D相機跟蹤、目标檢測和被檢測對象的體積映射。為了跟蹤已經初始化的對象，使用目前幀中檢測到的掩模的交叉過并集，之後渲染掩模目前重建。對于已經初始化的對象，我們将新的深度測量值融合到該對象的體積圖中。
（2）體積姿态預測階段。
它利用來自體積圖的周圍資訊和RGB-D掩模來為每個對象産生一個初始的姿态預測。系統從體積圖中檢索周圍的資訊，以将目标物體周圍區域的空間感覺整合到姿态預測中。周圍資訊的邊界框應該覆寫目标對象的整個區域，根據目标對象的大小而改變。由于使用固定的體素維數來進行網絡預測，是以需将每個對象從對象模型大小計算出來，使用不同的體素大小。
為了結合二維和三維特征進行姿态預測，從三維特征網格中提取與二維特征對應的點和三插值。這些三維和二維特征被連接配接為點向特征向量來進行姿态預測，擷取預測姿态和置信度。
圖3一個典型的例子對象分析
由于對象的可見性降低（例如，黃色框），姿态預測具有對象之間的交叉。ICC通過使用來自附近對象的限制和自由空間重建，将對象姿态細化為比ICP更好的配置。從交叉物體姿态細化的角度出發了解，本文比較提出的疊代碰撞檢查(ICC)與疊代最近點(ICP)
（3）基于碰撞的姿态細化階段。
通過使用物體CAD模型和已占據空間之間的可微碰撞檢查，通過梯度下降聯合優化多個物體的姿态。在聯合優化中，引入了可微碰撞檢查，包括對象CAD模型的占用體素化和占用網格之間的交叉損失。由于兩者都是可微的，于是使用GPU上的優化批處理操作來優化對象姿态。
（4）CAD對齊階段。
它用一個包含緊湊和豐富的資訊的CAD模型替換每個對象的中間表示。在進行姿态估計和細化之後，一旦在不同視圖中估計的姿态有足夠的一緻性，我們就會将對象CAD模型衍生到地圖中。利用轉換後的對象姿态使用姿态損失進行比較，使用姿态損失來訓練姿态預測網絡。
圖4 網絡體系結構
利用目标對象的掩蔽RGB-D及其周圍資訊作為占用網格進行姿态預測
03
總結
本文使用YCB-Video資料集在之前的工作中被廣泛用于評估6D姿态估計，但由于所有的場景都是桌面的，該資料集在對象方向和遮擋的多樣性方面受到限制。
MoreFusion系統在YCB-Video和ClutteredYCB-Video兩個物體資料集上進行了實驗驗證，并與其他方法進行了對比。
實驗結果表明，MoreFusion系統在物體姿态估計方面具有更高的準确性和魯棒性，特别是在存在遮擋和複雜背景的情況下。
此外，MoreFusion系統還可以在實時機器人應用程式中實作高效的物體檢測和姿态估計，進而實作了機器人在複雜環境中精确有序地拆卸物體堆的能力。
是以，MoreFusion系統的主要優勢是：具有周圍空間感覺的姿态預測、多物體姿态的聯合優化和融合、6D姿态的完全內建以及在複雜環境中實作高效的物體檢測和姿态估計。
作者 | George
排版 | 居居手
更多精彩内容請關注公衆号：BFT機器人
(公衆号背景回複“優惠活動”檢視BFT機器人年終钜惠福利内容)
本文為原創文章，版權歸BFT機器人所有，如需轉載請與我們聯系。若您對該文章内容有任何疑問，請與我們聯系，将及時回應。