機器之心專欄
機器之心編輯部
來自清華大學交叉資訊研究院的研究者提出了「GenH2R」架構，讓機器人學習通用的基于視覺的人機交接政策（generalizable vision-based human-to-robot handover policies）。這種可泛化政策使得機器人能更可靠地從人們手中接住幾何形狀多樣、運動軌迹複雜的物體，為人機互動提供了新的可能性。
随着具身智能（Embodied AI）時代的來臨，我們期待智能體能主動與環境進行互動。在這個過程中，讓機器人融入人類生活環境、與人類進行互動（Human Robot Interaction）變得至關重要。我們需要思考如何了解人類的行為和意圖，以最符合人類期望的方式滿足其需求，将人類放在具身智能的中心（Human-Centered Embodied AI）。其中一個關鍵的技能是可泛化的人機交接（Generalizable Human-to-Robot Handover），它使機器人能夠更好地與人類合作，完成各種日常通用任務，如烹饪、房間整理和家具組裝等。
大模型的火爆發展預示着海量高品質資料+大規模學習是走向通用智能的一種可能方式，那麼能否通過海量機器人資料與大規模政策模仿擷取通用人機交接技能？然而，若考慮在現實世界中讓機器人與人類進行大規模互動學習是危險且昂貴的，機器很有可能會傷害到人類：
而在仿真環境中（Simulation）進行訓練，用人物仿真和動态抓取運動規劃來自動化提供海量多樣的機器人學習資料，然後将其部署到真實機器人上（Sim-to-Real Transfer），是一種更可靠的基于學習的方法，可以大大拓展機器人與人協作互動的能力。
是以，「GenH2R」架構被提出，分别從仿真（Simulation），示例（Demonstration），模仿（Imitation）三個角度出發，讓機器人第一次基于端到端的方式學習對任意抓取方式、任意交接軌迹、任意物體幾何的通用交接：1）在「GenH2R-Sim」環境中提供了百萬級别的易于生成的各種複雜仿真交接場景，2）引入一套自動化的基于視覺 - 動作協同的專家示例（Expert Demonstrations）生成流程，3）使用基于 4D 資訊和預測輔助（點雲 + 時間）的模仿學習（Imitation Learning）方法。
相比于 SOTA 方法（CVPR2023 Highlight），GenH2R 的方法在各種測試集上平均成功率提升 14%，時間上縮短 13%，并在真機實驗中取得更加魯棒的效果。
- 論文位址：https://arxiv.org/abs/2401.00929
- 論文首頁：https://GenH2R.github.io
- 論文視訊：https://youtu.be/BbphK5QlS1Y
方法介紹
A. 仿真環境（GenH2R-Sim）
為了生成高品質、大規模的人手 - 物體資料集，GenH2R-Sim 環境從抓取姿勢和運動軌迹兩方面對場景模組化。
在抓取姿勢方面，GenH2R-Sim 從 ShapeNet 中引入了豐富的 3D 物體模型，從中挑選出 3266 個适合交接的日常物體，使用靈巧抓取的生成方法（DexGraspNet），總共生成了 100 萬個人手抓住物體的場景。在運動軌迹方面，GenH2R-Sim 使用若幹控制點生成多段光滑的 Bézier 曲線，并引入人手和物體的旋轉，模拟出手遞物體的各種複雜運動軌迹。
GenH2R-Sim 的 100 萬場景中，不僅在運動軌迹（1 千 vs 100 萬）、物體數量（20 vs 3266）兩方面遠超之前最新工作，此外，還引入了接近真實情境的互動資訊（如機械臂足夠靠近物體時，人會配合停止運動，等待完成交接），而非簡單的軌迹播放。盡管仿真生成的資料不能完全逼真，但實驗結果表明，相比小規模的真實資料，大規模的仿真資料更有助于學習。
B. 大規模生成利于蒸餾的專家示例
基于大規模的人手和物體運動軌迹資料，GenH2R 自動化地生成了大量專家示例。GenH2R 尋求的 “專家” 是經過改進後的 Motion Planner（如 OMG Planner），這些方法是非學習、基于控制優化的，不依賴于視覺的點雲，往往需要一些場景狀态（比如物體的目标抓取位置）。為了確定後續的視覺政策網絡能夠蒸餾出有益于學習的資訊，關鍵在于確定 “專家” 提供的示例具有視覺 - 動作相關性（Vision-action correlation）。規劃時如果知道最後落點，那麼機械臂可以忽略視覺而直接規劃到最終位置 “守株待兔”，這樣可能會導緻機器人的相機無法看到物體，這種示例對于下遊的視覺政策網絡并沒有任何幫助；而如果頻繁地根據物體位置進行重新規劃，可能會導緻機械臂動作不連續，出現奇怪的形态，無法完成合理的抓取。
為了生成出利于蒸餾（Distillation-friendly）的專家示例，GenH2R 引入了 Landmark Planning。人手的運動軌迹會按照軌迹光滑程度和距離被分成多段，以 Landmark 作為分割标記。在每一段中，人手軌迹是光滑的，專家方法會朝着 Landmark 點進行規劃。這種方法可以同時保證視覺 - 動作相關性和動作連續性。
C. 以預測為輔助的 4D 模仿學習網絡
基于大規模專家示例，GenH2R 使用模仿學習的方法，建構 4D 政策網絡，對觀察到的時序點雲資訊進行幾何和運動的分解。對于每一幀點雲，通過疊代最近點算法（Iterative Closest Point）計算和上一幀點雲之間的位姿變換，以估計出每個點的流（flow）資訊，使得每一幀點雲都具有運動特征。接着，使用 PointNet++ 對每一幀點雲編碼，最後不僅解碼出最終需要的 6D egocentric 動作，還會額外輸出一個物體未來位姿的預測，增強政策網絡對未來手和物體運動的預測能力。
不同于更加複雜的 4D Backbone（例如 Transformer-based），這種網絡架構的推理速度很快，更适用于交接物體這種需要低延時的人機互動場景，同時它也能有效地利用時序資訊，做到了簡單性和有效性的平衡。
實驗
A. 仿真環境實驗
GenH2R 和 SOTA 方法進行了各種設定下的比較，相比于使用小規模真實資料訓練的方法，在 GenH2R-Sim 中使用大規模仿真資料進行訓練的方法，可以取得顯著的優勢（在各種測試集上成功率平均提升 14%，時間上縮短 13%）。
在真實資料測試集 s0 中，GenH2R 的方法可以成功交接更複雜的物體，并且能夠提前調整姿勢，避免在夾爪靠近物體時再頻繁進行姿勢調整：
在仿真資料測試集 t0（GenH2R-sim 引入）中，GenH2R 的方法可以能夠預測物體的未來姿勢，以實作更加合理的接近軌迹：
在真實資料測試集 t1（GenH2R-sim 從 HOI4D 引入，比之前工作的 s0 測試集增大約 7 倍）中，GenH2R 的方法可以泛化到沒有見過的、具有不同幾何形狀的真實世界物體。
B. 真機實驗
GenH2R 同時将學到的政策部署到現實世界中的機械臂上，完成 “sim-to-real“的跳躍。
對于更複雜的運動軌迹（例如旋轉），GenH2R 的政策展示出更強的适應能力；對于更複雜的幾何，GenH2R 的方法更可以展現出更強的泛化性：
GenH2R 完成了對于各種交接物體的真機測試以及使用者調研，展示出很強的魯棒性。
了解更多實驗、方法内容，請參考論文首頁。
團隊介紹
該論文來自清華大學 3DVICI Lab、上海人工智能實驗室和上海期智研究院，論文的作者為清華大學學生汪子凡（共同一作）、陳峻宇（共同一作）、陳梓青和謝鵬威，指導老師是弋力和陳睿。
清華大學三維視覺計算與機器智能實驗室（簡稱 3DVICI Lab），是清華大學交叉資訊研究院下的人工智能實驗室，由弋力教授組建和指導。3DVICI Lab 瞄準人工智能最前沿的通用三維視覺與智能機器人互動問題，研究方向涵蓋具身感覺、互動規劃與生成、人機協作等，與機器人、虛拟現實、自動駕駛等應用領域密切聯系。團隊研究目标是使智能體具備了解并與三維世界互動的能力，成果發表于各大頂級計算機會議、期刊上。