#記錄我的2024#
快速導讀
谷歌正在利用Gemini AI來增強機器人的導航和任務完成能力。DeepMind的研究團隊介紹了他們如何使用Gemini 1.5 Pro來改進與RT-2機器人的互動，通過廣泛上下文視窗和自然語言指令實作更無縫的交流。他們通過錄制特定區域的視訊導覽來教導機器人了解環境，讓機器人能夠從視訊中學習，并遵循自然語言或視覺提示執行指令。Gemini驅動的機器人在大型操作空間中成功率達到90%，展示了令人鼓舞的結果。此外，Gemini 1.5 Pro還賦予機器人進階規劃能力，例如在使用者詢問特定飲料是否可用時，機器人可以制定行動政策。DeepMind計劃進一步探索這些能力，以提升機器人性能。
谷歌在機器人訓練中使用 Gemini AI
谷歌正在利用 Gemini AI 來增強其機器人的導航和任務完成能力。DeepMind 機器人團隊在最近的一篇研究論文中詳細介紹了如何利用 Gemini 1.5 Pro 的廣泛上下文視窗，通過自然語言指令實作與 RT-2 機器人更無縫的互動。
基于視訊的機器人導航訓練
為了教會機器人了解其環境，會錄制特定區域（如家庭或辦公室）的視訊導覽。利用 Gemini 1.5 Pro，研究人員使機器人能夠從視訊中學習，使其能夠遵循自然語言或視覺提示給出的指令。這種方法顯示出了令人鼓舞的結果，Gemini 驅動的機器人在大型操作空間中對各種使用者指令的成功率達到了 90%。
Gemini 驅動機器人的進階規劃能力
研究還表明，Gemini 1.5 Pro 賦予了機器人超越基本導航任務的規劃能力。例如，當使用者詢問特定飲料（如可樂）是否可用時，機器人可以通過前往冰箱、檢查飲料并帶回結果來制定行動政策。DeepMind 打算深入探索這些能力，以進一步提升機器人的性能。