2024 年，智能機器人開局就給予了我們無限想象。
就在昨日斯坦福華人團隊的“炒蝦”機器人爆火網絡：
，時長00:49
大家紛紛驚呼未來科幻電影走進生活，毫不誇張的講，當這個成本 22 萬的開源項目普及再經過一段時間的成本降價後， 2024可能當真是未來的機器人元年！
昨日這個全新移動機器人 Mobile ALOHA給大家帶來了無限驚喜，今天該項目的負責人，斯坦福的華人博士 Zipeng Fu 更新了一波後續視訊。他将 Mobile ALOHA 帶回了家，嘗試了諸如洗衣服、扔垃圾、澆花等等一系列“家務活”。
讓我們先睹為快 Mobile ALOHA 的表現：
，時長02:37
谷歌DeepMind釋出智能機器人最新進展
還是在昨日，谷歌 DeepMind 趁熱打鐵，po 出了一系列關于智能機器人的前沿研究進展，給出了一份名為 《Shaping the future of advanced robotics》 的技術報告，跟上這股東風，讓我們一起來了解下目前的智能機器人蘊藏着什麼樣的潛力吧！
對人類來說，一些事可能天然是很簡單的，比如“整理房間”，“做飯”等等，當向一個五歲的小孩發出倒垃圾的指令，他們也會快速的了解語義并進行行動。但是對于機器人這樣純粹的“機械造物”，從簡單直接的自然語言到轉化為實體世界的行動就要求着機器人具備對世界的高度了解。
那麼什麼對世界具有高度了解呢？答案呼之欲出——大模型。早在 22 年，谷歌就開源推出了機器人領域的 Transformer——Robotics Transformers（RT-1），并在 23 年成功更新成為了有望實作具身智能的 Robotics Transformers 2（RT-2）
而在 RT 系列的基礎上，在這篇技術報告中，谷歌又官宣了 AutoRT、SARA-RT 和 RT-Trajectory 三種技術，幫助應用于現實世界中的智能機器人提高資料收集能力、學習速度與具備更強的泛化能力。
首先是 AutoRT，見名知義，AutoRT 是一個将大模型與機器人控制模型（RT-1 或 RT-2）結合的 AI Agent 系統，具體而言，AutoRT 被谷歌視為一個“資料收集系統”，旨在擴充機器人的學習能力，以使其更好的訓練并适應現實世界。
AutoRT 可以同時指揮多個機器人，每個機器人配置有錄影機與執行操作器，系統使用視覺大模型（VLM）幫助了解環境與視線内的物品，而大模型（LLM）會給機器人一系列待執行的任務，譬如移動物品、擦桌子等等。AutoRT 在七個月的評估内可以做到在各種不同的環境下同時協調 20 個機器人，收集了大量多樣化的資料，其整體流程如下圖所示：
而 SARA-RT，全稱 Self-Adaptive Robust Attention for Robotics Transformers 是谷歌提出的為使得 RT 更加精簡高效的适用于機器人控制的 Attention 模型架構。SARA-RT 施加在 RT-2 上後，提升 RT-2 模型的準确率超過 10%，并且速度加快 14%。SARA-RT 仍然針對的是 Transformer 的老問題，二次複雜度的注意力子產品，而 SARA-RT 提出了一種新的模型微調方法——up-training，up-training 将二次複雜度轉化為線性複雜度，大大降低了計算需求，提供了一種加速 Transformer 的通用方法。
最後是 RT-Trajectory，是一個幫助智能機器人更好泛化的系統。回到最開始的問題，許多對人類而言不言自明的任務對機器人而言就要通過多種方式将指令轉化為實際的實體運動。而實作這種轉化需要模型有高效的資料集進行學習，并在 Learning 的基礎上對未知任務有良好的泛化能力。
基于這個出發點，谷歌設計了 RT-Trajectory 模型，可以擷取訓練資料集中的每個視訊，并在執行任務時将其與機器人手臂夾具的 2D 軌迹草圖進行疊加，這些軌迹将以 RGB 圖像的形式為模型提供視覺上的提示。RT-Trajectory 通過将自然語言中比如向左移動、向右移動這類模糊的控制話語轉化為了特定的機器人運動，進而大大提升了模型的泛化能力。
疊加 AutoRT、SARA-RT 和 RT-Trajectory，可以看到一個更強大也更現實的真正智能機器人已然在不遠的未來等待我們，不論是已經給予我們視覺震撼的 Mobile ALOHA，還是更加底層的AutoRT、SARA-RT 和 RT-Trajectory 等技術，2024 年希望在機器人領域給我們以新的，如 GPT-4 那樣的震撼吧！