新智元報道
編輯：武穆
【新智元導讀】DeepMind的研究團隊，通過計算機模拟數十年足球比賽的情況，訓練AI學會了熟練地控制數字人形足球運動員，但還僅限于足球網絡遊戲，不能用于機器人硬體上。
今年11月，世界杯又要開賽了。
到時候，不管踢不踢，踢得好還是踢得不好，又會有很多人開始聊足球了。
沒辦法，誰叫足球是世界第一大運動呢。
不過相比于世界杯，科學家對年度機器人杯3D模拟聯盟更感興趣。
不久前，來自英國人工智能公司DeepMind的研究團隊，利用一種加速版運動課程，通過計算機模拟數十年足球比賽的情況，訓練AI學會了熟練地控制數字人形足球運動員。
相關研究發表在《科學·機器人》雜志上。
論文位址：https://www.science.org/doi/10.1126/scirobotics.abo0235
顯然，這已經不是第一次「AI足球運動員」進入大衆視野了。
AI足球運動員的進化簡史
早在2016年，AlphaGo在圍棋上戰勝李世石後沒多久，Deepmind就開始琢磨讓AI踢足球了。
當年6月，DeepMind的研究人員讓AI控制一隻螞蟻形狀的物體去追逐小球，然後帶球直至将其送進球門得分。
根據DeepMind小組負責人David Silver的說法，借助當時谷歌最新開發出異步Actor-Critic算法，即A3C，AI不僅完成了這個項目，而且在整個過程中不需要向他灌輸有關力學的知識。
這項實驗，讓「AI踢足球」迎來了開門紅。
到了2019年，DeepMind已經訓練了許多「Player」，它們分别由不同訓練計劃制作而成的，DeepMind從中選擇10個雙人足球團隊。
這10個團隊每個都有250億幀的學習經驗，DeepMind收集了它們之間的100萬場比賽。
然後DeepMind設定環境，讓多個AI一起踢足球賽，并且提前設定了規則，獎勵整個「足球隊」而不是去鼓勵某個「AI球員」的個人成績，以促成整個球隊的進步。
DeepMind用這種方式證明了，AI是可以互相合作的。
看起來一切順利，然而到了2020年，DeepMind的AI球員出問題了。
根據腦極體提供的資料，在一場比賽中，一方的足球機器人排成一排向球門發起射擊，但機器人守門員卻并沒有準備防守，而是一屁股倒在地上開始胡亂擺動起了雙腿。
你以為這就完了？too naive！
接着，擔任前鋒的機器人球員跳了一段十分令人困惑的舞蹈，跺跺腳，揮揮手，啪叽一下摔倒在地上。
這一幕讓觀衆極為震驚：見過放水的，沒見過這麼放水的！
為何會這樣呢？
這還要從背後的原理說起。
「AI踢足球」的開始，研究人員就采用了強化學習這條道路。
此前，AlphaGo的學習是基于監督學習，即通過标記好的資料集來進行訓練的。
但這種方式對資料的「潔淨」程度要求高：一旦資料有問題，AI就會犯錯。
與之相比，強化學習是模仿人類的學習模式，AI以「試錯」的方式進行學習，對了受獎，錯了受罰，進而建立正确的聯系。
看起來比傳統的監督學習智能了不少，但還是有漏洞。
比如，AI會對獎懲措施産生錯誤的了解，因而生成奇怪的政策。
OpenAI曾經設計了一個賽艇遊戲，AI原本的任務是完成比賽。
研究者設定了兩種獎勵，一是完成比賽，二是收集環境中的得分。結果就是智能體找到了一片區域，在那裡不停地轉圈「刷分」，最後自然沒能完成比賽，但它的得分反而更高。
這次，AI踢出了什麼新花樣
雖然AI踢足球出現過翻車現場，但研究人員沒有放棄。
文章開頭提到，DeepMind的研究團隊在訓練「AI足球運動員」上有了新突破。
據論文描述，盡管DeepMind團隊在此次研究中簡化了遊戲規則，并将兩隊球員人數限定在了2-3人，但「AI足球運動員」可以完成帶球突破、身體對抗、精準射門等動作。
那研究人員是怎麼訓練「AI足球運動員」的呢？
簡單來說，是将監督學習與強化學習結合起來。
第一步，AI需要觀看人類踢足球的視訊剪輯，學會自然行走，因為AI開始并不知道要在足球場上做什麼。
第二步，AI在強化學習的算法下，練習運球和射門。
這兩步，AI大約能在24小時内完成。
第三步，就用用比賽的形式訓練，AI機器人進行2對2比賽，這一步需要耗時2到3周，主要是讓AI學會團隊協作,以及預測傳球等更高難度的運動控制。
這次「AI 足球運動員」的表現還是讓研究團隊覺得比較滿意。
DeepMind團隊認為，這一研究推動了人工系統向人類水準運動智能向前邁進。
不過，DeepMind團隊還是比較清醒，他們知道，這次突破還是有局限性的。
比如，比賽是2v2，而不是現實足球比賽常用的11v11，還不能說明AI可以參加更複雜的足球比賽。
此外，即便是簡單的2v2比賽，也沒法直接用在機器人硬體上。
換句話說，科學家們還不能研制出可以踢足球的機器人。
參考資料：
https://www.science.org/doi/10.1126/scirobotics.abo0235
https://sports.yahoo.com/deepmind-ai-now-play-football-134345563.html?guccounter=2
https://www.woshipm.com/ai/3619952.html
http://it.people.com.cn/n1/2016/0622/c1009-28467916.html
本文參與 騰訊雲自媒體分享計劃，歡迎熱愛寫作的你一起參與！
本文章分享自微信公衆号
新智元
作者：新智元
原始發表時間：2022-09-14
如有侵權，請聯系 [email protected] 删除。