《王者榮耀》遊戲在2020年上線了一個新子產品，叫“挑戰絕悟”，這個“絕悟”就是多智能體AI。它和AI足球運動員一樣，打法上要考慮團隊配合，因為《王者榮耀》的遊戲規則是5V5，也就是10個角色分成兩隊來打群架；操作上，也有複雜的走位和動作技巧。
為了快速提高“絕悟”的戰鬥力，騰訊AI團隊決定把它放出來，邀請上億遊戲玩家來群毆它，幫助它進步。如果你也挑戰過“絕悟”，那厲害了，世界上最先進的多智能體AI的發展有你一份功勞。“絕悟”花三年時間，從一開始連地圖小怪都打不過的“弱雞”，到後來可以完爆《王者榮耀》職業聯賽冠軍，成為目前世界上最先進的多智能體AI之一。
聽到這兒，不知道你會不會有個疑問：BAT三巨頭中，在人工智能領域投入最大的是百度，為什麼這個多智能體AI是由騰訊做出來的？我看到科技記者史中在他的公衆号“淺黑科技”裡的報道，原來，騰訊開發“絕悟”不是一時興起，而是為了解決一個現實問題。
你知道，《王者榮耀》遊戲會不斷推出新的英雄角色，這個新角色的武力值需要和原來的老角色保持平衡，既不能太強也不能太弱，勝率在50%左右最好。怎麼保證這個勝率呢？
一般的做法是，在新角色釋出前，找很多專業遊戲測試員，用新角色跟老角色組隊打上幾千場，各種技能和場景都盡量測試一遍。但是，這個方法人力成本高、效率低，還有新角色被提前洩露給公衆的風險。能不能幹脆搞一個AI系統，由它操控各種角色來自動測試？對，這就是“絕悟”的來曆。
從數學上說，想要搞清楚勝率，需要采用窮舉法，也就是把每一步中所有可能出現的變數全部推演一遍，自然可以得出結果。不過，這種做法隻在理論上可行，現實中它需要的算力是個天文數字，超越了計算機的極限。就連簡單的圍棋程式都沒法采用窮舉法，更别說更複雜的多智能體了。
事實上，絕悟1.0版本是采用“模仿學習”的辦法，是學習《王者榮耀》職業聯賽的比賽錄像。不過，單純把這些錄像資訊灌到系統裡，還不夠精準。因為高手也有出昏招的情況，“絕悟”在初期還無法分辨哪些是高招哪些是昏招。騰訊AI團隊就找了一幫遊戲高手，手動标記比賽錄像中，哪些是華而不實的花架子，哪些是真正的神來之筆，把經過“提純”後的武功秘籍輸入給“絕悟”。
通過“模仿學習”，絕悟的水準相當于一個比較厲害的業餘選手，可以挑戰遊戲主播，但是和真正的職業選手沒法比。從“模仿學習”的原理來看，“絕悟”是跟在職業選手屁股後面學，最多能學到七八成功力，就像孫悟空再厲害也趕不上菩提老祖。那後來“絕悟”是怎麼做到完爆職業選手的呢？
這就要說到絕悟的2.0版本，不再是“模仿學習”，而是完全抛開人類經驗，從一張白紙開始，通過自己跟自己對戰、左右手互搏，自己總結戰鬥經驗。這在人工智能領域叫做“強化學習”。
不過，多智能體AI面對的情況比圍棋這樣的單智能體複雜得多，這意味它的模型裡有海量參數，“強化學習”的結果，可能越來越強，也可能是“學廢了”，模型無法收斂，表現越來越差。就好像教遊泳直接把娃扔水裡，會的就會了，不會的就淹死了。
事實上，絕悟2.0就遇到了這種情況：一開始學習曲線很漂亮，後來大起大落，然後突然掉頭向下。“強化學習”和“模仿學習”不同，機器“強化學習”的過程是個黑匣子，人類無法了解，更無法幹預和引導。怎麼辦？眼睜睜看着“絕悟”被“淹死”？
研究團隊苦苦琢磨，最後才想到：雖然無法幫它，但是可以給它降低難度啊！他們為“絕悟”制定了一個從易到難的訓練計劃：不是一開始就讓它進行5V5的混戰，而是先從1V1練起，再做固定組隊訓練，最後再打亂編隊訓練。
在這樣循序漸進的訓練計劃之下，“絕悟”終于又活過來了，學習曲線噌噌向上。最終，在2019年《王者榮耀》世界冠軍杯上，絕悟戰勝了頂尖職業選手，一戰封神，成為遊戲界的AlphaGo。
“絕悟”作為多智能體代表，它的現實應用場景要多得多。比如，“把《王者榮耀》的英雄們換成汽車，把地圖換成街道，就變成了一個智能駕駛問題”；把《王者榮耀》的英雄變成小行星，就可以讓小行星們自動組隊進行天文觀測。
#頭條創作挑戰賽#
#王者榮耀#
#王者榮耀資訊#
