編輯：好困 桃子 袁榭
【新智元導讀】人類遊戲玩家的尊嚴，又崩塌了一角，而且這次是遊戲廠商爸爸親自下場羞辱：索尼自行開發AI選手，擊敗了GT賽車遊戲的全球一流電競選手。
高能力的AI在各種遊戲中打敗人類，這些消息近年來頻頻出現。
不管是早年的國際象棋、問答比賽，還是近年的圍棋、星際争霸、刀塔2。
在AI選手面前，人類的專業選手簡直被打到要哭。
今日，AI賽車手再次戰勝人類玩家，登上Nature封面！
索尼公司親自下場開發的AI「GT Sophy」，讓電子賽車遊戲加入了上述名單：不管是日本的還是其他國家的頭挑電競選手，在GT賽車中都比不過索尼拿1000台PS4主機訓練出的AI。
GT Sophy，或者可以親切地稱為「蘇菲」，是索尼内部的AI事業部、PDI工作室、互動娛樂子公司聯合研發的項目，耗時逾5年。
AI事業部提供深度學習算法、負責訓練模型；PDI工作室出的遊戲作為AI訓練和驗證的環境；互動娛樂公司的雲計算架構将千台PS4主機串聯起來作為大規模訓練架構和平台。
作為一種神經網絡驅動程式，GT Sophy在遵守賽車規則的同時，展現出了超凡的行駛速度、操控能力和駕駛戰術。
斯坦福大學教授Christian Gerdes在Nature的一篇文章寫道: 「在這場面對面的競争中，AI車手如此娴熟地超越人類玩家，代表着人工智能的一項裡程碑式的成就。」
龍之徑上演「速度與激情」
這有什麼厲害的？？？
說來，賽車比賽的目的很簡單，就是用更短時間超越競争對手，你就赢了。
《速度與激情》中的硬核碰撞讓人熱血沸騰，而真正賽場上的終極對決可是需要實打實的戰術。
索尼PDI工作室在東京提供場地，請GT賽車遊戲世界範圍内的一流電競選手來與「GT Sophy」及其變體比賽。
比賽節選
在GT Sophy與人類選手的第一場比賽中，選址Dragon Trail龍之徑展開精彩對決。
整條跑道全長5209米，劃分出S1，S2，S3三個區間，以及17處彎道。
比賽的始發位置是以AI、真人交錯的順序排列，共8名車手。
不過，比賽一開始，名叫薇奧拉（Violette）的GT Sophy人工智能變體就完成了對人類車手的超越，排到第二位。
AI隊友波爾多（Bordeaux）則一直保持着第一的位置。
到T2/3轉彎處，AI選手維特（Verte）嗖地一下沖到了人類選手山中智瑛前面。
比賽中途，排在第一，第二的Sophy AI在沒有阻擋情況下，選擇了最優路線。
比賽進行到最後一區S3，賽車手們需要繞過T17大彎道後就能迅速沖向終點。
比賽結果顯示，排在前三的賽車選手，GT Sophy占據兩席，隻有人類選手國分涼太沖進了前三。
國分涼太一直是一個冷靜沉着的賽車手，在2019年摘得國際汽車聯合會跑車錦标賽第五輪東京國家杯冠軍，2020年FIA GT Championship國家杯第三名。
這個結果的産生，其實從資格賽中就可以看出一些端倪。
畫面右邊的AI選手在過彎時不僅更穩定，而且選擇的路線要明顯優于人類玩家。
在遊戲中的馬焦雷湖賽道上另一場比賽中，四款AI擊敗了四個人類對手。
該次比賽中AI軍團中的最傑出者「GT羅格」在比賽的三個計分圈中都處于第一位置，領先最快的人類選手超過5秒。不過馬焦雷湖賽道上，也有AI車手失誤，過彎時轉向不足，一頭撞牆。
GT Sophy在2021年7月的實驗中，還隻能在沒有其他車的虛拟空賽道上，跑出超過人類選手的單純競速成績。訓練到2021年10月，就可以在真正的遊戲賽車環節擊敗一群人類對手了。
2020年GT賽車世界杯上的明星選手宮園拓真說：「AI的駕駛方式，我們想都想不出。」但他也承認「GT Sophy」的戰術決策很有用。
被AI擊敗的宮園拓真一臉不服
可以看到，賽車不僅僅是速度和反應時間的問題，駕駛賽車極其考驗一個人的極限戰略，是以讓機器掌握并非易事。
正如Nature一文所指出的那樣，若想實作這一目标需要戰勝極其複雜的實體挑戰，因為在賽道上馳騁需謹慎利用輪胎與地面之間「有限的摩擦力」。
比如，用摩擦力來制動，就會減少繞過拐彎的力量。
更具體地說，每個接地輪胎可以産生一個與垂直力成比例的摩擦力，或荷載。當汽車加速時，荷載轉移到後胎，前胎的摩擦力減小。
這可能會導緻轉向不足，在這種情況下，方向盤不能産生更多的過彎力，會在沖出彎道時保持事實上的手刹狀态。
相反的，當汽車刹車時，負載轉移到汽車的前部。這可能會導緻轉向過度，也就是說後胎會失去牽引力，汽車會激烈打轉。
再加上複雜的賽道地形，以及調整負荷轉移的複雜性與懸挂車輛，以及賽車的挑戰變得明顯。
為了赢得比賽，車手必須選擇讓賽車盡可能保持在摩擦限制範圍内的軌迹。
如果轉彎時刹車太早，你的車就會慢下來，浪費時間。刹車太晚，就不會有足夠的轉彎力來保持你想要的賽車線。再加上，刹車太用力可能會引起車體旋轉。
盡管賽車的操縱極限非常複雜，但實體學已經很好地解釋了這些極限。是以，它們可以被計算或學習也是理所當然的。
在一場面對面的比賽中，GT Sophy非但沒有利用單圈時間優勢戰勝對手，反而在最後輕而易舉超過競争對手。
就比如，在第一比賽最後沖刺節點上，2個人類賽車手試圖阻斷2個AI賽車手的路徑。
但GT Sophy成功地找到了兩條不同的路線，最後一舉超越人類玩家沖向終點。
通過神經網絡模型訓練後，GT Sophy學會了在不同的情況下通過角落走不同的路線。
那麼，這個AI超人賽車手究竟是如何煉成的呢？
AI賽車手如何煉成？
與其它規則、玩法較固定的遊戲不同，GT賽車遊戲的玩家戰術選項是很開放的。而且GT賽車遊戲的特色在于較好地模拟了真實世界的實體定律。
是以兼具虛拟與真實世界雙重難度的GT賽車遊戲，要讓AI玩好還真不容易。
首先，我們需要一個超真實的模拟器作為訓練環境。
Gran Turismo® Sport（GT Sport）是由Polyphony Digital與FIA（國際汽車聯合會）合作設計制作的PlayStation 4的駕駛模拟器。
GT Sport有明确規則和判斷标準，不用「獵豹」也能保證公平的競賽環境。（doge）
此外，GT Sport盡可能真實地再現了現實世界的賽車環境，包括其賽車、賽道，甚至空氣阻力和輪胎摩擦等實體現象。
在汽車制造商的指導下，汽車的細節被準确地再現，從車體的曲線，到車身面闆之間的縫隙寬度以及轉向燈和大燈的形狀。
遊戲環境有了之後，就需要對訓練環境的配置了。
DART是索尼AI為此量身定制的網絡架構，讓研究者能用互動娛樂公司的雲計算遊戲平台串聯起1000台PS4遊戲主機來長時間訓練GT Sophy。
千台PS4主機陣列，遊戲宅的豪華夢想
在如此的架構上，各個異地資料中心間的所有計算資源被有效整合。研究者可以輕松确定實驗參數、設定當雲資源可用時實驗自動進行、并且搜集能在浏覽器中觀察的資料。
研究者以此平台順暢執行了數百次模拟實驗，将AI的技戰術提高到之前未及的高度。
最後，就是對AI車手GT Sophy的訓練了。
與那些在遊戲中戰勝人類的AI前輩相同，為了避免一開始将遊戲行為人工編碼成複雜龐大的行為規則資料集，GT Sophy也采用深度強化學習來進行訓練。
當智能體，也就是GT Sophy在訓練環境中采取行動時，算法根據其導緻的結果給予獎勵或懲罰。在得到了獎勵（或懲罰）之後，GT Sophy會更新其對世界的認知，以确定其下一步行動。
索尼人工智能研究人員和工程師開發了創新的強化學習技術，包括一種新的訓練算法QR-SAC，給AI的各種高速駕駛決策做出規則和實體限制内的合理性後果分析。并用智能體可了解的賽車規則編碼，以及獲得一種促進細微賽車技能的訓練方案。
在強化學習中，AI賽車手需要考慮其行為的長期後果，并能在學習過程中獨立收集自己的資料，避免了對複雜的手工編碼行為規則的需求。
當然，處理像Gran Turismo這樣的複雜領域，依然需要同樣複雜和細微的算法、獎勵和訓練場景。
在訓練的後期，研究人員更是加入了不同數量的對手，鍛煉GT Sophy在和人類車手對抗時的
從結果上看，索尼開發的算法可謂是效果拔群。
經過短短數個小時的訓練，GT Sophy就已經能上賽道了，而且「一兩天内」的速度比其訓練資料集中95%的駕駛員都要快。
當然，95%是遠遠不夠的。
又繼續訓練了大約45,000小時之後，GT Sophy終于在三條賽道（克羅地亞海邊龍徑賽道、意大利馬焦雷湖大獎賽道和法國薩爾特賽道）上完全戰勝人類車手。
然而，在和人類的比賽彙總，AI具有着很多先天優勢，比如完美的記憶力和快速的反應時間。
尤其是GT Sophy有着一張精确的賽道地圖，上面标注着賽道邊界的坐标，以及「關于每個輪胎載荷、每個輪胎的滑動角度和其他車輛狀态的精确資訊」。
不過，依然可以對另外兩個要素進行限制：作用頻率和反應時間。
GT Sophy的輸入信号被限制在10赫茲，理論上人類的最大輸入信号為60赫茲，而這有時會讓人類車手在高速行駛時表現出「更平穩的動作」。
在反應時間方面，GT Sophy能夠在23-30毫秒内對比賽環境中的事件做出反應，這比專業運動員估計的最高反應時間200-250毫秒要快得多。為了彌補這一缺陷，研究人員增加了人為延遲，訓練GT Sophy的反應時間分别為100毫秒、200毫秒和250毫秒。
即便如此，GT Sophy還是在「所有這三項測試都達到了超人圈速。」
索尼AI事業部的負責人承認，讓AI學會文明比賽不卑不亢還蠻困難的，在面對對手時做到戰術決策既不太過暴躁又不太過謹慎，任務量還是很大的。
首先要讓AI在了解遊戲環境中虛拟賽車位置、虛拟氣動模型、賽道圖形、基本駕駛動作的基礎上學會開車；然後是各種GT賽車遊戲戰術，例如滑流設障、插線超車、各種阻擋卡位；最後還要讓AI學會必要的賽道禮儀規則，例如避免惡意犯規碰撞、尊重對手的車道安全等等。
賽車控制
QR-SAC算法可以明确地推理出GT Sophy高速行動的各種可能結果。對駕駛行為的後果和其中的不确定性進行核算，幫助GT蘇菲在實體極限下過彎，并在與不同種類的對手比賽時考慮複雜的可能性。
賽車戰術
通過加入混合場景的訓練，使用人工制作的、可能在每個賽道都很關鍵的比賽情況，以及幫助智能體學習這些技能的專門對戰對手。
這些技能培養方案幫助GT Sophy獲得了專業的賽車技術，包括處理擁擠的起跑、用彈射式超車反制滑流設障，以及防禦性的機動動作。
賽車禮儀
為了幫助GT Sophy學習賽道禮儀，索尼AI研究人員找到了将賽車的書面和非書面規則編碼到複雜的獎勵函數中的方法。
研究小組還發現有必要平衡對手的數量，以確定GT Sophy在訓練賽表現出程度恰好的競争性，與人比賽時不會變得過于激進或膽小。
參考資料：
https://www.nature.com/articles/d41586-022-00304-2
https://www.nature.com/articles/s41586-021-04357-7
https://www.cnet.com/tech/gaming/sony-ai-defeats-human-racers-in-gran-turismo-playstation-game/
https://www.engadget.com/sony-ai-gran-turismo-sophy-racing-gaming-183604864.html
https://www.gran-turismo.com/us/gran-turismo-sophy/technology/
https://www.gran-turismo.com/us/gran-turismo-sophy/race-together/