魚羊 博雯（本文轉載自公衆号”量子位“）
萬萬沒想到，索尼的3A遊戲大作居然登上了Nature封面：
把遊戲宣發做到了頂級學術期刊封面，我服。
不過這篇文章可不是加錢打廣告，而是實實在在的技術論文——
一隻來自索尼的AI，名叫GT Sophy。
且看這位AI賽車手的比賽畫面，先是一個機智變道繞開對手的卡位：
随後在彎道膠着時大秀操作，以190km/h的速度一舉反超，将對手甩到身後。
可别覺得AI在賽車遊戲裡戰勝人類沒啥特别的，要知道，這樣的比賽是在GT賽車中進行的——
這是一款高度拟真的賽車遊戲，也就是說，選手們幾乎就是在真·開車。
圖右為GT世界冠軍Takuma Miyazono
而GT Sophy也是世界上首個在此類需要持續判斷和高速反應的賽車遊戲中，戰勝人類冠軍的AI。
斯坦福汽車研究中心聯合主任Chris Gerdes教授就對此表示：
GT Sophy在比賽中如此熟練地超越人類駕駛員，這對于人工智能而言是一項裡程碑式的進步。
值得一提的是，最新一代GT系列遊戲Gran Turismo 7将在3月4日正式登陸PS4/PS5平台。
雖然玩家們不太可能在第一時間對戰GT Sophy，但索尼已經表示，他們正在努力将這隻強大的AI整合到GT賽車中。
并不簡單的賽車AI
AI戰勝人類，在很多人聽來已經不夠新鮮。
但與過去在國際象棋、圍棋等棋類遊戲，或星際争霸、Dota等動作遊戲中一展拳腳的AI相比，賽車那看似“先到終點就赢”的簡單目标，實際上要複雜得多：
比如刹車，就是一種不斷探索汽車輪胎與道路之間摩擦力的“實體戰”。
轉彎時刹車太早，可能就無法順利過彎，還會損失車速；
刹車太晚，又難以保持想要的路線軌迹，甚至導緻車體旋轉。
整個比賽過程中，賽車手必須時刻保持對周圍環境的判斷，并能根據路況作出及時的反應。
同時，駕駛技巧、針對不同對手的戰術政策、甚至是遵守規則的賽車精神和禮儀……都是一個賽車AI所必備的素養。
為了達成這些目标，索尼将AI的訓練場設在了自家的GT賽車系列的遊戲中。
這是一款PS平台獨占遊戲，全名Gran Turismo，是一個汽車行業中的真實名詞，意為“能夠長距離行駛的高性能車”。
這款遊戲主打的就是真實駕駛感，甚至可以通過一套帶力回報的方向盤外設體會到橫向g值、前輪滑移率、車重、車輛的調教特性等各種細膩的路感回報。
在GT遊戲中，研究這種通常使用10到20台PS遊戲機、同等數量的計算執行個體、一台異步更新神經網絡的GPU，從頭開始訓練這個叫做GT Sophy的AI。
訓練主要針對兩個連續值的次元：轉向和速度。
同時，為了把GT Sophy和人類拉到同一起跑線上，研究者們還調慢了它的操作速度：
對遊戲的互動頻率為10赫茲（人類标準是60赫茲），反應時間則分别為100毫秒、200毫秒、250毫秒。
在一張完整的地圖中，研究者以6秒為機關，将智能體所跑的賽道量化為一段一段的“靜态地圖段”，并将每一段賽道的左右邊緣和中心線編碼為60個等距的三維點：
訓練場準備好了，現在就是讓GT Sophy真正成為一名會轉彎、會思考的賽車手。
行為者- 評價者機制
索尼使用了一種新的深度學習算法，也叫做量化回歸的行為者-評價者（QR-SAC）方法。
AI智能體會被扔到一個沒有指令的環境中，并根據評價者（也就是價值函數）的評估來選擇行動，并根據完成目标的結果而獲得獎勵或懲罰。
比如，智能體會因為保持高速前進而獲獎勵，也會因為出界、撞牆或失去牽引力受到懲罰。
這種獎懲機制使智能體迅速得到積極的回報，慢慢開始熟悉在賽道上的行為。
事實上，GT Sophy隻用了幾個小時就學會了在賽道上行駛，并很快就在Maggiore賽道上超越了17700名玩家：
但這種單純的速度，或者說賽道完成進度上的獎勵并不足以激勵智能體赢得比賽。
因為如果對手速度足夠快，智能體就完全可以通過跟随并學習對手的“偷懶”的方式積累大量獎勵，最終也能完成目标。
于是，研究者們增加了“超車獎勵”，并且，相對于對手的距離的改變也會與獎勵積分成比例。
同時，賽車的碰撞上也有獎懲機制，研究人員設定了一種較為保守的獎勵：
在確定智能體能以足夠強悍的駕駛風格赢得勝利的同時，也不至于會粗暴地将其他賽車趕出道路，而遭受真正的賽車規則的懲罰。
最終，GT Sophy在GT賽車比賽中勝過了2021年TGR GT杯冠軍、2020年國家杯世界冠軍和2021年亞軍、2018年國家杯亞洲/大洋洲冠軍等多位世界頂級賽車手。
在比賽中，GT Sophy在三條賽道上都取得了第一名。
而在比賽中，它能夠執行幾種類型的轉彎，有效地利用漂移，擾亂後面車輛，攔截對手并執行其他緊急操縱。
不過，研究者也提到，GT Sophy在戰略決策方面還存在着一些改進的空間：有時會在同一條跑道上留出足夠的空間，讓對手有機可乘。
索尼要用它開發自動駕駛
看到這裡，你覺得GT Sophy能力如何？
反正幾位世界級選手們是服氣了。
在GT賽車世界級賽事上斬獲三冠的宮園拓真（Takuma Miyazono）表示：
Sophy的速度非常快，單圈時間勝過了此前對最佳車手的預期。
——在其中一場比賽中，GT Sophy Rouge以5.8秒的優勢戰勝了第二名山中智明（2021年TGR GT杯冠軍），最快圈速為1：54.373，比山中快了2秒多。
而GT Sophy的能力顯然不僅僅能在遊戲中大殺四方。
斯坦福汽車研究中心聯合主任Chris Gerdes教授就指出，GT Sophy背後的AI技術，可以幫助開發自動駕駛汽車：
GT Sophy在賽道上的成功表明，有朝一日，神經網絡在自動駕駛汽車軟體中的作用可能比現在更大。
目前，神經網絡算法在自動駕駛汽車軟體中主要負責跟蹤道路标記、感覺障礙，控制軟體則仍依賴于人為設定的規則。
豐田研究所進階經理Avinash Balachandran也表示，“在賽車中應用機器學習和自主要制令人興奮”。
還有不少網友認為，這一AI或許與索尼新成立的電動汽車公司有關，或許再過幾年，這個AI就能在其自動駕駛技術中看到了。
當然對于索尼玩家來說，最期待的是：下個月上市的GT7能否加入這個最強AI？
好消息是GT7仍會登陸上一代遊戲機PS4，沒買到PS5的玩家也能嘗嘗鮮了。
經授權轉載自公衆号“量子位”，内容不代表本公号觀點。
參考文獻：
［2］https://sonyai.github.io/gt_sophy_public/