新智元報道
編輯：袁榭 好困
【新智元導讀】如何讓人臉識别擺脫膚色偏見？如何讓智能車撞擊實驗100遍？訓練資料不夠怎麼辦？英偉達：全部自己生成不就行了。
以下觀點可能有點反直覺：
為了讓AI更好地應對真實世界應用場景，訓練資料集最好别用真實世界資料。
是的，合成資料才是解鎖AI真正潛力的關鍵所在。
顧名思義，合成資料不是從真實世界搜集所得，而是由人工生成的。
但合成資料的使用素來伴随争議，業界一直對其能否精确對應現實世界、能否讓受訓AI應對真實狀況存有疑慮。
為此，負責模拟技術與Omniverse引擎建造的英偉達副總裁Rev Lebaredian在專訪中給出了解答。
實體模拟
2021年11月，老黃在GTC大會上推出了Omniverse Replicator，一個強大的合成資料生成引擎，可以産生實體模拟的合成資料，并用于訓練神經網絡。
說到「模拟」，我們最常接觸的其實就是遊戲了，而在這其中加入一些現實中的實體學定律可以讓體驗更加真實。
比如，當你用炸藥包去爆破一堵牆時，随着一聲巨響，這堵牆也跟着轟然倒塌。但如果這堵牆紋絲不動，就會不禁讓人懷疑，是不是又在偷工減料了。
當然了，在大多數情況下，遊戲并不會去試圖做到真正100%的還原。畢竟，模拟真實的世界太消耗算力了。
另外，遊戲終究是幻想世界的模拟，目的就是為了好玩，是以遵循現實世界的實體準确性不一定是一件好事。
雖然此前有不少研究探讨過在遊戲中訓練AI，不過效果肯定還是大打折扣的。
而Omniverse的目标就是還原一個完全遵照現實實體學定律的模拟世界。
這裡說的模拟，是用剛體實體學、軟體實體學、流體動力學以及其他相關的東西模拟原子如何互相作用。
例如，光是如何與物體的表面互相作用，最終呈現出我們平時所看到的外觀的。
而當我們能足夠近似地模拟真實世界的時候，也就獲得了相應的「超能力」。
預測未來
比如說，把我們所在的這個房間，1:1在虛拟世界中複刻出來，那麼我就可以用上帝視角選擇任何想去的地方，然後「瞬移」過去。
再比如，通過在火星上安裝傳感器攝取真實世界的資訊，并在虛拟世界中重建之後，那麼實際上我就可以在任何時間體驗生活在火星上的感受。
而這，還不是最厲害的。
在足夠精準的模拟下，隻需設定一定的初始條件，就能具備預測未來的能力。
還是用這個房間舉例，我正舉着我的手機。此時，就可以模拟我放手的那一刻會發生什麼，而不需要我真的松手。
顯然，手機會随着重力掉落。
在模拟世界中，我就可以預測這部手機會以怎樣的姿态掉下，落地之後螢幕會不會碎，等等。
也就是說，你可以無限次地測試在不同決策和條件下産生的結果，甚至探索所有可能出現的「平行世界」。
如果能據此做出相應的優化，也就能找到最好的未來。
還在用真實資料訓練AI？
在這個AI業勃興的新時代，一個研究所學生拿台筆記本電腦就能寫出先進軟體的場景不可能出現了。
可以說，任何先進算法的開發，都需要在海量資料的巨型系統之下訓練。
是以，當下也有着「資料是新時代石油」的說法。
如此看來，友善搜集資料的大型科技企業似乎更占優勢。
不過實情是，現在企業搜集的大資料，對未來将創造的尖端AI并沒有真正用處。
在2017年國際計算機圖形學大會（SIGGRAPH 2017）上，我就注意到了這一點。
當時我們開發了可以玩多米諾骨牌的機器人，還開發了好幾個用來訓練機器人的AI模型。其中最基礎的一個是能偵測攤在牌桌上的多米諾牌的計算機視覺模型，能夠分辨骨牌的指向與牌面花色、點數。
用谷歌總能找到足夠的訓練資料吧？
确實，用谷歌圖像搜尋是可以找到一大堆多米諾骨牌圖像，但你會發現：
這些圖像都沒标注，是以要費大量人工去逐個标注每張圖中的骨牌。
就算标注完了，你又會發現這些資料缺乏必要的多樣性。
應用于真實場景的圖形識别算法若要足夠穩健，就必須在不同的光照條件、攝像頭/傳感器狀态下都能成功運作。而識别多米諾骨牌的算法還要對所有材質的骨牌都能成功區分。
是以說，就算如此簡單的訓練要求，必要的足夠資料都不存在。
真要在現實中搜集好必要資料，那就先得買幾百副不同的多米諾牌、在不同打光下用不同的攝像頭去拍。
是以在2017年，我們直接用一個遊戲引擎編碼出随機的多米諾牌生成器，所有訓練資料都用它來生成，一晚上就訓練出能穩健工作的圖像分辨模型了。
該模型在大會現場處理用不同攝像頭拍攝圖像後的工作狀況也很滿意。
這隻是個簡單例子，對于自動駕駛汽車或全自動機器等遠為更複雜的場景，所需訓練資料的體量、準确度、多樣性，全從真實世界搜集是不可能滿足的。
除非生成實體上足夠精确的AI訓練資料，否則沒有繼續進步的空間。
能否覆寫訓練所需的危險狀況？
在Omniverse裡，日夜可以随時倒換，并且可以模拟包括冰雪環境、急速過彎等情景。
行人與動物也可以安置在真實世界中絕不會安排的危險場景内。
沒人會願意真正将人或動物置于高危中，但自動駕駛汽車生産者肯定需要了解産品在各種危險邊緣環境裡将如何表現。
是以在虛拟世界中訓練AI，各得其便。
合成資料是最好的訓練政策？
當下大部分AI還是通過「監督學習」方式創造的。例如讓神經網絡AI分别貓狗，先得用标注好的圖檔教AI何為貓何為狗，然後才能應用在未标注的新圖檔上。
而用于訓練AI的合成資料，由于内置了超級精确的資料标注，是可以作為「基準真相資料」使用的。
在自動駕駛汽車場景中，使用者需要讓智能汽車通過真實世界的傳感器了解到路面各種車輛和行人相對于自身的3D位置。但其實傳感器給AI的資訊是除了像素啥都沒有的2D圖像。
如果要訓練AI推斷出物體3D資訊，首先得在2D圖像的物體周圍畫框，告知AI「這是基于某傳感器的某鏡頭得到的某物相對距離」。
不過若在Omniverse合成資料的話，就可以省略此步驟直接得到有完全實體精度的物體3D位置資訊了，如此可以避免人工引入資料産生的錯誤标注。用來訓練神經網絡也會得到更智能和更精确的效果
會不會出現過拟合的問題？
合成資料其實是解決過拟合難題的有效途徑之一，因為生成多樣性資料集遠為更友善。
如果要訓練一個識别面部表情的神經網絡AI，但訓練資料集全來自白人男性，那這個AI就在白人男性資料上過拟合了，識别多種族裔面部表情時會失敗。
合成資料不會惡化這種狀況，隻會更容易地在資料中創造多樣性。
如果要生成人像時有個能改變人臉參數的合成資料生成器，那麼膚色、瞳色、發型等各種資訊就能有豐富的多元差別，用來訓練AI就避免了上述過拟合狀況。
一個沒有偏見的烏托邦？
AI誕生的環境就是合成的。它們在電腦中出世，然後隻靠人類輸入的任何資料受訓。是以建構訓練AI的完美虛拟世界是可行的。
在如此世界中完成訓練的AI，會比靠真實資料訓練的AI更智能，在真實世界中的運作狀态也會更好
不過，合成資料的難點在于生成優質資料不容易。需要有個如Omniverse一般能實體上精确對應真實世界的模拟器。
如果合成資料生成器的生成圖像品質有如卡通畫，那顯然難以勝任。
沒人願意把用卡通畫訓練出的AI搭載在服務于真實醫院的機器人上，這種機器人照顧起病弱老幼的結果可太吓人了。
模拟器是以也需要盡可能地極度實體精确，但做到這點真的很不容易。
參考資料：
https://spectrum.ieee.org/synthetic-data-ai