未來監管前沿人工智能模型的途徑有哪些？元戰略摘編總結前沿人工智能發展趨勢的最新研究成果，呈現監管前沿人工智能模型的有效途徑，并指出訓練模型所需的計算量很可能成為有效途徑。未來10年，隻需擴大當今技術的規模，即可實作人工智能系統的能力躍升。
1
導 言
政策制定者和行業上司者更加關注對高性能通用人工智能模型（有時稱為“前沿”人工智能模型）的監管。目前的前沿人工智能模型包括GPT-4（OpenAI）、Claude 3（Anthropic）和Gemini Ultra（谷歌）。各公司已經在使用越來越多的資料和計算硬體來訓練體量更大、能力更強的下一代模型。
用于訓練前沿人工智能系統的計算量正在飛速增長。從2010年到2022年，用于訓練最先進機器學習模型的計算量增長了100億倍。計算量的快速增長超過了硬體更新的速度，其部分原因是訓練支出的增加。訓練大型模型的成本大約每10個月翻倍。目前訓練前沿模型的全部成本，包括早期的訓練運作和實驗，可能需要1億美元左右。随着訓練成本的持續上升，可能會達到數億美元甚至數十億美元。
圖1 目前，訓練一個前沿人工智能模型的成本大約每10個月翻倍。假定随着成本接近私營公司的極限（目前為數百億美元），成本增長将放緩。在這一預測中，成本翻倍周期被任意假定為每年增加1.5個月，進而減緩了成本增長速度。
在短期内，前沿人工智能領域的大規模訓練運作可能會繼續增長。據報道，領先的人工智能實驗室已經在訓練下一代模型，或為此籌集資金。英偉達（Nvidia）正在出貨數十萬新晶片，這将使未來的訓練運作更加強大。不過，從長遠來看，成本以及可能存在的硬體限制可能會制約未來計算能力的增長。目前指數級的計算量增長速度不可能無限期地持續下去。其增長能持續多久、以何種速度增長、增長多少才會趨于平穩，都對人工智能的未來發展有着重要影響。成本和擷取硬體的途徑是訓練高性能人工智能系統的準入壁壘，這對政策也有影響（如出口管制和一些監管建議）。
2
研究問題
該研究希望回答有關成本和計算趨勢如何影響人工智能未來的幾個問題：
Q1
成本和計算量預測：如果目前的趨勢持續，訓練前沿人工智能模型所用的計算量和訓練成本将如何随時間推移而增加？考慮到算法的進步，有效計算量将如何随時間推移而增加？
Q2
成本增長的限制：在達到私營公司的支出極限之前，計算量可以增長多少？如果成本增長速度随着上升而放緩，這會如何影響用于訓練前沿模型的計算量？
Q3
硬體優化的限制：限制硬體持續優化的限制會如何影響未來的計算增長？
Q4
擴散：随着時間的推移，硬體的優化和算法效率的提高會如何影響人工智能能力應用？
Q5
研發主體被限制擷取硬體時的成本：對于無法獲得不斷優化的人工智能硬體的主體來說，硬體供應方面的限制（例如出口管制）會如何影響成本和計算量的增長？
Q6
計算量監管門檻值：随着時間的推移，硬體的優化和算法效率的提高會如何影響将計算量作為前沿模型監管門檻值的訓練效果？
上述問題的答案對當今與政策相關的決策具有重要影響，例如出口管制，或其他限制擷取計算密集型人工智能模型的拟議法規的預期效果。一方面，成本上升的趨勢正在将擷取前沿人工智能模型的機會固定在少數領先的人工智能實驗室中。另一方面，硬體優化和算法效率的抵消趨勢正在降低人工智能能力門檻，進而促進能力擴散。一些監管和政策幹預措施的可行性或可取性有高有低，這取決于計算量和成本随着時間的推移如何變化，以及對擷取前沿人工智能模型和能力擴散的影響。該研究回答上述問題，旨在讓政策制定者了解未來人工智能發展的可能情形。
3
研究方法
研究以目前趨勢為基準，預測了各種情況下的成本和計算量增長。首先，預測了因支出增加和硬體優化而導緻的計算量增長。此外，通過預測随着時間推移變化的有效計算量，對算法的優化進行了說明。此後，估算了訓練成本預計何時達到大企業目前的極限，進入曆來屬于政府級支出的範圍。
其他可能情形探讨了硬體優化的限制會如何影響未來計算的可用性。由于硬體優化和算法效率的提高，以任何給定的能力水準訓練一個模型的成本都會随着時間的推移而降低，該研究還估算了成本将如何随着時間的推移而降低，這将使更多的研發主體更容易擷取和應用人工智能，進而使人工智能能力進一步擴散。然後，研究估算了受限于人工智能硬體持續優化的研發主體的訓練成本如何變化（例如美國政府對先進人工智能晶片實施出口管制），并估算了未來硬體優化和算法效率的提高将會如何提高計算和能力的可擷取性。最後，研究評估了上述預測的政策影響。
4
分析與結論
政策制定者應準備好迎接未來10年中人工智能系統能力的躍升。這無需人工智能科學領域取得根本性突破，隻需擴大當今技術的規模，在更多資料和計算量的基礎上訓練更大的模型即可實作。
未來10年，用于訓練前沿人工智能模型的計算量可能大幅增加。到2020年代末或2030年代初，用于訓練前沿人工智能模型的計算量可能約為訓練GPT-4所用計算量的1000倍。考慮到算法的優化，有效計算量可能約為訓練GPT-4所用計算量的100萬倍。何時能達到上述門檻值還存在一定不确定性，但在預期成本和硬體限制條件下，這種增長水準是可能的。且這種增長水準由具有當今大型科技公司規模的私營企業出資即可實作，無需政府幹預。将支出增加到超越目前私營企業的限度，或從根本上采用新的計算模式，都可能帶來更顯著的計算量增長。
圖2 即使考慮到成本和硬體限制，到2020年代末或2030年代初，用于訓練前沿人工智能模型的計算量也可能增加到GPT-4的1000倍左右。
圖3 考慮到算法的優化，到2020年代末或2030年代初，用于訓練前沿人工智能模型的有效計算量可能是GPT-4的100萬倍。
如果以下任何一種情況成真，人工智能系統所需計算量就有可能迎來更大幅度增益：
- 由于人工智能帶來的收入增加，公司得以投入更多資金；
- 政府資助規模更大、耗資更多的訓練運作；
- 硬體性能在2030年代繼續提高；
- 算法效率在2030年代繼續提高。
雖然人工智能未來如何發展還存在很大的不确定性，但目前的趨勢表明，未來的人工智能系統将比現在的技術水準強大得多。研究中沒有預測性能是GPT-4的100萬倍的系統及其具體功能。然而，曆史經驗表明，未來的人工智能的系統并非僅僅具有更高的性能，而是将展現出全新的能力。在不久的将來，前沿人工智能系統的基線軌迹不會是稍強于目前技術水準的系統，而是比現在強大得多的系統。
訓練前沿人工智能模型的成本上升或将導緻前沿研究領域出現寡頭壟斷，但人工智能能力很可能仍會迅速擴散。目前，算法的進步和硬體的改善迅速降低了訓練成本。按照目前的趨勢，在5年内，以任何給定的能力水準訓練一個模型的成本大約會降低1000倍，或降至原始成本的0.1%左右，進而使訓練成本大大降低，提高了可及性。
計算能力的擷取和算法的優化都在推動人工智能前沿領域進步方面發揮着重要作用，并影響着人工智能能力擴散的速度和對象。目前，由于硬體的改善和計算支出的增加，用于訓練大型人工智能模型的計算量每7個月翻倍。對于大型語言模型來說，算法效率（即使用更少的計算量達成相同性能水準的能力）大約每8-9個月翻倍。人工智能模型性能的提升既來自計算量的增加，也來自算法的優化。如果計算能力的增長在2030年由于成本上升和/或硬體性能提升的減少而放緩，那麼前沿模型的未來發展将在很大程度上依賴于算法的優化。目前，算法效率的快速提高使得人工智能能力迅速擴散，因為在任何給定的性能水準上訓練模型所需的計算量都在迅速下降。最近，一些領先的人工智能實驗室開始隐瞞其最先進模型的相關資訊。如果算法優化的速度放緩或變得不那麼普及，就會減緩人工智能前沿領域的發展，導緻其能力擴散的速度變慢。
盡管前沿人工智能領域的先進系統最初将局限于少數開發主體，但可能會迅速擴散。政策制定者應從今天開始建立監管架構，為此類系統做好準備。正如一些人工智能實驗室正在制定“負責任的擴散政策”一樣，各國政府也必須制定面向未來的法規，為監管未來的人工智能模型做好準備，這些模型的計算密集度和能力都遠遠超過今天的模型。基于人工智能的發展速度與政策制定過程之間的脫節，同時考慮到新型人工智能系統執行特定任務能力的難以預測，以及人工智能模型在缺乏監管的當下的擴散速度，為此，建立一個預見性監管架構至關重要。等到具體危害出現時再對前沿人工智能系統進行監管，幾乎肯定會為時已晚。設想最壞的情況，具有危害性的模型可能已經開源釋出，這将使限制其擴散的努力實際上變得不可能。
如果目前的趨勢繼續下去，用于訓練模型的計算量很可能成為監管的一個富有成效的途徑。大量計算是訓練前沿人工智能模型的入門成本。在未來10到15年内，作為訓練人工智能系統的重要投入，計算的重要性或将持續增加。如果有關擷取計算能力的法規有效，可能會限制特定國家跟上前沿人工智能發展步伐的能力。然而，限制計算能力的擷取可能會減緩但不會阻止人工智能能力的擴散，因為随着時間的推移，算法的優化足以允許使用更少的計算能力訓練出性能相當的人工智能系統。
如果能與針對模型本身的監管（如對某些充分訓練的模型實行出口管制）相結合，針對計算的監管将會更加有效。算法的進步對前沿模型的擴散速度有重大影響。可以想象，針對訓練充分的人工智能模型的行業行為，或政府法規的變化可能減緩模型的擴散速度。例如，假設領先的人工智能實驗室隐瞞有關其前沿人工智能模型的更多細節，或如果美國政府對超過一定計算門檻值的訓練模型實施出口管制。
面對巨大的不确定性，政策制定者面臨着監管人工智能的艱難選擇。了解成本、計算量和算法效率方面的曆史趨勢，可以幫助政策制定者合理預測未來十幾年可能出現的各種情況，并考慮到人工智能進一步發展的潛在限制。明智的政策制定不僅能應對當今人工智能系統的種種問題，還能應對其未來發展的可能性。
免責聲明：本文轉自元戰略。文章内容系原作者個人觀點，本公衆号編譯/轉載僅為分享、傳達不同觀點，如有任何異議，歡迎聯系我們！
轉自丨元戰略
研究所簡介
國際技術經濟研究所（IITE）成立于1985年11月，是隸屬于國務院發展研究中心的非營利性研究機構，主要職能是研究大陸經濟、科技社會發展中的重大政策性、戰略性、前瞻性問題，跟蹤和分析世界科技、經濟發展态勢，為中央和有關部委提供決策咨詢服務。“全球技術地圖”為國際技術經濟研究所官方微信賬号，緻力于向公衆傳遞前沿技術資訊和科技創新洞見。
位址：北京市海澱區小南莊20号樓A座
電話：010-82635522
微信：iite_er