未来监管前沿人工智能模型的途径有哪些？元战略摘编总结前沿人工智能发展趋势的最新研究成果，呈现监管前沿人工智能模型的有效途径，并指出训练模型所需的计算量很可能成为有效途径。未来10年，只需扩大当今技术的规模，即可实现人工智能系统的能力跃升。
1
导 言
政策制定者和行业领导者更加关注对高性能通用人工智能模型（有时称为“前沿”人工智能模型）的监管。目前的前沿人工智能模型包括GPT-4（OpenAI）、Claude 3（Anthropic）和Gemini Ultra（谷歌）。各公司已经在使用越来越多的数据和计算硬件来训练体量更大、能力更强的下一代模型。
用于训练前沿人工智能系统的计算量正在飞速增长。从2010年到2022年，用于训练最先进机器学习模型的计算量增长了100亿倍。计算量的快速增长超过了硬件更新的速度，其部分原因是训练支出的增加。训练大型模型的成本大约每10个月翻倍。目前训练前沿模型的全部成本，包括早期的训练运行和实验，可能需要1亿美元左右。随着训练成本的持续上升，可能会达到数亿美元甚至数十亿美元。
图1 目前，训练一个前沿人工智能模型的成本大约每10个月翻倍。假定随着成本接近私营公司的极限（目前为数百亿美元），成本增长将放缓。在这一预测中，成本翻倍周期被任意假定为每年增加1.5个月，从而减缓了成本增长速度。
在短期内，前沿人工智能领域的大规模训练运行可能会继续增长。据报道，领先的人工智能实验室已经在训练下一代模型，或为此筹集资金。英伟达（Nvidia）正在出货数十万新芯片，这将使未来的训练运行更加强大。不过，从长远来看，成本以及可能存在的硬件限制可能会制约未来计算能力的增长。当前指数级的计算量增长速度不可能无限期地持续下去。其增长能持续多久、以何种速度增长、增长多少才会趋于平稳，都对人工智能的未来发展有着重要影响。成本和获取硬件的途径是训练高性能人工智能系统的准入壁垒，这对政策也有影响（如出口管制和一些监管建议）。
2
研究问题
该研究希望回答有关成本和计算趋势如何影响人工智能未来的几个问题：
Q1
成本和计算量预测：如果目前的趋势持续，训练前沿人工智能模型所用的计算量和训练成本将如何随时间推移而增加？考虑到算法的进步，有效计算量将如何随时间推移而增加？
Q2
成本增长的限制：在达到私营公司的支出极限之前，计算量可以增长多少？如果成本增长速度随着上升而放缓，这会如何影响用于训练前沿模型的计算量？
Q3
硬件优化的限制：限制硬件持续优化的限制会如何影响未来的计算增长？
Q4
扩散：随着时间的推移，硬件的优化和算法效率的提高会如何影响人工智能能力应用？
Q5
研发主体被限制获取硬件时的成本：对于无法获得不断优化的人工智能硬件的主体来说，硬件供应方面的限制（例如出口管制）会如何影响成本和计算量的增长？
Q6
计算量监管阈值：随着时间的推移，硬件的优化和算法效率的提高会如何影响将计算量作为前沿模型监管阈值的训练效果？
上述问题的答案对当今与政策相关的决策具有重要影响，例如出口管制，或其他限制获取计算密集型人工智能模型的拟议法规的预期效果。一方面，成本上升的趋势正在将获取前沿人工智能模型的机会固定在少数领先的人工智能实验室中。另一方面，硬件优化和算法效率的抵消趋势正在降低人工智能能力门槛，从而促进能力扩散。一些监管和政策干预措施的可行性或可取性有高有低，这取决于计算量和成本随着时间的推移如何变化，以及对获取前沿人工智能模型和能力扩散的影响。该研究回答上述问题，旨在让政策制定者了解未来人工智能发展的可能情形。
3
研究方法
研究以当前趋势为基准，预测了各种情况下的成本和计算量增长。首先，预测了因支出增加和硬件优化而导致的计算量增长。此外，通过预测随着时间推移变化的有效计算量，对算法的优化进行了说明。此后，估算了训练成本预计何时达到大企业目前的极限，进入历来属于政府级支出的范围。
其他可能情形探讨了硬件优化的限制会如何影响未来计算的可用性。由于硬件优化和算法效率的提高，以任何给定的能力水平训练一个模型的成本都会随着时间的推移而降低，该研究还估算了成本将如何随着时间的推移而降低，这将使更多的研发主体更容易获取和应用人工智能，从而使人工智能能力进一步扩散。然后，研究估算了受限于人工智能硬件持续优化的研发主体的训练成本如何变化（例如美国政府对先进人工智能芯片实施出口管制），并估算了未来硬件优化和算法效率的提高将会如何提高计算和能力的可获取性。最后，研究评估了上述预测的政策影响。
4
分析与结论
政策制定者应准备好迎接未来10年中人工智能系统能力的跃升。这无需人工智能科学领域取得根本性突破，只需扩大当今技术的规模，在更多数据和计算量的基础上训练更大的模型即可实现。
未来10年，用于训练前沿人工智能模型的计算量可能大幅增加。到2020年代末或2030年代初，用于训练前沿人工智能模型的计算量可能约为训练GPT-4所用计算量的1000倍。考虑到算法的优化，有效计算量可能约为训练GPT-4所用计算量的100万倍。何时能达到上述阈值还存在一定不确定性，但在预期成本和硬件限制条件下，这种增长水平是可能的。且这种增长水平由具有当今大型科技公司规模的私营企业出资即可实现，无需政府干预。将支出增加到超越目前私营企业的限度，或从根本上采用新的计算模式，都可能带来更显著的计算量增长。
图2 即使考虑到成本和硬件限制，到2020年代末或2030年代初，用于训练前沿人工智能模型的计算量也可能增加到GPT-4的1000倍左右。
图3 考虑到算法的优化，到2020年代末或2030年代初，用于训练前沿人工智能模型的有效计算量可能是GPT-4的100万倍。
如果以下任何一种情况成真，人工智能系统所需计算量就有可能迎来更大幅度增益：
- 由于人工智能带来的收入增加，公司得以投入更多资金；
- 政府资助规模更大、耗资更多的训练运行；
- 硬件性能在2030年代继续提高；
- 算法效率在2030年代继续提高。
虽然人工智能未来如何发展还存在很大的不确定性，但目前的趋势表明，未来的人工智能系统将比现在的技术水平强大得多。研究中没有预测性能是GPT-4的100万倍的系统及其具体功能。然而，历史经验表明，未来的人工智能的系统并非仅仅具有更高的性能，而是将展现出全新的能力。在不久的将来，前沿人工智能系统的基线轨迹不会是稍强于当前技术水平的系统，而是比现在强大得多的系统。
训练前沿人工智能模型的成本上升或将导致前沿研究领域出现寡头垄断，但人工智能能力很可能仍会迅速扩散。目前，算法的进步和硬件的改善迅速降低了训练成本。按照目前的趋势，在5年内，以任何给定的能力水平训练一个模型的成本大约会降低1000倍，或降至原始成本的0.1%左右，从而使训练成本大大降低，提高了可及性。
计算能力的获取和算法的优化都在推动人工智能前沿领域进步方面发挥着重要作用，并影响着人工智能能力扩散的速度和对象。目前，由于硬件的改善和计算支出的增加，用于训练大型人工智能模型的计算量每7个月翻倍。对于大型语言模型来说，算法效率（即使用更少的计算量达成相同性能水平的能力）大约每8-9个月翻倍。人工智能模型性能的提升既来自计算量的增加，也来自算法的优化。如果计算能力的增长在2030年由于成本上升和/或硬件性能提升的减少而放缓，那么前沿模型的未来发展将在很大程度上依赖于算法的优化。目前，算法效率的快速提高使得人工智能能力迅速扩散，因为在任何给定的性能水平上训练模型所需的计算量都在迅速下降。最近，一些领先的人工智能实验室开始隐瞒其最先进模型的相关信息。如果算法优化的速度放缓或变得不那么普及，就会减缓人工智能前沿领域的发展，导致其能力扩散的速度变慢。
尽管前沿人工智能领域的先进系统最初将局限于少数开发主体，但可能会迅速扩散。政策制定者应从今天开始建立监管框架，为此类系统做好准备。正如一些人工智能实验室正在制定“负责任的扩散政策”一样，各国政府也必须制定面向未来的法规，为监管未来的人工智能模型做好准备，这些模型的计算密集度和能力都远远超过今天的模型。基于人工智能的发展速度与政策制定过程之间的脱节，同时考虑到新型人工智能系统执行特定任务能力的难以预测，以及人工智能模型在缺乏监管的当下的扩散速度，为此，建立一个预见性监管框架至关重要。等到具体危害出现时再对前沿人工智能系统进行监管，几乎肯定会为时已晚。设想最坏的情况，具有危害性的模型可能已经开源发布，这将使限制其扩散的努力实际上变得不可能。
如果目前的趋势继续下去，用于训练模型的计算量很可能成为监管的一个富有成效的途径。大量计算是训练前沿人工智能模型的入门成本。在未来10到15年内，作为训练人工智能系统的重要投入，计算的重要性或将持续增加。如果有关获取计算能力的法规有效，可能会限制特定国家跟上前沿人工智能发展步伐的能力。然而，限制计算能力的获取可能会减缓但不会阻止人工智能能力的扩散，因为随着时间的推移，算法的优化足以允许使用更少的计算能力训练出性能相当的人工智能系统。
如果能与针对模型本身的监管（如对某些充分训练的模型实行出口管制）相结合，针对计算的监管将会更加有效。算法的进步对前沿模型的扩散速度有重大影响。可以想象，针对训练充分的人工智能模型的行业行为，或政府法规的变化可能减缓模型的扩散速度。例如，假设领先的人工智能实验室隐瞒有关其前沿人工智能模型的更多细节，或如果美国政府对超过一定计算阈值的训练模型实施出口管制。
面对巨大的不确定性，政策制定者面临着监管人工智能的艰难选择。了解成本、计算量和算法效率方面的历史趋势，可以帮助政策制定者合理预测未来十几年可能出现的各种情况，并考虑到人工智能进一步发展的潜在限制。明智的政策制定不仅能应对当今人工智能系统的种种问题，还能应对其未来发展的可能性。
免责声明：本文转自元战略。文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！
转自丨元战略
研究所简介
国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究大陆经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。
地址：北京市海淀区小南庄20号楼A座
电话：010-82635522
微信：iite_er