7月21日，在火山引擎出品的访谈节目V-Moment中，火山引擎总裁谭待、智谱AI CEO 张鹏、华泰证券技术部联席负责人王玲和润米咨询创始人刘润就当前最火热的大模型话题展开了讨论。
国产大模型照比GPT-4究竟有多大差距？
企业究竟需要什么样的大模型？
国产大模型初创企业的机会在哪里？
……
围绕公众最关心的一系列问题，几位行业大咖给出了自己独到的见解，下面为节目精华内容文字实录：
国产大模型有望年底追上GPT3.5
刘润：OpenAI 发布ChatGPT这件事已经过去大半年了，很多的企业都在追赶。尤其是我们国内很多企业，我们今天到底追赶到什么程度的呢？
谭待：这是一个挺有意思的话题。首先，我觉得应该把整个追赶过程分成三个阶段。第1 阶段是从无到有：通过快速跟进，从0-1推出还不错的基础模型。
第二个阶段，经过不断的迭代，加入更多有意义的数据，调大更多参数，还有更大的算力，让整个模型达到或者超过GPT3.5。GPT3.5是什么水平？举个例子，SAT相当于美国的高考，GPT3.5基本上能拿到前30%的名次，相当于可以考上美国重点大学了。达到GPT3.5的水平基本上就被认为已经非常不错，我记得GPT3.5问世时就已经惊艳全球。
那第三个阶段呢？是要更进一步。参数从千亿要到万亿，覆盖更多领域，到那时推出的模型就不再是GPT3.5的水平了，而是能达到和超越GPT4甚至更高......因为OpenAI也在不断演进，能超过GPT4就达到当前最好的水准了。还是以SAT为例，GPT4去参考，就不只是前30%了，而是可以拿到前10%，达到长青藤水平。我觉得整体可以用三个阶段去分解我们追赶技术的过程。
其实国内创业公司走的比较快，基本上已经度过第一阶段，正在第二阶段攻坚的过程中。我预计在今年下半年，Q3晚些或Q4的时候，很可能会有做的比较好的企业出来，其实也标志着国内的基座大模型已经到了比较好的水准，过了第二阶段，慢慢大家就可以启动到第三阶段。
张鹏：我们（评价大模型）一般来说看大家的相对水平。因为评测数据集大家都能刷到百分之百，这个评测数据集基本上就没有意义。我们会有leader board排行榜，不同评测集上大家的表现会有一些参差，比如去年一个权威的评测报告里，我们的基座模型、迁移的几种模型和世界顶级的像GPT3这样的基座模型，在100多项评测的水平线上来比较有胜有负，基本上持平，表现也非常不错。
如果用一个百分比来说明和GPT3.5的差距，那些评测的结果综合起来，大约相当于GPT3.5的百分之八十左右。这么看，到年底中国的大模型还是很有机会达到100%的GPT3.5水平。我们还在路上。
大模型产业落地的三个前提：降低成本、安全互信、建立上下游生态
刘润：企业代表和用户都特别期待大模型能够尽快被使用。但是为要等到年底那么久呢？能不能再快一点呢？
张鹏：训练模型以及持续提升它的能力其实是很花精力、花时间，更花钱的一件事情。模型的能力提升是螺旋上升的过程。需要很多的资源，包括算力，数据和算法上的改进。
简单解释一下大模型的训练过程，大家经常听到GPU或者显卡这个词。所谓的千卡级别训练，就是模型需要的GPU卡的数量大约在1000张左右，这代表怎样的意义呢？专门用来做AI计算的GPU卡，一般来说一张的成本都在1万美元以上。假设说你要训练千亿（参数）的模型，首先要拥有1000张显卡，需要1000万美元购买显卡的费用，还要有其他的投入，大家可以算一算，这件事情成本还是非常高的。
我们训练1300亿参数的模型，用了将近千张卡，训了两个月时间，让模型学习了2.3个TB的数据。2.3个TB的数据是什么概念？维基百科的数据总量是3.6个GB，1TB等于1000GB。一个人不吃不喝不睡觉看维基百科需要11000天才能把维基百科所有的网页全部看完，这么大的数据量才占我们训练模型数据量的0.28% 。我记得ChatGPT的数据量也是两三个TB左右，差不多也是这个量级，今天智谱的数据量和模型的参数量基本上是跟OpenAI的ChatGPT的数据规模比较接近的。
谭待：刚刚张鹏介绍是AI领域很经典的三个要素：数据、算法、算力，到大模型时代三者的门槛都抬升了。大模型生产出来是要应用的。而且应用的过程中产生的数据和反馈会让它更聪明。举个例子，大学生在学校里学了很多东西，但是他很多成长还是在工作中实际解决问题获得的。实际上模型本身能力更强、做更多事情时候，除了去解决好数据、算法、算力这几个训练的问题。更重要是关注到应用端。
应用端我觉得其实也会有几个挑战：第一个是信任，双向的信任。对大模型服务商来说，如果辛辛苦苦训练了好几个月的模型被人直接拷走那就损失惨重了，要有机制来保护这些模型本身的安全。反过来模型的应用方，比如说以华泰证券代表的企业一方也很重要。因为些企业有很多关键的数据和生产资料，有些还跟用户隐私、跟监管相关，如果这些数据在使用模型的过程中被泄露出去，实际上对企业和企业自己的用户来说也是很大的损失。实际上之前就有新闻，一些企业在应用ChatGPT的过程中出现了重要的资料和内容泄露，我们必须要有机制去解决好双向的信任，既能保障模型不会被泄露出去，也能保障使用模型中问的问题、精调的数据不会泄露，把性能的成本降的足够低，才会让应用更广泛起来。
刘润：我理解意思是说信任跟安全的问题。智谱AI是人工智能的公司，核心的产出其实是模型，花了很多的时间、很多的钱，产出一个比别人更聪明的模型，但模型有机会被拷走，那风险就太大了。而华泰证券是一家企业，也是未来用模型的机构，它那么多的交易数据，用户数据，隐私数据，受监管的数据一旦进入模型之后，会不会被用在别的地方呢，也会非常担心，这确实是大模型要进入产业界、进入实用的场景非常担心和要解决的问题。
谭待：而且交易成本要足够低，其实就是性价比的问题。刚才张鹏介绍说模型训练花好多钱，但实际上，我判断企业未来花钱更多是在推理端，因为你的模型做好了，只有广泛地被应用，被更多人推理，模型的价值才能发挥出来。那推理的成本其实也非常高，比如OpenAI的定价，回答一个问题也得好几毛钱，你让它写个ppt的过程相当于让它同时处理几十个问题，成本一下就上来了。
我们希望模型本身在更多的场景发挥价值，在知识管理、营销、客服……更多场景，但是在应用新技术的时候，需要让成本足够低，这样取代原有方式的ROI收益才是正的。不然可能效果是很好，但花的钱远超过用新的技术赚的钱或创造出的体验，那这个事就划不来，也会成为大模型推广的主要壁垒，所以要把推理成本降很低。
第三个，让模型和企业已有系统打通。打个比方，模型是很聪明的大脑，但必须让它长出手和脚才能干活。比如说要它处理一些供应链的问题，那它需要跟CRM和ERP打通。一些平台，一些系统要API跟它接收在一起，还有一些专有的场景：比如通用的搜索或是数学计算，一些专有的模型或传统做法更加高效。应该把些东西作为工具、插件或周边的系统引入到模型， 让模型“长”出手和脚，它就可以在更多的场景发挥价值，我觉得建立好围绕模型上下游应用的生态是很重要的事情。
降低大模型训练使用成本需要“共享模式”
刘润：我现在看到包括智谱在内，有越来越多的大模型创业公司，大家都去找显卡，买不到怎么办呢？
张鹏：对我们来讲买肯定是一笔很大的支出。那时候自然会想到说用云，云计算可以帮助我们按需使用，比如说短时间提供大量的算力，闲置的时候可以释放，节省成本，第二个也帮助我们解决了间接成本，比如说我们自建算力的话，需要人力、维护的成本，云能够给我们更便宜、灵活机动的方案，我们当时跟火山引擎合作,找到了谭总这边。
谭待：对，其实也是在2022年的时候，我们一拍即合。
以前有个词很火叫“共享经济”，我觉得云是最成功的共享经济模式。本质上说，把计算、存储、网络这些基础的资源打包做成service就有很强的弹性和可用性：想用的时候立刻能用上，不用担心底层的各种维护成本；不用的时候可以把资源释放出来，只需为使用的时间和资源付费。云厂商汇聚了更多的客户，本身有更大的能力去建更大的资源、提供更好的服务，以及不断优化性能。
我们看到十几年来云的快速发展，本质上也因为模式符合了市场双方的需求。回到火山引擎，有点像之前亚马逊做语音，火山引擎因为（服务）抖音、头条，这个过程中基础资源越来越大，就可以把它做成服务把能力外溢出去。回到GPU，实际上抖音的广告、推荐每个环节都大量消耗GPU算力，在整个不管是GPU还是CPU上，我们本身就有非常大的规模。当火山引擎决定进入云市场的时候，自然会把这一块作为非常重要的事情。
特别是在大模型火之前，我们看到很多其他的领域：比如说AI for Science、还有自动驾驶领域都有用更大的模型做AI加速业务创新的趋势。我们很早就关注到了AI，认为它未来在企业发展中越来越重要，并且做了非常多储备，包括算力，包括怎么通过更好的平台让企业把算力用起来。如果你买了1000张卡，利用率只有50%，那就亏大发了，你需要有平台去把容错这些做好，利用率提升到百分90时候你就物超所值了。这是我们会持续做的事情，也刚好是碰到契机和智谱以及其他企业共同参与进去。
大模型推理的性价比更需要关注
谭待：其实除了本身的算力以外，怎么通过平台、工程能力把GPU的利用率、稳定性给提升上去，把效率进一步提升也是我们未来很重要的方向。除了训练，我们很关注大模型推理的性价比。推理跟训练很不一样，比如在办公的场景，白天用的多，晚上下班就用的少了；或者是在娱乐场景，晚上的几个小时会用的比较多。推理是天然有波峰和波谷的，在火山平台上，我们可以通过混合部署的技术把推理的负载和训练的负担，以及不同时间段推理的负载混合在一起，对应用者来说也节省成本，因为他只需要为高峰峰值来付费就好，对整个社会来说也节省了很多能源。
大模型并非少数人的游戏，未来企业“1+N”个模型有望成为标配
刘润：我听很多人讲大模型应该是个少数人的游戏，如果少数人的游戏真的需要个公有的算力平台嘛？
谭待：我其实有完全不一样的样看法。大模型的门槛确实比以前高了非常多，但我相信未来一定是多个大模型百花齐放的。在模型端，最头部的、顶级的基座大模型门槛会非常高，10万张卡起，参数一定是万亿或者是更高的级别；但是在中间层次会有一些千亿、万亿参数，千万卡级别的模型，再往下会有一些行业垂直的模型，做好数据精调、几千张卡就可以了。未来会形成格局，每一层都会有自己的生态。
第二是站在企业的应用的角度，我们其实也和很多企业聊过。发现“1+N”将是企业应用大模型采用的方式：“1指”的是企业、尤其是像华泰证券这种行业头部企业一定是会有自主可控的主模型，但主模型并不一定是它从0开始训的，而是和像智谱这种头部模型企业一起深度合作的。主模型会应用在主要的业务场景，但实际上还有很多周边的场景，比如说在营销、客服、年报生成这些场景，其实并不需要那么多能力特别强的模型。
因为能力强的模型比较贵，比如客服场景使用的模型不需要会写CI架构，也没人会去问问题。企业就可以在每个场景里去找性价比最合适的模型，是会出现N个场景N个模型，我们叫“1+N ”。
王玲：这个问题其实我们也在思考。初步的结论是，我们肯定不会自己从头去造大模型。大模型的未来愿景是通用人工智能。从金融行业角度来讲，更重要的是怎么去利用大模型的能力，把我们的核心能力增强放大。在应用的过程当中，我们也会思考：现在的大模型其实强调的是通用的基础，在专业垂直领域会遇到很多的，比如精确度不够、跟人工专家无法PK的问题，那我们怎么再进一步去优化。现在我们需要有一个基座，在基座基础上，在一些不同的领域用不同的数据，用不同的工程，去把它进化到跟人类的专家水平的相当的地步，可能是在工程上是相对比较靠谱的。但是你把普遍模型进行整个的水准往上提，那应该是创业公司科学家们去做的事情。就会衍生出刚才谭总说的“1+N”，我觉得是工程上的trade off。
谭待：我还有一个比喻，特别强的基础模型就好像是有二三十个博士学位的博士生，特别厉害，付给他的工资可能非常高要1000万。但是企业不是所有工作都需要有20个博士学位人来做，有时候1个博士生、本科生就能干好。同样我们就需要智力到达一定水平的模型来做就可以了。
刘润：这比方特别好，今天通用的模型，有20个博士头衔，人家学了那么多年，非常聪明。你拿个简单问题问他，太浪费了，不如法律问题专门找法律博士，经济学找经济博士，那样会便宜很多，“1+N”我想大家能够理解。未来的大方向不是只有一家公司提供所有能力。
王玲:我也补充一下，其实我们觉得一个模型全搞定，甚至说还能创造、变成人类的伙伴，那是最理想的状态。但现在其实大模型有很多技术是没解决的，刚才说推理性能太低，有些问题使用大模型没法承担实验cost，那我要用各种技术手段把它变成较小的模型去运作。那还有隐私问题，现在的确最简单粗暴的方式就是隔离,也诞生了很多模型。
火山引擎自己不做大模型，“火山方舟”搭载多个优质大模型，首创安全互信机制，帮企业用好大模型
刘润：刚才我们说通用的公用的计算平台，火山引擎为些创业者为些模型，已经能做点什么
谭待：我们最近造了一艘船。开玩笑，其实我们最近推出了一个平台，叫火山方舟，方舟，取自于诺亚方舟，代表物种的多样性。我们坚定地认为，未来一定是多模型格局，希望通过方舟平台去帮助诸多的大模型公司更好的成长，让更多的企业能够用好大模型。
我们和很多模型公司都有比较广泛的合作，智谱AI是我们最早合作方之一。包括像MiniMax、百川智能、澜舟科技等都在平台上面，还有一些高校、研究机构的大模型，比如说复旦、IDEA。当然还有一些模型陆续发布后也会放到火山方舟上，我们最早在训练阶段就跟他们有紧密合作，火山方舟可以把整体的成本、安全都做得更好，这是很重要的基础。
对于大模型训练的公司来说，我们提供很好的算力和平台，能帮助它们更高效稳定地训练出自己的模型。在应用上面，我们提供一站式工作台，方便企业能够快速地接入多个模型进行推理应用或者精调；围绕应用的一些核心痛点，我们也提出了自己的方案：第一个是信任。我们其实做了类似于三方数据资产托管的安全的沙箱，去解决好刚才我说的在模型使用过程中双向信任的问题；就像资金托管一样，你的钱放在那儿，第三方要用的时候必须得到你的许可。在大模型应用中也是一样，只不过我们叫数据资产托管。我们创造一个安全的沙箱，两边的数据都在里面，谁也没法单独去拿另一方的数据，一旦合作结束所有数据都会销毁。第二个是成本，通过训练和推理混合的部署去把推理成本进一步降低；第三，通过提供丰富的上下游组件去把各个场景应用的成本降低。这是方舟做的事情。
刘润：方舟就像是容器，因为传说里的方舟是载着一对长颈鹿，一对大象，一对老鼠……有生物的多样性。火山方舟容纳了很多在大模型领域的创业者，为他们提供算力、应用。那王总，企业对火山方舟有哪些的期待和要求，什么问题你觉得是他们应该要解决的？
王玲：这就是卖铲子的定位，我觉得其实在未来人工智能普及以后，各行各业其实都需要平台需要铲子的。你得先学会用工具，人工智能大模型有我们的大模型厂家，企业自己其实需要有自己的专业模型和训练过程，就必不可避免需要工具。其实我觉得火山方舟工具平台是最基本的标配，很重要。
刚才谭总提到一点我也很认同，大模型这个技术，它的特殊性决定了数据的安全隐私非常重要。因为模型及数据跟传统软件是不一样的，在件事情上，我们其实也很纠结：金融行业信息安全隐私是非常重要的，但模型也是模型供应商最大的知识产权，双方其实都有些顾虑。但是模型的训练过程又非常奇特，数据跟模型本身的循环必须打通。
如果你不打通，双方都做不起来。在这个情况下，我们觉得的确是需要有至少相对公正的第三方去把安全和监督审计这件事情做好。另外未来叫百舸争流，大家都在拼命往前跑，过程当中其实需要需要对比，对比件事情，其实刚才提到的benchmark，我也挺有疑虑的:比的太多了，我不知道最好、最权威的标准是什么，那怎么办？其实对我们应用方来说很简单——客户说了算，这就需要在生产环境、训练环境上有AB-Test，其实是需要有工程化的能力。我是觉得未来平台很重要，只有这些东西解决了，循环才能Run起来，to B落地才会比较顺。
大模型领域百舸争流，有信念、有自研技术的初创公司才有希望跑出来
王玲：我们一直都在看哪些基因是国产大模型创业公司真正有机会超越GPT4的 ？什么样的公司能跑出来。
张鹏：王总问了一个很尖锐的问题，但是我想作为创业团队，我们还是非常有信心的，甚至跟你刚才讲的那个词——信念，我们是抱定的信念来做件事情。所以什么样的团队能跑出来呢？在我的认知里，首先要有足够的信念，要对通用人工智能、大模型件事情要有足够的信念。
举个例子，大家都知道Open AI现在做的这件事情很厉害。但其实也经过了7、8年的时间才取得了今天的成功，所以如果创业公司没有足够的信念和坚持怎么取得今天的成功。第二条我觉得，得有自己的核心的技术，要自有。其实王总提到了一句话叫“追随别人的脚步前进”，看起来轻松容易成功。但实际上我特别赞同一句话叫做在“科技创新条路上，跟随战术是永远不成功的”，一定要有自己的想法，一定要有自己创新的这种理念。所以在过程当中，我们在追赶顶尖水平的过程当中其实加入了很多原创的创新。
从算法上，架构上，甚至从底层的像算力技术架构等等些，都有投入精力去尝试、去改进原有的经验。所以从这个角度来说，有信念，有自己的核心技术能力，是必要的。我们无法想象说，在未来的人工智能这种大国际级的竞争环境里面，你的基座模型、基础模型都来自于别人，因为你不知道别人在基座模型里面做了什么，用了什么样的数据，这是很大的不确定性。
张鹏：我们跟火山合作之后，确实体会到火山引擎能够给我们模型训练公司能赋能很大的基础能力。火山引擎所提供的像机器学习平台以及底层资源调度平台方面确实有其独到之处，帮助我们节省了大量的成本和时间，解决了一些模型训练过程中的一些故障等等。在整个合作的过程当中，确实是体会到有比较强力算力的云平台可以帮助我们节省大量的时间和精力，当然成本也是另外一方面，但也不便宜，开玩笑。
从长远来看，我们未来要迈向通用人工智能，大模型很重要的阶梯，在迈向阶梯的当中，我们还需要更多的算力，更多的数据，更好的算法，是持续的螺旋上升迭代的过程。未来希望我们也在火山方舟平台上能够更紧密的合作，去做出真正媲美世界顶级水平的国产大模型。
#火山引擎#
#国产大模型有望年底追上GPT3.5#