天天看点

李开复首次分享零一万物大模型方法论,并表示十年不变现

作者:甲子光年
李开复首次分享零一万物大模型方法论,并表示十年不变现
AI 2.0时代烧钱逻辑不再适用。

作者|赵健

5月13日,大模型初创公司零一万物宣布了一系列大模型与产品更新:

在模型层,零一万物发布了千亿参数的Yi-Large闭源模型,在第三方评测基准斯坦福大学的英语排行AlpacaEval 2.0上,Yi-Large与GPT-4互有第一;全面升级了开源模型系列Yi-1.5,分为34B、9B、6B三个版本,且提供了Yi-1.5-Chat微调模型可供开发者选择。此外,零一万物已启动下一代Yi-XLarge MoE模型训练,将冲击GPT-5的性能与创新性。

李开复首次分享零一万物大模型方法论,并表示十年不变现

斯坦福 AlpacaEval 2.0 Verified 认证模型类别,英语能力评测(2024年5月12日)

在产品层,零一万物正式发布了AI办公助手「万知」,可以读长文档、一键生成PPT,这是一个“AI-First版本的Office”。此外,零一万物还公布了其海外生产力应用的商业化数字:总用户接近千万,营收今年预期过亿人民币。

在API层,零一万物API开放平台全球首发,包含Yi-Large、Yi-Large-Turbo、Yi-Medium、Yi-Medium-200K、Yi-Vision、Yi-Spark等多款模型API接口,保证客户能够在不同场景下都能找到最佳性能、最具性价比的方案。

零一万物CEO李开复博士还首次分享了零一万物做大模型的两个核心方法论:模基一体——模型与AI Infra并行开发;模应一体——模型与应用并行开发。目前,零一万物是少数完整阐述其大模型战略的公司之一。

同时,李开复博士还提出,国内大模型赛道的竞跑从狂奔到长跑,终局发展将取决于各个选手如何有效达到 “TC-PMF”(Product-Market-Technology-Cost Fit,技术成本 X 产品市场契合度)。大模型从训练到服务都很昂贵,算力紧缺是赛道的集体挑战,行业应当共同避免陷入不理性的ofo式流血烧钱打法,让大模型能够用健康良性的ROI蓄能长跑。

李开复博士还提到了自己对大模型创始人变现的态度。他表示:“从我申请写博士论文到现在,AGI是我40多年的梦想,这是推动我的主要动力。至于变现,一年前我跟投资人承诺,十年不变现。至于我的团队,会用合理的手段实现,我觉得现在最好的方式就是上市,未来几年我会为此努力。”

1.模基一体:计算效率才是Scaling Law的核心

零一万物的大模型方法论,第一条是“模基共建”——模型的训练、服务、推理设计,与底层的AI Infra架构和模型结构必须高度适配。

李开复坦言,中国大模型公司没有美国大厂的GPU数量,所以必须采取更务实的战术和战略。AI Infra主要涵盖大模型训练和部署提供各种底层技术设施,自研AI Infra是零一万物必然要走过的路,零一万物也自成立起便将 AI Infra 设立为重要方向,模型团队和AI Infra团队高度共建,人数比为1比1。

“第一年大模型行业在卷算法,第二年大家在卷算法+Infra。在国外一线大厂,最高效训练模型的方式是算法与Infra 共建,不仅仅关注模型架构,而是从优化底层训练方法出发。“零一万物模型训练负责人黄文灏表示,“这对大模型人才的知识能力提出了全新要求。”

零一万物非常坚信Scaling Law。从Yi系列模型的6B、34B,现在的千亿模型,以及正在训练中的万亿MoE模型的效果来看,随着参数量的变大,智能化水平有非常明显的提升。

但这里说的Scaling Law是针对计算的Scaling Law,而非某一个具体架构。Scaling Law遇到瓶颈了吗?黄文灏认为从零一万物的实践来看还可以继续往前走。

黄文灏表示,OpenAI提到的The Bitter Lesson,值得反复阅读,全文背诵。The Bitter Lesson提出,在Scale up的过程中,最能够高效使用算力的通用结构,一般会获得比较大的成功,这跟过去的研究范式不太一样。

过去算力比较小,大家会在模型起点上加上各种各样的prior(先验知识)去调优,虽然也能获得很好的效果,但一旦Scale up之后就失效了,前面的“雕花”过程反而会影响模型变大之后的效果。因此,最简单的模型往往才是最高效的,数据的质量和使用数据的效率、计算效率才是核心。

如果关注计算效率,大模型其实是实验科学而非数学,不一定追求完美的理论解释,而是通过大量的算力做实验。这是算法与Infra联合做优化的问题。算法的同学需要看到很底层的Infra,比如怎么提高GPU使用率和GPU之间的通信问题,而不仅仅是用别人现有的库调优网络结构。

黄文灏表示:“零一万物的所有算法同学,都可以写到底层的CUDA算子、通信算子,这些都是必备的能力。”

归根结底,人才是最重要的,尤其是算法、Infra和工程三位一体的人才。在这种范式下,人才的作用也被进一步放大,有一个简单的公式是,大模型公司的上限等于“人才质量 x 算力”。黄文灏认为,算法不需要特别多的人,一般就十到二十人足矣,但会用到几万张卡。零一万物是少数甚至唯一一家,从海外吸引包括谷歌、微软在内的高水平算法人才回国加入的大模型公司。

在“模基一体”的战略方向下,零一万物在计算效率上取得了很大的成绩。Yi-Large 训练环节的平均 MFU(Model Flops Utilization,模型算力利用率)已显著超越业内平均水平。综合优化后,零一万物千亿参数模型的训练成本同比降幅达一倍之多。

今年3月,零一万物推出了基于全导航图的新型向量数据库笛卡尔(Descartes),其搜索内核已包揽权威榜单 ANN-Benchmarks 6 项数据集评测第一名。

同样于3月,零一万物成功在英伟达GPU上进行了千亿参数模型Yi-Large的端到端FP8训练和推理,成为全球率先落地该技术的三个案例之一,另外两家是谷歌与Inflection AI。

底层技术的突破带来了优化成本的新可能。接入自研向量数据库后,零一万物的C端应用在保证响应速率与准确性的前提下,成本大幅降至了原用第三方向量数据库时的18%。在端到端FP8训练的前提下,零一万物能够采用技术和工程手段得到与更高精度类型相媲美的训练结果,与此同时模型训练所需的显存占用、通讯带宽都极大降低。

“模基共建”所带来的成本优势,为零一万物争取到了更多时间,推出价廉物美的API和开源模型,进一步催化更多的AI-First应用生态。

2.模应一体:烧钱逻辑不再适用

大模型公司会要做端到端的产品吗?海内外市场呈现了明显的分野。

黄文灏分享了他的体感:海外的模型层与应用层分工会更加明确。模型层公司更加专注在基础模型能力的提升,等将来AGI实现之后,再给整个商业生态带来巨大的变化。如果现阶段就部署应用,反而会多余地消耗算力,其实是对创新的阻碍;另一方面,应用层的公司现在会认为大模型能力的提升还没有带来明显的用户体验的提升。这带来了一种比较强烈的割裂感。

在国内,基础大模型公司同时也做AI原生的产品尝试,几乎已经成为了一种标配。黄文灏表示,本质原因还在于,海外公司的营收压力相对更小,会有条件追求更大的AGI梦想,而国内公司在营收的压力下会更加务实。

零一万物在成立之初就决定要面向to C市场做Super App,而且是只做AI-First的应用——没有AI就不成立。但面对一个新兴的市场,到底怎么做?

在移动互联网的鼎盛时期,PMF(Product-Market Fit,产品市场契合)曾是众多初创企业追求的核心目标。然而,随着大语言模型成为新的创业焦点,仅仅追求PMF远远不够。

在移动互联网时代用户规模增长所带来的边际成本很低,但在大模型时代,模型训练和推理成本构成了每一个创业公司必须要面临的增长陷阱。用户增长需要优质的应用,而优质应用离不开强大的基座模型,强大基座模型的背后往往是高昂的训练成本,接着还需要考虑随用户规模增长的推理成本。在做产品的第一天,就需要考虑模型的成本与未来能力的增强。

“AI-First不等于AI Only,”零一万物生产力产品负责人曹大鹏表示,“模型、工程、算法、产品要基于场景深度结合,模型长板匹配刚需高价值场景,构建AI-First工作流,追求极致体验、一站式解决用户问题,而不是单纯秀模型能力肌肉,拿锤子找钉子。”

业内有一些新的概念提出,比如百川智能CEO王小川就提出了TPF(Technology Product Fit,技术产品匹配)。这一次,李开复博士提出了TC-PMF,引入了 Technology(技术)与 Cost(成本)。

李开复表示,技术成本 X 产品市场契合度,尤其推理成本下降是个‘移动目标’,这比传统 PMF 难上一百倍。

李开复首次分享零一万物大模型方法论,并表示十年不变现

去年9月开始,零一万物便聚焦生产力、社交赛道于海外应用展开探索,已有 4 款产品陆续上线。

目前零一万物海外生产力应用总用户接近千万,营收今年预期过亿人民币,已实践出大模型to C产品的TC-PMF——产品ROI为1,初步摆脱烧钱获客,成功验证了AI-First产品的用户订阅制商业模式。

此外,API也将面向海外推出Yi-Large、Yi-Large-RAG、Yi-Medium等API。在零一万物API平台负责人蓝雨川看来,已经在海外充分得到商业模式验证的API会是更好的选择。作为标准化产品的API复用性更强,商业模式也更趋近于云服务。比起AI 1.0定制化重交付的模式,API能够更快穿透千行百业,蓝雨川表示,零一万物提供世界第一梯队的模型、最佳性价比的方案,聚焦企业如何用AI为自身业务带来增长。

由于海外市场与国内市场在付费意愿、市场环境方面存在差异,目前万知采取限时免费模式。但据曹大鹏介绍,后续万知会结合产品发展和用户反馈推出收费模式。

TC-PMF所带来的AI普惠点终将来临,这一次市场竞争将不再支持共享单车式的烧钱大战,采用以资金“跑马圈地”商业模式的企业必然会率先力竭,冷静判断行业发展进程,脚踏实地打磨TC-PMF 才是更符合长期主义的路线。

李开复博士表示,ofo式的补贴逻辑不再适用于AI 2.0,希望大模型赛道的竞争聚焦于达成TC-PMF。零一万物将以全球为目标市场,以更从容的姿态迎接必然被点燃的中国普惠AI市场。

(封面图来源:零一万物)

继续阅读