天天看点

对标ChatGPT-4,智谱AI交卷

作者:中国信息化周报

伴随着国产大模型GLM-4上线,国内AIGC应用落地也有望加速。2024年1月16日,在智谱AI技术开放日(Zhipu DevDay)上,智谱AI推出新一代基座大模型GLM-4,发布了All Tools、GLMs、MaaSAPI等内容。智谱AI本次发布的GLM-4整体性能较上一代大幅提升,能力逼近GPT-4。同时,GLM-4增强了智能体能力,GLMs应用商店的引入,使得大模型的开发模式进一步优化。此外,智谱AI公司发起多项基金加持大模型开源生态建设,将促进国内大模型能力提升,大陆AIGC应用落地步伐有望加速。

对标ChatGPT-4,智谱AI交卷

差距体现在哪些方面?

据智谱AI CEO张鹏介绍,GLM-4的整体性能相比上一代大幅提升。它可以支持更长的上下文,具备更强的多模态能力。同时,它的推理速度更快,支持更高的并发,大大降低推理成本。

张鹏在现场介绍了GLM-4在各项评测集上的最终得分。在大规模多任务语言理解测试方面,目前GLM-4得分是81.5分,GPT-4得分86.4分。在数学能力方面,目前还处于小学数学和初中数学水平。GLM-4得分87.6,达到GPT-4得分的95%水平。在涉及到一些较难的逻辑推理数学测试方面,GLM-4得分47.9,达到GPT-4得分的91%水平;在综合测试包括翻译、语言理解、推理等方面。GLM-4得分82.3,达到GPT-4得分的99%水平;在常识测试方面,GLM-4得分85.4,达到GPT-4得分的90%水平;在算法、代码、编程等方面,GLM-4得分72,达到GPT-4得分的100%水平。

为什么存在差距?

智谱AI推出的新一代基座大模型GLM-4,技术上的进步是显而易见的,但是差距也一目了然。

从技术角度看,大模型性能的差距可能由多种因素造成。第一,模型大小和训练数据都会影响到大模型的性能。更大的模型和更多的训练数据通常能提升模型的性能。GPT-4是一个大型语言模型,其模型大小和训练数据都超过了GLM-4。

第二,采用的模型架构不同。GPT-4 使用了OpenAI提出的GPT架构,这是一种基于Transformer的架构,它由多个self-attention层和feed-forward层组成。GPT架构的核心思想是使用self-attention机制处理输入序列,通过这种方式,模型可以自动捕捉输入序列中的依赖关系。GLM-4使用了清华大学KEG实验室提出的GLM架构,这也是一种基于 Transformer的架构,它由多个self-attention层和 feed-forward层组成。GLM架构的核心思想是使用双向 self-attention机制处理输入序列,通过这种方式,模型可以同时捕捉输入序列中的前向和后向依赖关系。

第三,模型的优化和调参对性能也有很大影响。GPT-4的优化和调参更好,从而使其在某些任务上表现更好。GPT-4是一款通用的自然语言处理模型,它的优化和调参方法适用于多种自然语言处理任务。而 GLM-4是一款针对中文语言特点进行优化的语言模型,它的优化和调参方法主要依赖于模型的训练数据和任务需求。

从发展历程和产业生态构建方面看,还有如下两个原因。第一,GLM-4的技术积累还不够深厚,研发速度还需要提高。OpenAI自成立以来,一直专注于人工智能的研究和开发,长期的技术积累为其商业化打下了坚实的基础,使其在模型架构、算法优化和新技术应用等方面能够更快地取得突破。第二,GLM-4的生态系统还需完善。OpenAI建立了强大的生态系统,与多个行业的顶尖企业、研究机构合作,这有助于模型的快速应用和商业化落地。

追赶之路还有多远?张鹏坦言,“我们还在不断地追赶OpenAI、追赶GPT。由于起步晚、算力受限等因素的制约,今天国内大模型与国外最先进团队还有将近一年的差距。”

怎样缩小差距?

明确了路径,方向更加明确,追赶之路就不再遥远。为进一步推动科研创新、构建开源生态、支持创业创新、加强产业链合作,在智谱AI技术开放日,智谱AI公司还发布大模型科研基金、大模型开源基金以及“Z计划”创业基金等。

第一 ,大模型科研基金旨在支持大模型理论、算法、模型、应用等相关研究和跨领域交叉创新。通过为科研项目提供资金和算力资源,可以鼓励和支持学术界和工业界开展更深入的研究,推动人工智能技术的进步。

第二,大模型开源基金可以促进大模型开源生态的大繁荣。通过资助开源项目和提供开发工具,可以鼓励更多的开发者和研究者参与开源社区,共同改进和提升大模型的性能和技术水平。

第三,通过“Z计划”创业基金,智谱AI公司为有志于从事大模型相关创业的公司或项目提供资金支持。可以促进大模型技术在商业领域的应用和发展。

智谱AI公司的这些举措可以吸引更多的合作伙伴参与,形成健康、共赢的生态系统。

正如智谱AI董事长刘德兵所言,大模型引发的人工智能新浪潮将深刻改变整个社会,2024年将成为AGI元年。在这个重要的发展节点上,智谱AI致力于携手我们的开发者与合作伙伴,通过认知大模型链接物理世界的亿级用户,为千行百业带来持续创新与变革,共同打造蓬勃繁荣的大模型生态,加速迈向通用人工智能的时代。

对标ChatGPT-4,智谱AI交卷

作者:杨光

编辑:高珊珊

监制:刘晶

继续阅读