天天看点

腾讯云入局大模型:不跟风,换了个姿势

作者:数智前线
腾讯云入局大模型:不跟风,换了个姿势

腾讯选择了一条更加务实的路线:一方面,在紧锣密鼓地研发通用大模型,但并不急于推向市场;另一方面,把当下的重心放在大模型的企业落地上,解决特定场景的问题。

文|游勇

编|赵艳秋

腾讯的大模型有了新进展。

针对热得发烫的大模型领域,腾讯暂先给出了一份蛮有特色的答卷:非聊天式应用,而是面向企业的行业大模型。

6月19日,腾讯云首次公布了行业大模型研发进展,依托于腾讯云TI平台打造行业大模型精选商店,为客户提供MaaS(Model-as-a-Service)一站式服务,助力客户构建专属大模型及智能应用。

“产业场景是大模型最佳练兵场。”腾讯集团高级副总裁、腾讯云与智慧产业事业群CEO汤道生说。相比于年初一窝蜂地训练和发布通用大语言模型,最近两个月,大家迅速将目光转向了行业大模型上,设法通过更深入场景的大模型,为企业提供服务。

腾讯也选择了一条更加务实的路线:一方面,在紧锣密鼓地研发通用大模型,但并不急于推向市场;另一方面,把当下的重心放在大模型的企业落地上,解决特定场景的问题。

01

腾讯云为何先做行业大模型?

在腾讯云公布行业大模型解决方案之前,各垂直领域的行业大模型早已遍地开花。

在运营商行业,中国移动正在研发和内测的一个光缆设备运维的行业模型,将用于其街头设备的运维场景。而此前,中国联通研究院副院长、首席科学家唐雄燕也曾向外透露,中国联通正在打造一个可适用于各网络体系的通信大模型。

自动驾驶、医疗、地产、安全、智能物联等多个领域也相继有行业大模型涌出。4月,毫末智行介绍了自动驾驶生成式大模型DriveGPT;5月,我爱我家宣布联合第四范式做了行业首个房产经纪大模型1.0版本;同月底,互联网医疗公司医联介绍了自研的医疗大语言模型MedGPT……

“现在很多上市公司或规模稍微大一点的企业,都会往行业大模型应用方面去探索。”相关推出行业大模型的企业的多位员工告诉数智前线。“预计几个月后,行业大模型将会迎来一波密集发布的小高潮。”多位业界人士称。

腾讯云入局大模型:不跟风,换了个姿势

这次,腾讯云也官宣了传媒、文旅、金融、政务、教育等多个行业的大模型。为什么腾讯会首先推动行业大模型?

腾讯云智能负责人吴运声透露,相比于通用大模型,行业大模型更加具象,可以贴近企业的实际需要。大模型的技术跟腾讯在产业互联网多年的经验和数据结合之后,“能够跟以往不一样的方式,去解决很多在行业上面遇到的问题。”

比如金融客户会频繁用到的OCR大模型,其中一个场景是印章检测。因为印章的清晰度,以及叠加了日期、签名等信息,干扰因素太多,传统OCR检测的识别率一直做不起来。但用了OCR大模型之后,识别率大幅提升了20个点。“大模型带来的能力,不是嘴说说的,都是眼睛看到的。”吴运声说,正是由于实实在在的效果,让企业客户有了应用动力。

腾讯云自身的SaaS业务也已经尝到了行业大模型的甜头。腾讯会议将基于行业大模型推出AI小助手,为产品提供实用功能。比如,可以自动生成智能总结摘要,对于新加入会议的成员,也能快速获取之前的内容。会后也可以智能录制,AI小助手会分层次总结整场会议的核心内容。

智能客服也是行业大模型应用的典型场景之一。云蝠智能CEO魏佳星告诉数智前线,以往常规智能客服使用的是“正则表达式”,通过人工对话术进行配置,准确度能做到87%左右。而用了大模型可以达到93%,“这就很可怕了,基本上跟人一样。”魏佳星说。而且正则表达式有比较高的门槛,配一套话术可能要消耗1个运维人员20个小时完成,现在采用大模型之后,可以压缩到2~3个小时,而且后续还有更大的提升空间。

除了能快速落地应用解决实际问题外,腾讯云推出行业大模型也与其以往业务逻辑相关。CSIG一直在产业互联网领域开拓业务,积累了大量客户和行业knowhow,使得腾讯云去做垂直的行业大模型时具备了优势。

事实上,腾讯云行业大模型的早期客户部分是之前已经服务的老客户。“客户这边需求的声音比较大,我们没有把资源散落去做很多的应用,也是先聚焦在这些客户最痛的产品点里面进行一个尝试。”腾讯企点研发负责人吴永坚说,腾讯云收集了客户需求,在产品层面进行了大模型升级。

02

自建行业大模型并非易事

以ChatGPT为代表的通用人工智能,让人们看到了大模型的魅力,它能写诗作画,能生成代码;它有很强的泛化性,通过市场上不断涌现的精调微调技术,能得到令人意想不到的效果。

但通用大模型并不是唯一的大模型服务方式,甚至在很多垂直场景里,行业大模型是一种更优的解法。

大模型在不同参数影响下,表现会有区别,比如逻辑推理和数学推理需要到数百亿甚至上千亿的参数规模,才能有比较大的提升。但一些开放问答,更小的模型也能满足客户使用大模型的需求。

“我们关注的是说怎么样用最合适的成本去解决客户的问题。”吴运声说,腾讯云一直强调,如何用最有效,最低成本的手段去解决客户的问题,而没有太在意模型参数是几亿、几十亿、几百亿还是几千亿。

一味追求大参数,并不是大模型落地的最优解。更大参数规模,意味着需要更多数据,更多数据意味着不仅训练的成本高,后续推理的成本也会很高。

腾讯云入局大模型:不跟风,换了个姿势

事实上,通用大模型在产业落地时遇到了不少难题。比如参数量过大,无论是在企业部署,还是后期对模型做微调,都会变得比较困难和耗时。而且通用大模型在推理环节需要消耗更长的时间。

另外,通用大模型基于广泛的公开文献与网络信息来训练,一本正经胡说八道的情况屡见不鲜。此前,美国发生了一个令人啼笑皆非的案例,一位纽约的律师通过ChatGPT协助撰写辩护书,他从ChatGPT收集的类似案例中挑选了几个,作为支持案件的论点,结果法官发现里面的6个司法判决都是不存在的。最终,这位律师不得不向法官道歉。

企业客户对信息的准确性有着更为严苛的要求。正如汤道生所言,在具体的企业场景中,通用大模型可能还不能满足企业很多需求,比如,它不一定懂行业的专业术语,不了解企业内部的独特情况,回答会比较虚、比较笼统,偶尔还会一本正经地胡说八道,信息也不够及时。“企业所需要的是在实际场景中真正解决了某个问题,而不是在100个场景中解决了70%-80%的问题。”

但企业要自建行业大模型还是有很大的挑战和不确定性。

“构建大模型是成本极高的系统工程。”吴运声说,大模式的训练和推理对计算和存储资源有很高的要求,而且,大模型也需要大量经过清洗和预处理的高质量数据。

一位业内人士告诉数智前线,首先是训练成本较高,包括算力成本、数据成本以及无法避免的试错成本。而且,模型效果难以保证。另外一个关键是,很多企业并不具备经验丰富的算法工程师,甚至在不少制造型企业,IT并不是强项。

大模型需要用到智能算力,而现在GPU资源比较稀缺,大多掌握在大厂手中。一位腾讯云生态伙伴告诉数智前线,现在一张GPU卡已经卖到近10万元,而且还是一卡难求。

“其实大模型不是那么贵,真正贵的还是它的推理算力。”吴运声说,所以腾讯云要做的事情就是针对这些客户他要解决什么问题,以最低的成本、最合适的模型、最好的服务让他真正用起来,比如一些开放的对话场景偏简单,模型就不会那么大,尽量让他的成本最低。但如果业务涉及数据和表格分析,甚至推理的能力,就需要一个更大更具有逻辑推理的模型。

而腾讯云可以根据客户的需求量身定制,甚至有些场景的预算比之前会有所降低。因为原来需要部署多个模型,现在用一个行业大模型就能很好解决,也不需要很多人力投入。

其次,大模型需要大量的高质量数据进行训练和优化,还必须经过清洗和预处理,以消除噪声、填补缺失值并确保数据质量。如果导入的数据质量低,训练出来的模型也会有问题。而且,不同行业所面临的场景,所需要的数据量,所需要解决问题的难度、精度都不一样。腾讯云会根据不同行业的需求,然后基于TI平台去评估这个行业大概所需要的数据段,以此来打造解决方案。

另外,很少企业有足够的算法工程师和足够的大模型技术,这也导致大模型很难在企业内快速落地和持续优化。

对于企业客户而言,基于像腾讯云这些大厂提供的行业大模型,融入企业的数据和知识进行精调,也是一种不错的选择。

03

MaaS成为大模型时代的服务模式

伴随企业向智能化的发展,尤其是对大模型的应用,MaaS(模型即服务)的新型商业模式出现。在腾讯云宣布推出MaaS之前,阿里云和百度智能云也推出了相应的MaaS服务,可为企业提供大模型的训练及推理提供高性能、低成本的算力资源和机器学习平台等一站式服务。

腾讯云入局大模型:不跟风,换了个姿势

腾讯云的MaaS一站式服务主要有三种服务形式:一是腾讯云内置了多个训练好的行业大模型,相当于预制菜,行业客户简单热一下就可食用,就可以低成本地获得行业大模型的服务。目前,腾讯云基于TI平台打造的行业精选模型商店,已经覆盖了金融、文旅、政务、传媒、教育等10大行业,提供超过50个解决方案。

但预制菜毕竟无法满足不同口味的人群,一个行业大模型也不可能满足这个行业所有客户的需要。所以腾讯云提供了第二种方式,腾讯云TI平台提供了完善的大模型平台和工具链,让企业根据自身业务需要进行数据精调。

比如TI-ONE训练平台提供从数据接入、模型训练、模型管理到模型服务的全流程开发支持;TI-DataTruth数据标注平台提供数据标注作业、数据众包管理、场景数据挖掘等智能数据生产服务;TI-Matrix应用平台支持快速接入各种数据、算法和智能设备,并提供可视化编排工具,降低AI应用开发成本;“太极Angel”平台,可以进行更优训练和推理加速。这些能力被解耦之后,提供给企业自由选择和组合。

上海大学就基于腾讯云教育行业大模型能力,结合自身场景数据,通过腾讯云TI平台进行精调,构建了专属的教育行业大模型,首个场景聚焦招生专业咨询和规章制度咨询。

现场也展示了一家文旅客户基于腾讯云文旅行业客服场景大模型的精调过程。

起初,输入指令,要求给出端午节的旅游行程推荐。在投喂行业数据之前,大模型给出的答案中规中矩,甚至有些粗糙和笼统。然后导入了一些行业场景数据,大模型反馈的结果立马就细致了很多,包括每天的行程安排。

这样的微调还不足以体现行业大模型的魅力。腾讯云的大模型精调解决方案支持对接客户的API接口,当把客户的数据和系统接入进来之后,大模型的反馈结果有了质的飞跃,给到的攻略非常细致,不仅有每天的交通景点和不同价位段的酒店安排,甚至还有预订链接,实现了从服务到商业化的闭环。

但现实中依然有不少企业,尤其是工业实体企业的IT能力不强,连服务器部署都成问题,腾讯云也会提供第三种服务模式,可以量身定制落地陪跑服务,甚至包括了帮助企业客户做后续的模型迭代。

“腾讯云MaaS是一站式的、管家式的服务。”一位腾讯云人士评价。

而腾讯云之所以能在当下提供一站式大模型服务,是其长期积累的底层技术和能力在支撑。今年4月,腾讯云发布了面向大模型训练的新一代HCC高性能计算集群,采用了腾讯云自研的星海服务器,结合多层加速的高性能存储系统,加上高带宽、低延迟的网络传输,具备3.2Tbps业界最高互联网带宽,算力性能提升3倍。

不难发现,腾讯云围绕模型、数据和算力等多个层面,都做了相应布局。甚至腾讯云还联合信通院、客户,共建了行业大模型的标准体系及能力架构。另外,腾讯云也联合近20家生态合作伙伴启动行业大模型生态计划。

如果把行业大模型的训练比作做菜,高性能算力集群、高性能网络和向量数据库这些基础设施就是火,各行业的数据和知识就是食材,在将食材烹饪为菜肴的中间需要还一口锅,腾讯云TI平台就相当于是这口锅。而企业可以带着自己的食材,根据各自的口味,做出一道道自己需要、好吃不贵的“菜肴”。