大语言模型落地 为什么第一步是做客服

在风口上吹了快两年，当从业者们在2024的春天再谈人工智能大语言模型，“落地”成了谈论最多的词。

“企业希望大模型实现集团级赋能但难寻切入点，建议将智能客服作为大模型落地之路的第一站。”在不久前结束的中关村论坛上，北京市科委发布《北京市人工智能大模型行业应用分析报告》时，在大屏幕上特别标出了这一句话。

为何客服成了大模型落地的第一站？对此，新京报贝壳财经记者采访了大模型研发者以及有落地需求的企业双方，发现大模型在理解用户提问、连续且24小时回答用户问题等方面确实能够带来不小的能力提升，虽然距离真人尚有差距，但算上成本账，大模型已然“可用”。

不过，也有消费者对记者“吐槽”，如在网购场景，AI客服虽然在对话上相比以往更加“丝滑”，显得更有情商，但也会出现答非所问的情况。在不少从业者看来，虽然AI客服可以降低成本，但若想“更进一步”，从可用变为好用，并在更多场景发光发热，大模型还需要进一步的升级。

5月9日一场大模型应用构建实训营里，企业开发者就AI落地中遇到的技术问题向主办方提问 新京报贝壳财经记者 罗亦丹 摄

7×24小时工作 AI上岗客服

“我们在去年6月就开始用大模型技术做客服了。”5月9日，一名北京创业公司员工告诉贝壳财经记者，“大模型技术主要解决了客户连续提问的问题，如果使用人工客服，客户每次提问都得重复描述一遍问题，但大模型可以记住客户此前的提问，并且还比人工客服更有逻辑。另外它可以7X24小时工作，人工客服不可以。”

实际上，早在大语言模型技术出现之前，AI就已经被广泛用于客服领域。“原来我们做AI，是靠定义一堆任务，但销售服务过程中很多地方我们想不到客户以什么样的方式问，如何打动客户，这都是完全开放的业务场景，原来的技术就局限了。大模型出来后，恰巧可以通过对于语言的能力，包括有初步的AGI（通用人工智能）的这种理解推理的能力，解决了场景泛化问题。”容联云产业数字云事业群副总经理孔淼在接受新京报贝壳财经记者采访时说。

在他看来，相比于“大模型能够解决一切”的想法，AI落地值不值得做，应该重点关注投产比，“原来的智能化需要持续投入，所以投产比极低，大模型通过外部数据以及意图识别、泛化的能力，使得我们现在可以解决过去智能对话无法进行，必须召回的问题，当90%的召回减少到10%的召回，也就提升了可用的场景。”

《北京市人工智能大模型行业应用分析报告》认为，在大模型技术应用薄弱的行业内可优先推广智能客服场景，从需求侧讲，行业内企业可以直观地体验到大模型带来的便捷服务，增强企业内的群体认同，为后续推动大模型在全产业链的应用落地减小内部阻力；从技术侧讲，智能客服应用场景属于大模型的通用场景之一，相对技术难度较小，且可充分发挥大模型技术优势，有助于大模型快速落地。

新京报贝壳财经记者在采访中发现，公司引入AI大模型能力让AI“落地”的方式分很多种，包括技术人员直接下载开源大模型，与大模型公司合作私有化大模型应用，使用一站式大模型服务平台等。而上述三种方式中，下载开源大模型是免费的，而后两种则分别为软件售卖模式以及免费使用但按token（语句）收取算力费的模式。上述北京创业公司员工告诉记者，后两种方式实际上也可以自主选择，“如果你预算有限，可以选择小一点的模型，便宜一点的模型。此外，使用一站式大模型服务平台时也有按时段买断制收费和按算力耗费收费两种，可以按忙闲时段自己选择最省钱的方式。”

“非大模型时代，许多问答是定制化的，回答较为生硬。有了AI大模型后，这一问题已经完全解决了，机器对人的理解进一步提升，这使得以前的客服等行业已被颠覆，随着模型能力的提升，越来越多的行业积极拥抱大模型，如手机、自动驾驶等场景。随着技术能力的变化，大家也会想到新的业务需求，这都是一系列的突破和创新。”5月9日，阿里云CTO周靖人在接受新京报贝壳财经记者采访时表示。

大模型并不完美 “代替人工”或可变为“辅助人工”

不过，AI大模型是否将完全取代人工客服？至少在当下，答案是否定的。

谈及3月底一次买裙子的网购经历，来自天津的刘女士过了很久才后知后觉地发现，和她聊了10天的客服其实是AI，“最开始我问的一些关于商品的问题，比如裙子是否有弹力，有拉锁，对方都能清楚地回答。但由于一直没有发货，我就开始和对方交涉，当我直接问‘就这个蓝色款式什么时候能发’时，对方开始反复说会尽快发出，但就是无法告诉我准确的发货时间，我一气之下把这家店铺投诉了。”

中国法学会消费者权益保护法研究会副秘书长陈音江表示，对企业来说，智能客服的推广，更多时候是为了减少成本。互联网交易具有海量、瞬间交易等特点，有时确实需要投入大量的客服力量，适当推广智能客服，服务效率可大大提升。但不少智能客服程序难以满足消费者的实际需求，所以关键是要同时保留人工客服，让消费者可以自主选择哪种客服方式。

此外，如果给AI客服过高的权限，可能还会对企业造成风险。2023年12月，就有外国用户诱导一个接入ChatGPT接口的车行AI客服用1美元售出了一辆雪佛兰，甚至当车行封堵住相关漏洞后，另一名用户通过冒充自己是OpenAI的创始人山姆奥特曼，又诱导该车行的机器人免费送出了车辆，导致该车行不得不关闭了AI客服功能，这充分说明目前AI聊天机器人远没有人工客服那样真正的判断能力。

事实上，AI客服与人工客服或并非单纯的取代关系。“过去我们有智能销售辅助，但更多只是通过SOP（标准操作程序）方式解决企业一线语言上手问题，大模型可以通过泛化能力，把经验更多复制给团队，越是底层的销售能力提升就越大，从而实现整个业务的效率提升。”孔淼说。

AI落地 需要解决哪些问题？

当前，大模型技术尚在持续发展，在这一过程中，如何依照现有的能力让大模型落地并可用，记者采访了B端多名试用过大模型的企业员工。

具体来看，一家公司想让AI在自家场景落地，第一步都是要先建立公司自己的知识库，再选择已有的大模型，把公司的知识数据“外挂”入大模型中，才能生成可用的大模型落地应用。“原先靠QA（问答）的方式做知识维护，会发现大量知识没法通过人为或传统规则做QA拆解，而我们通过copilot（副驾驶，指大模型智能助手）知识库，管理多文档后通过大模型加上RAG的技术，再结合企业内部客服形成模板，目前也可以在整个营销服务里解决知识流转问题。”孔淼说。

不过，在大模型落地的过程中，不同行业、不同场景遇到的问题也五花八门。

有从事视频培训业务的公司技术部员工向贝壳财经记者反馈，其公司的数据包括文本、图片、视频三种，其中视频类知识导入知识库的方式主要是通过“切图”，但这一结果不是很准确。有从事跨国财务统计的人士表示，财务领域的数据库软件以及海外用户的数据表格式、标准不统一，因此在导入大模型时存在语句转换的问题。另外，还有一个通用问题是，公司本身储备的数据量不够，从而担心大模型解答问题的效果。

而在建立大模型之后，问题也同样存在。有使用大模型云服务的汽车行业从业者表示，希望大模型能分析工单里客户反馈留言中的情感特征，但又不想泄露客户信息；上述视频培训公司员工则表示，对于一些相对较难的问题，大模型无法保证给出百分百准确的回复，这种“幻觉”问题无法解决。

“大模型的技术从推出之后，给我们带来很多想象力，包括真人一样的沟通对话，但高预期后，当真正在行业和客户落地，我们发现的局限还是很多，比如算力瓶颈、幻觉问题。”孔淼对贝壳财经记者坦承，“因此，大模型在企业的实际应用落地场景里，很多非标的东西需要做一些推理，还要补齐一些技术，比如对于数学问题引入搜索方式，把大模型从文科生变成‘文理双全’，这些都是产品工程方面的工作。”

周靖人告诉记者，大模型落地之时已至，如果基础模型本身不够强，落地过程中就有挑战，但是在过去一年里，大模型的能力有了大幅度提升，很多以前不可能的场景现在变成了可能。

在采访中，多名大模型开发者对记者表示，当前远非大模型的极限，随着时间的推移，新技术将有望解决目前存在的问题，如有技术人员举例称，在多轮对话过程中，对于金融分析和客服场景，相比RAG方法，使用长文本来解决问题更加合适。此外，产品工程方面的工作也必不可少，如针对视频知识内容难以导入知识库的问题，有技术人员表示，当前也可以通过分别针对字幕、切片、语言选择三个小模型的方式解决该问题，“当然我相信也许几个月后，单一大模型就能通过技术升级解决这一问题。”

记者联系邮箱：[email protected]

新京报贝壳财经记者 罗亦丹 编辑 王进雨 校对 卢茜