大語言模型落地 為什麼第一步是做客服

在風口上吹了快兩年，當從業者們在2024的春天再談人工智能大語言模型，“落地”成了談論最多的詞。

“企業希望大模型實作集團級賦能但難尋切入點，建議将智能客服作為大模型落地之路的第一站。”在不久前結束的中關村論壇上，北京市科委釋出《北京市人工智能大模型行業應用分析報告》時，在大螢幕上特别标出了這一句話。

為何客服成了大模型落地的第一站？對此，新京報貝殼财經記者采訪了大模型研發者以及有落地需求的企業雙方，發現大模型在了解使用者提問、連續且24小時回答使用者問題等方面确實能夠帶來不小的能力提升，雖然距離真人尚有差距，但算上成本賬，大模型已然“可用”。

不過，也有消費者對記者“吐槽”，如在網購場景，AI客服雖然在對話上相比以往更加“絲滑”，顯得更有情商，但也會出現答非所問的情況。在不少從業者看來，雖然AI客服可以降低成本，但若想“更進一步”，從可用變為好用，并在更多場景發光發熱，大模型還需要進一步的更新。

5月9日一場大模型應用建構實訓營裡，企業開發者就AI落地中遇到的技術問題向主辦方提問 新京報貝殼财經記者 羅亦丹 攝

7×24小時工作 AI上崗客服

“我們在去年6月就開始用大模型技術做客服了。”5月9日，一名北京創業公司員工告訴貝殼财經記者，“大模型技術主要解決了客戶連續提問的問題，如果使用人工客服，客戶每次提問都得重複描述一遍問題，但大模型可以記住客戶此前的提問，并且還比人工客服更有邏輯。另外它可以7X24小時工作，人工客服不可以。”

實際上，早在大語言模型技術出現之前，AI就已經被廣泛用于客服領域。“原來我們做AI，是靠定義一堆任務，但銷售服務過程中很多地方我們想不到客戶以什麼樣的方式問，如何打動客戶，這都是完全開放的業務場景，原來的技術就局限了。大模型出來後，恰巧可以通過對于語言的能力，包括有初步的AGI（通用人工智能）的這種了解推理的能力，解決了場景泛化問題。”容聯雲産業數字雲事業群副總經理孔淼在接受新京報貝殼财經記者采訪時說。

在他看來，相比于“大模型能夠解決一切”的想法，AI落地值不值得做，應該重點關注投産比，“原來的智能化需要持續投入，是以投産比極低，大模型通過外部資料以及意圖識别、泛化的能力，使得我們現在可以解決過去智能對話無法進行，必須召回的問題，當90%的召回減少到10%的召回，也就提升了可用的場景。”

《北京市人工智能大模型行業應用分析報告》認為，在大模型技術應用薄弱的行業内可優先推廣智能客服場景，從需求側講，行業内企業可以直覺地體驗到大模型帶來的便捷服務，增強企業内的群體認同，為後續推動大模型在全産業鍊的應用落地減小内部阻力；從技術側講，智能客服應用場景屬于大模型的通用場景之一，相對技術難度較小，且可充分發揮大模型技術優勢，有助于大模型快速落地。

新京報貝殼财經記者在采訪中發現，公司引入AI大模型能力讓AI“落地”的方式分很多種，包括技術人員直接下載下傳開源大模型，與大模型公司合作私有化大模型應用，使用一站式大模型服務平台等。而上述三種方式中，下載下傳開源大模型是免費的，而後兩種則分别為軟體售賣模式以及免費使用但按token（語句）收取算力費的模式。上述北京創業公司員工告訴記者，後兩種方式實際上也可以自主選擇，“如果你預算有限，可以選擇小一點的模型，便宜一點的模型。此外，使用一站式大模型服務平台時也有按時段買斷制收費和按算力耗費收費兩種，可以按忙閑時段自己選擇最省錢的方式。”

“非大模型時代，許多問答是定制化的，回答較為生硬。有了AI大模型後，這一問題已經完全解決了，機器對人的了解進一步提升，這使得以前的客服等行業已被颠覆，随着模型能力的提升，越來越多的行業積極擁抱大模型，如手機、自動駕駛等場景。随着技術能力的變化，大家也會想到新的業務需求，這都是一系列的突破和創新。”5月9日，阿裡雲CTO周靖人在接受新京報貝殼财經記者采訪時表示。

大模型并不完美 “代替人工”或可變為“輔助人工”

不過，AI大模型是否将完全取代人工客服？至少在當下，答案是否定的。

談及3月底一次買裙子的網購經曆，來自天津的劉女士過了很久才後知後覺地發現，和她聊了10天的客服其實是AI，“最開始我問的一些關于商品的問題，比如裙子是否有彈力，有拉鎖，對方都能清楚地回答。但由于一直沒有發貨，我就開始和對方交涉，當我直接問‘就這個藍色款式什麼時候能發’時，對方開始反複說會盡快發出，但就是無法告訴我準确的發貨時間，我一氣之下把這家店鋪投訴了。”

中國法學會消費者權益保護法研究會副秘書長陳音江表示，對企業來說，智能客服的推廣，更多時候是為了減少成本。網際網路交易具有海量、瞬間交易等特點，有時确實需要投入大量的客服力量，适當推廣智能客服，服務效率可大大提升。但不少智能客服程式難以滿足消費者的實際需求，是以關鍵是要同時保留人工客服，讓消費者可以自主選擇哪種客服方式。

此外，如果給AI客服過高的權限，可能還會對企業造成風險。2023年12月，就有外國使用者誘導一個接入ChatGPT接口的車行AI客服用1美元售出了一輛雪佛蘭，甚至當車行封堵住相關漏洞後，另一名使用者通過冒充自己是OpenAI的創始人山姆奧特曼，又誘導該車行的機器人免費送出了車輛，導緻該車行不得不關閉了AI客服功能，這充分說明目前AI聊天機器人遠沒有人工客服那樣真正的判斷能力。

事實上，AI客服與人工客服或并非單純的取代關系。“過去我們有智能銷售輔助，但更多隻是通過SOP（标準操作程式）方式解決企業一線語言上手問題，大模型可以通過泛化能力，把經驗更多複制給團隊，越是底層的銷售能力提升就越大，進而實作整個業務的效率提升。”孔淼說。

AI落地 需要解決哪些問題？

目前，大模型技術尚在持續發展，在這一過程中，如何依照現有的能力讓大模型落地并可用，記者采訪了B端多名試用過大模型的企業員工。

具體來看，一家公司想讓AI在自家場景落地，第一步都是要先建立公司自己的知識庫，再選擇已有的大模型，把公司的知識資料“外挂”入大模型中，才能生成可用的大模型落地應用。“原先靠QA（問答）的方式做知識維護，會發現大量知識沒法通過人為或傳統規則做QA拆解，而我們通過copilot（副駕駛，指大模型智能助手）知識庫，管理多文檔後通過大模型加上RAG的技術，再結合企業内部客服形成模闆，目前也可以在整個營銷服務裡解決知識流轉問題。”孔淼說。

不過，在大模型落地的過程中，不同行業、不同場景遇到的問題也五花八門。

有從事視訊教育訓練業務的公司技術部員工向貝殼财經記者回報，其公司的資料包括文本、圖檔、視訊三種，其中視訊類知識導入知識庫的方式主要是通過“切圖”，但這一結果不是很準确。有從事跨國财務統計的人士表示，财務領域的資料庫軟體以及海外使用者的資料表格式、标準不統一，是以在導入大模型時存在語句轉換的問題。另外，還有一個通用問題是，公司本身儲備的資料量不夠，進而擔心大模型解答問題的效果。

而在建立大模型之後，問題也同樣存在。有使用大模型雲服務的汽車行業從業者表示，希望大模型能分析工單裡客戶回報留言中的情感特征，但又不想洩露客戶資訊；上述視訊教育訓練公司員工則表示，對于一些相對較難的問題，大模型無法保證給出百分百準确的回複，這種“幻覺”問題無法解決。

“大模型的技術從推出之後，給我們帶來很多想象力，包括真人一樣的溝通對話，但高預期後，當真正在行業和客戶落地，我們發現的局限還是很多，比如算力瓶頸、幻覺問題。”孔淼對貝殼财經記者坦承，“是以，大模型在企業的實際應用落地場景裡，很多非标的東西需要做一些推理，還要補齊一些技術，比如對于數學問題引入搜尋方式，把大模型從文科生變成‘文理雙全’，這些都是産品工程方面的工作。”

周靖人告訴記者，大模型落地之時已至，如果基礎模型本身不夠強，落地過程中就有挑戰，但是在過去一年裡，大模型的能力有了大幅度提升，很多以前不可能的場景現在變成了可能。

在采訪中，多名大模型開發者對記者表示，目前遠非大模型的極限，随着時間的推移，新技術将有望解決目前存在的問題，如有技術人員舉例稱，在多輪對話過程中，對于金融分析和客服場景，相比RAG方法，使用長文本來解決問題更加合适。此外，産品工程方面的工作也必不可少，如針對視訊知識内容難以導入知識庫的問題，有技術人員表示，目前也可以通過分别針對字幕、切片、語言選擇三個小模型的方式解決該問題，“當然我相信也許幾個月後，單一大模型就能通過技術更新解決這一問題。”

記者聯系郵箱：[email protected]

新京報貝殼财經記者 羅亦丹 編輯 王進雨 校對 盧茜