夢晨 發自 凹非寺
量子位 | 公衆号 QbitAI
進入2024，大模型的風向變了。
當初“百模大戰”時，隻要簡單粗暴拿個Demo搞MaaS（模型即服務），也就是讓使用者直接和大模型互動就足以上牌桌。
但現在，精耕細作搞應用，無論是原生AI應用，還是在已有産品上整合AI功能，成了最新潮流趨勢。
就連一向低調神秘的騰訊混元大模型團隊，也對外公布了應用落地進展：
騰訊混元大模型已經支援内部超過400個業務和場景接入，并通過騰訊雲，面向企業和個人開發者全面開放。
這裡面有很多為人熟知的“國民級”App，如企業微信、騰訊文檔、騰訊會議，都已經被AI全副武裝。
還有更多騰訊雲SaaS産品，如企業知識學習平台騰訊樂享、電子合同管理工具騰訊電子簽等，也都有了AI加持。
騰訊混元大模型去年9月才首次亮相，是否有意在加速趕進度？
面對這個問題，騰訊混元大模型應用負責人張鋒的回答就有點“凡爾賽”了：
我們隻是按照正常的節奏，而且不光是接入大模型這麼簡單，已經進入打磨使用者體驗階段。
在國内大模型廠商中，騰訊為何走出這樣一條獨特的路線？我們與張鋒深入聊了聊。
騰訊AI産品，已經在打磨使用者體驗了
騰訊這麼多年來一直以産品見長，AI時代也延續了這種風格。
就拿大模型的門面騰訊混元助手來說，“已經在打磨使用者體驗了”還真不是一句空話。
比如讓它做一道簡單的數學題，就可以發現AI在分析思路時非常流暢，還判斷出題目中缺少條件，但最後給出結果前卻稍有停頓。
這并不符合大模型預測下一個token的運作原理，反倒像是真的在計算。
張鋒揭秘，背後其實是AI先寫了一段代碼，在後端執行再傳回結果。
不得不說，這是一種解決大模型計算不準确問題的巧妙思路。但為什麼不像GPT-4代碼解釋器版一樣，把代碼在前台顯示出來？
騰訊混元助手一個重要場景是在微信小程式裡使用，移動端展示代碼就會顯得特别長。張鋒認為，現在的政策更符合使用者體驗習慣。
産品政策有了，但實作起來并不是一件簡單的事。首先需要大模型明白目前使用者需求需要精準計算，接着要生成合适的代碼，最後還要成功通過函數調用來執行代碼。
像這樣從細節出發，打磨使用者體驗的例子還有很多。
比如大家很熟悉的騰訊會議，比起簡單的AI語音轉寫和會議紀要總結，也做了不少差異化功能。
人的口頭表達免不了停頓磕絆，騰訊會議AI在轉寫時把“嗯嗯啊啊”這樣的部分智能規整，讓會後文字記錄看起來更整潔。
騰訊會議正在思考的另一個問題是，AI 生成的會議總結格式應該根據會議類型做出适當調整。
有明确主題和議程的會議，與大家暢所欲言的頭腦風暴會議，需要的總結的格式就截然不同。是以，除了按時間分章節生成會議紀要外，騰訊會議也将推出按發言人/主題生成會議紀要的功能。
騰訊樂享，作為企業知識協作平台，在AI問答功能中就做到了識别提問者身份，做到回答千人千面。
如果是企業HR問AI有關薪酬結構的問題，就可以得到正面回答，其他崗位問同樣的問題AI會拒絕提供。做到在便利的同時還非常安全。
湖南的律師事務所曠真接入了樂享助手去做AI知識庫， 員工調研顯示，對典型問題的AI回答滿意度高達93分，端到端問題準确率達91%。
騰訊電子簽，利用AI智能檔案審查系統，識别合同風險條款，便于企業把控合同風險。企業對合同的風險控制需求各不相同。騰訊電子簽還利用大模型和few-shot技術訓練适合客戶行業的垂類小模型，實作低成本運作。同時，通過混合雲的模式，支援資料、模型的私有化部署，解決效率問題的同時保證合規。
總計400+的應用場景中，像這樣的例子還比比皆是，這裡不再贅述。
值得探讨的下一個問題是，騰訊如何做到在短時間内把AI産品打磨成熟的。
應用落地完整流程已跑通
在騰訊，大模型研發和業務應用是“雙向奔赴”的。
根據張鋒介紹，騰訊混元大模型研發過程中疊代速度很快，基本一個月就有四到五個版本。
這種速度就來自于和業務應用團隊的高效合作，業務團隊提出需求并貢獻微調資料，研發團隊就能有針對性的加強大模型的能力。上線測試過程中不斷發現Bad case，也能迅速為大模型補齊短闆。
在這種研發時就考慮到實際應用需求的模式下，騰訊混元大模型定位成了“實用級通用大模型”。
在國内大模型中，騰訊混元率先完成MoE（Mix of Experts，專家混合）架構更新，也就是從單個稠密模型更新到多個專家組成的稀疏模型。
MoE架構在激活參數不變情況下，總參數量加大，可以吞吐更多的token，同時，得益于較小的實際激活量，可顯著降低訓推成本。
這種路線的快速轉型，也得益于與早期就了解了業務應用一方需求。
在與業務應用互相打磨的過程中，騰訊混元着重提升了通用模型的三個能力：
指令跟随能力，提出各種各樣複雜的結構化長指令，騰訊混元都能按要求執行。
網頁及文檔了解能力，滿足使用者經常需要AI來總結長文本内容、減輕認知負的需求。
函數調用能力，也是騰訊混元團隊判斷大模型下一階段的趨勢之一。
通用大模型隻是一個開始。
張鋒介紹，在實際應用中，除了MoE主模型，如果調用量很大，從成本效益的角度，各業務可以考慮使用不同尺寸的小模型，或者采用根據業務資料微調後的垂直小模型。
微調（Fine-Tuning）是學術界通用叫法，在騰訊内部更願意用“精調”。
從資料管理到自研AngelPTM訓練架構、AngelHCF推理架構，再到模型評測、部署都有一股精耕細作的勁兒。
那麼，面對如今 400+場景，以及未來更多業務都要上大模型的情況，研發團隊顯然無法分出精力逐個精調，如何解決這個問題呢？
答案是通過混元一站式平台，許多需求業務團隊自己就能輕松搞定。
混元一站式平台不僅支援通過API接口直接調用混元大模型服務，還把大模型從訓練到部署的很多流程都做到可視化，不用寫代碼隻需滑鼠點點就能快速完成。
有了混元一站式平台很多AI工程師都不怎麼去折騰代碼了，而不精通機器學習的業務工程師也能輕松上手操作。
接下來根據一個完整的模型精調到上線的過程，來了解混元一站式平台的能力。
首先是模型方面，平台提供了各種尺寸的基座模型矩陣。又分為通用模型、針對典型場景的優化模型、針對更垂直領域任務的子模型三個層次。
通用模型前面已經介紹過，場景優化模型可以舉兩個例子：開發Agent類應用，就可以用到強化了函數調用能力的模型來做；在知識密度高的場景，則可以選擇優化摘要能力的模型。
如果不光有垂直的應用場景，還有垂直的資料集，混元一站式平台上就可以完成針對私有資料集的二次訓練，讓垂直子模型不僅有很好的通用了解能力，也很擅長專業領域的知識也很擅長。
接下來便要說到靠混元一站式平台的資料處理能力。
對于來自不同來源、品質參差的資料，從資料清洗流程如質檢、去重，到統計調配不同主題資料的比例，再到更困難的資料價值觀對齊，去除其中包含的偏見，都能靠自動化手段高效完成。
即使模型上線之後，再發現由于某類資料缺失造成模型某方面能力不強，也能迅速把補充資料投入到持續訓練，支援模型的快速疊代。
有了基座模型和資料，就能通過精調來按需求打造專屬模型。無論是速度快成本低的Lora精調，還是全參數深度精調都能在混元一站式平台完成。
精調後模型的評測、部署上線也都做到了自動化，特别是部署可以做到一鍵釋出，是混元一站式平台的核心技術之一。
總結來看，相較于傳統的機器學習平台，混元一站式平台的最大特點在于：提供預訓練好的基座模型、自動化優化資料處理流程，以及精簡高效的模型精調和應用內建工作流。該平台通過自動化和智能工具應對海量訓練資料、模型定制和部署等挑戰，極大地降低了業務接入大模型的門檻，實作了速度快、效果好、接入方式多樣的目标。
一言以蔽之：已跑通從模型研發到應用落地的完整流程。
内部流程徹底跑通、并經過400+場景驗證，外部開發者和企業可以通過騰訊雲上API直接調用騰訊混元能力，接下來就要在助力合作夥伴業務智能化更新上發力了。
One More Thing
在這次交流的最後，量子位把在測試騰訊混元助手過程中發現的，模型仍無法很好解決的問題送出給了團隊。
結束後已經是中原標準時間晚上6點多，比原定的結束時間推遲了近2個小時。
騰訊混元團隊大部分成員都準備動身去往機場，要趕回深圳研發總部。
張鋒沒有與大家一同離開會議室。
簡單告别後，他又一屁股坐回沙發上，一心沉醉到琢磨怎麼改進Bad case的世界裡了。
— 完 —
量子位 QbitAI · 頭條号簽約
關注我們，第一時間獲知前沿科技動态