作者 | 程茜
編輯 | 雲鵬
智東西7月5日報道，今日下午，在2024世界人工智能大會（WAIC）騰訊論壇上，據騰訊集團副總裁蔣傑透露，目前騰訊混元大模型采用MoE架構，模型整體參數量已達到萬億，Token數量超過7萬億，居國内大模型第一梯隊。
此外，面向大模型應用落地，騰訊已經建構了一套全鍊路産品矩陣，涵蓋從底層豐富基礎設施到頂層多元智能應用，包括自研通用大模型、模型開發平台、智能體開發平台，以及針對不同場景定制的智能應用解決方案等。
騰訊雲副總裁、騰訊雲智能負責人、騰訊優圖實驗室負責人吳運聲認為，今天的大模型技術正在往多模态、零樣本學習、3D和視訊生成等方向快速演進，騰訊正持續推進AI研究和應用落地。騰訊雲全新更新了大模型知識引擎、圖像創作引擎、視訊創作引擎，比加速大模型在醫療、文娛領域的應用落地。此外，在文化研究方面，騰訊雲宣布開源全球最大的甲骨文多模态資料。
當下關于Scaling Law的讨論熱度居高不下，吳運聲談道，他看到目前關于Scaling Law的觀點有兩類，一類認為這一技術路徑發展已經較為緩和，另一派認為其仍在持續發展，從他個人來看，Scaling Law整體會在一段時間内發揮作用。例如在多模态的研究中，仍有很多新的突破出現。是以，不能一錘定音對這一技術路徑的發展潛力下結論，應該基于不同的場景或者技術演進進行不斷探索。
吳運聲談道，優圖實驗室從創立之初就堅持技術落地到産業中才能産生價值，這也是AI發展的方向，是以，他們一直在圍繞這一點推進。技術層面，優圖實驗室在進行多模态技術、小樣本零樣本等技術探索；在平台層面建構努力讓更多産業鍊玩家融入進來，不斷疊代平台能力，降低AI應用的門檻；第三就是知識引擎、圖像創作引擎、視訊創作引擎等，将一些工具能力進行封裝，幫助使用者利用這些工具，快速搭建智能應用，落地到具體場景中。
▲騰訊雲副總裁、騰訊雲智能負責人、騰訊優圖實驗室負責人吳運聲
一、從單模态、多模态向全模态演進，大模型落地缺少殺手級應用
騰訊集團副總裁蔣傑談道，今年WAIC的焦點毫無疑問是大模型，截止4月底，中國推出的大模型已經超過300個，超過10億級參數規模的大模型已經超過100個。此外，近日OpenAI還宣布停止中國大陸地區的API調用，這都展現出了實作大模型全鍊路自主研發的價值與必要性。
目前，騰訊混元大模型采用MoE架構，參數量已經達到萬億級别，Token數量達到7萬億。在此之上，蔣傑總結了目前大模型産業的幾大現象。
未來通用大模型将成為像水電煤一樣的基礎設施，并且會出現不同場景、不同模态、不同尺寸的大模型，企業可以根據自己的需求進行調用、精調。
蔣傑稱，目前大模型湧現出來的能力還遠遠沒有達到天花闆，當其參數規模不斷突破，未來會出現不同尺寸的模型，通過大小模型協同提升性能并滿足企業的定制化需求。大模型主要提供強大的模型能力和泛化性能，小模型會針對特定場景進行特殊優化，實作更快、更有效的精準推理。
騰訊混元大模型已認證騰訊雲向企業及個人開發者開放，包含萬億、千億、百億等不同參數尺寸，接下來，多種尺寸的騰訊混元MoE模型也将對外開源，可分别支援手機端、PC端、雲以及資料中心等多樣化的部署場景。
此外，大模型行業正經曆從單模态到多模态，再到全模态的演進。
他補充說，在文生圖領域，采用DiT架構的模型融合了早前主要用于文本生成的Transformer架構，并在圖像和視訊生成任務中展現出了顯著的優勢；在文生視訊領域，視訊生成正朝着更高分辨率、更長時長、更精細的方向發展，一些較好的模型已經能夠生成長達數分鐘高清的視訊，帶來了廣闊的應用想象空間。
在應用方面，蔣傑認為，應用場景将是未來大模型決戰的必然因素。目前大模型落地主要在工作提效方面，距離真實的業務有一定距離，缺少了殺手級應用。
騰訊很早就将大模型定位為應用型大模型，并不斷在内部産品上進行打磨，目前騰訊内部已經有接近700個業務和場景接入大模型，每天調用量達到3億次左右。接下來，騰訊将基于這些實踐呈現的能力和經驗通過騰訊雲對外開放。
二、混元大模型訓練語料超7萬億，多個版本已開源
騰訊在大模型領域已經建構了一套全鍊路産品矩陣，涵蓋從底層豐富基礎設施到頂層多元智能應用。包括自研通用大模型、模型開發平台、智能體開發平台，以及針對不同場景定制的智能應用解決方案等。
吳運聲談道，過去一段時間的發展使得AI技術進階達到新的制高點，但實際落地中，單模态技術隻在部分場景表現良好，多模态的加持能擴充大模型的應用範式。如多模态大模型可以結合視覺和語言了解突破此前的技術應用局限，實作更精準的語義分析等。
學習範式上，傳統模型受限于任務獨立和需要大量标注資料，通過零樣本和小樣本學習就可以簡化研發流程。如生成數字人，現在僅需一張照片就可以生成而無需其他定制過程。吳運聲談道，這類技術還可以應用到工業質檢場景，通過簡單的詞彙提示或者缺陷圖示照片就可以提高缺陷檢測的效率和準确性。
此外，在内容呈現方面，随着視訊生成等技術發展，使用者可以獲得更沉浸式的體驗，如通過3D生成技術打破傳統的實體仿真局限，提高生成内容的速度和品質。
基于底層技術的突破，騰訊的大模型也在不斷進化。去年9月，騰訊釋出了全鍊路自研騰訊混元大模型，基于MoE模型達到了萬億參數規模級别，預訓練語料超過7萬億Token。吳運聲稱，騰訊混元大模型已經穩居國内大模型的第一梯隊，單日調用Token數已經超過千億。
騰訊雲上開放了混元lite 256k版本、vision多模态版本，以及代碼生成、角色扮演等子模型和接口，滿足不同企業和開發者的需求。
三、全鍊路産品矩陣，知識引擎、圖像創作、視訊創作更新劍指應用落地
在模型工具産品層面，今年5月，騰訊推出三個大模型PaaS産品，包括知識引擎、圖像生成引擎和視訊生成引擎。目前這三大産品已經實作了更新疊代。
知識引擎的動态檢索能力更新，支援圖文互搜、以圖搜圖等，還能夠結合知識庫中檢索傳回的圖文片段給出圖文并茂的答案。騰訊還進一步擴充了企業知識類型覆寫面，更新了對話式資料問答體驗，支援超大表格、多場景的多步驟推理、多條件篩選、求和計算等。
在圖像創作引擎中，其圖像風格已經新增到33種，并推出了專用于頭像的生成模式，使得生成的圖檔既能保留個人相貌特色，還可以融入多元藝術風格特征。同時，該工具還新增了商品背景生成、模特換裝、創意換裝等，能夠降低營銷和影視行業的制作成本。
騰訊在視訊創作引擎中新增了超過20種熱門舞蹈動作，并且基于3D模組化技術和生成技術，能夠提升視訊的音頻自然度、相似度和語速效果。
與此同時，為了幫助企業更快速打造專屬模型應用，騰訊機器學習平台TI在精調資料準備、精調訓練和模型驗證平台方面進行了全面更新。
TI平台内置開源可擴充的資料建構，能幫開發者進行資料準備，并提升了資料标注能力；在精調訓練方面，該平台支援一鍵啟動精調任務，通過3層穩定機制并支援自研安卓架構確定大模型訓練的連續性和性能提升；模型驗證過程中，TI平台采用三階段模型評測流程，包括輕量體驗、客觀決策、主觀評測。
目前，騰訊已經圍繞辦公協同、資料分析、知識管理、智能營銷等多個産品為使用者提供全鍊路的模型服務。吳運聲稱，他們已經将知識引擎的能力應用于起點客戶大模型的文本機器人之上，面向賬單查詢和退換貨等複雜任務時，大模型機器人的配置成本相較于傳統文本機器人可以減少50%以上。
服務于企業内部的知識學習協作平台騰訊樂享，目前已經服務超30萬家客戶，擁有上億使用者，在大模型和知識引擎的加持下，樂享圍繞知識生産端和消費端實作了突破。
吳運聲舉例稱，在知識生産端，一句話AI就可以完成協作，同時還能生成教育訓練知識點提升不同部門的教育訓練效率；在知識消費端，騰訊推出了智能問答，可以讓AI回答更多的企業内部業務知識，提高知識擷取效率。
四、已落地醫療、文娛、科研，開源全球最大甲骨文多模态資料集
在産業落地方面，騰訊已經在醫療、文娛、科學研究等領域實作突破。
醫療領域方面，騰訊和上海市數字醫學創新中心共研了醫學大模型，并在瑞金醫院實作了體檢報告和電子病曆生成等落地應用。在體檢報告生成方面，大模型平均5秒就可以生成體檢報告，為醫生節約了超50%的撰寫時間。
文娛行業，騰訊和閱文集團基于大模型文生文的能力，為作家提供了AI輔助寫作助手，包括描寫靈感、大綱提取、角色提取等能力，可以幫助作家寫作、插圖制作等。
在這之外，吳運聲也談道，多模型的應用也會為企業帶來很多現實問題。
首先，企業的工程團隊資源有限，針對疊代很快的模型去自行搭建推理叢集和服務平台很複雜；其次，模型的推理成本很高，并且百億、千億級别模型的推理部署會在吞吐量、時延方面面臨瓶頸。
騰訊TI平台就是這些解決這些難題的答案。
企業隻需要在TI平台上進行點選就可以快速開啟訓練任務，在推理方面，騰訊已經幫助閱文集團提升了相同資源條件下的内容生成速度，另外平台也提供了更直覺的監控、管理工具，幫助其管理任務和資源。
在産業落地之外，大模型在科學計算、文化研究等方面的應用價值正在被放大。
在天文領域，基于AI技術加持，騰訊已經發現了3例快速射電暴和41顆脈沖星，據吳運聲透露，快速射電暴是目前天文界研究的重點，相比脈沖星，快速射電暴因為發行時間短、AI訓練資料少、出現頻率低，是以其發現難度相比脈沖星更大。
基于此，騰訊設計了全新的端到端AI算法，引入了多示例學習和大模型的注意力機制，可以提升模型的精度和資料處理速度。
文化領域，騰訊今天開源了全球最大的甲骨文多模态綜合資料集，包含拓片、摹本；單字對應位置、對應字頭等。該資料集可以幫助研究人員開發甲骨文檢測識别模版、生成自行。
最後，吳運聲談道，無論在産業落地還是科學文化探索、大模型技術的進階，這些發展都離不開完整的産業鍊協同和生态共建。
結語：騰訊已積累大模型全鍊路自研技術
一直以來，從語音、圖像到大模型，騰訊一直都僅僅站在AI技術發展的中心位置，通過核心技術突破在結合場景推動AI的研究與落地，目前在大模型方面，騰訊已經積累了從算力基礎設施到機器學習平台以及上層應用的全鍊路自研技術。
随着大模型這類前沿AI技術在實體經濟、文化保護、科學發現等領域的應用深入，并且上中下遊的産業鍊協同和生态共建加速，AI正在成為全社會智能更新的強勁動力。