天天看點

火山引擎釋出“火山方舟”,加速大模型應用落地

作者:芒果都市

6月28日,在火山引擎主辦、英偉達合作舉辦的“V-Tech體驗創新科技峰會”上,火山引擎釋出大模型服務平台“火山方舟”,面向企業提供模型精調、評測、推理等全方位的平台服務(MaaS,即Model-as-a-Service)。目前,“火山方舟”內建了百川智能、出門問問、複旦大學MOSS、IDEA研究院、瀾舟科技、MiniMax、智譜AI(以拼音首字母排序)等多家AI科技公司及科研院所的大模型,并已啟動邀測。

“企業使用大模型,首先要解決安全與信任問題”,火山引擎總裁譚待表示,“火山方舟”實作了大模型安全互信計算,為企業客戶確定資料資産安全。基于“火山方舟”獨特的多模型架構,企業可同步試用多個大模型,選用更适合自身業務需要的模型組合。

火山引擎釋出“火山方舟”,加速大模型應用落地

圖:火山引擎總裁譚待公布“火山方舟”首批大模型合作夥伴

首創安全互信計算

與小模型“自産自用”不同的是,大模型的生産門檻很高,資料安全成為大模型時代的新命題。據網絡安全公司Cyberhaven的調查,至少有 4%的員工将企業敏感資料輸入 ChatGPT,敏感資料占輸入内容的比例高達 11%。2023 年初,三星公司在使用 ChatGPT不到20天時,就發現其半導體裝置相關機密資料被洩露,并連續發生3起類似事故。

譚待認為,企業使用大模型,最擔心的是資料洩露;如果将大模型私有化部署,企業将承擔更高的成本,模型生産方也會擔心知識資産安全。“火山方舟”的首要任務,就是做好大模型使用者、提供者和雲平台可以互相信任的安全保障。

據火山引擎智能算法負責人吳迪介紹,“火山方舟”已上線了基于安全沙箱的大模型安全互信計算方案,利用計算隔離、存儲隔離、網絡隔離、流量審計等方式,實作了模型的機密性、完整性和可用性保證,适用于對訓練和推理延時要求較低的客戶。

火山引擎釋出“火山方舟”,加速大模型應用落地

圖:火山引擎智能算法負責人吳迪介紹“安全互信計算”

吳迪表示,“火山方舟”還在探索基于NVIDIA新一代硬體支援的可信計算環境、基于聯邦學習的資料資産分離等多種方式的安全互信計算方案,更全面地滿足大模型在不同業務場景的資料安全要求。

會上,NVIDIA 開發與技術部亞太區總經理李曦鵬表示,NVIDIA 與火山引擎過往合作成果豐碩,包括共同合作的 GPU 推理庫 ByteTransformer 在 IEEE 國際并行和分布式處理大會(IPDPS 2023)上獲得最佳論文獎,雙方還聯合開源了高性能圖像處理加速庫 CV-CUDA,并在大規模穩定訓練、多模型混合部署等方面的技術合作上取得成效。

未來 NVIDIA 和火山引擎團隊将繼續深化合作,包含在 NVIDIA Hopper 架構進行适配與優化、機密計算、重點模型合作優化、共同為重點客戶提供支援,以及 NeMoFramework 适配等,攜手助力大模型産業繁榮。

降低大模型使用成本

中國科學技術資訊研究所等機構釋出的《中國人工智能大模型地圖研究報告》顯示,截至今年5月,國内已公開披露的大模型數量達到79個。

大模型密集湧現,企業面臨“選擇困難”。在吳迪看來,技術發展日新月異,國内大模型正在快速疊代,不同大模型在特定任務上各有千秋,企業不必急于綁定一家大模型,而是應該結合自身業務場景,綜合評估使用效果和成本,在不同場景選用更具成本效益的模型。

吳迪稱,訓練大模型很昂貴,但是從長期來看,模型的推理開銷會超過訓練開銷。效果和成本的沖突永遠存在,降低推理成本會是大模型應用落地的重要因素,“一個經過良好精調的中小規格模型,在特定工作上的表現可能不亞于通用的、巨大的基座模型,而推理成本可以降低到原來的十分之一。”

資料顯示,微軟以醫學文章資料精調了生物領域的BioGPT-Large模型,僅有15億參數,其在 PubMedQA 基準測試中的準确率卻優于有着上千億乃至數千億參數的大型通用語言模型。

“火山方舟”提供了豐富的模型精調和評測支援。吳迪介紹,企業可以用統一的工作流對接多家大模型,對于複雜需求可設定進階參數、驗證集、測試集等功能,再通過自動化和人工評估直覺對比模型精調效果,在不同業務場景裡還可靈活切換不同的模型,實作最具成本效益的模型組合。這些自定義名額和評估資料的積累,将成為企業在大模型時代寶貴的資料資産。

據吳迪透露,抖音集團内部已有十多個業務團隊試用“火山方舟”,在代碼糾錯等研發提效場景,文本分類、總結摘要等知識管理場景,以及資料标注、歸因分析等方面探索,利用大模型能力促進降本增效。這些内部實踐在快速打磨“火山方舟”,推動平台能力的進一步完善。

“火山方舟”的首批邀測企業,還包括金融、汽車、消費等衆多行業的客戶。北京銀行CIO龔偉華表示,大模型與客戶營銷、辦公協同、資料智能的結合,在金融應用場景有巨大潛力。北京銀行将與“火山方舟”合作,在算力優化、模型精調等方面展開研究,共同推動金融風控、營銷等模型應用落地。

助力大模型“跑完最後一公裡”

內建多個大模型,供客戶直接對比,“火山方舟”的多模型架構不僅為企業提供了豐富選擇,也得到衆多大模型生産方的積極響應。

ChatGLM是智譜AI推出的千億基座認知模型,其開源版本在大模型開源領域極具影響力,近期智譜AI還對ChatGLM做了新更新,大幅提升了模型能力。在“火山方舟”上,智譜AI提供具有競争力的大模型,火山引擎提供高成本效益資源、針對不同行業的精調能力及綜合解決方案,共建安全可靠的第三方MaaS服務,合力推動各行業的智能化發展。據智譜AI CEO張鵬介紹,智譜AI在火山引擎平台上解決了千億模型訓練的穩定性、性能優化等挑戰。

baichuan-7B釋出後在MMLU、C-Eval等中英文權威榜單中均表現優異。百川智能聯合創始人焦可表示,作為一款授權後可免費商用的開源大模型,開發者們可以通過baichuan-7B低成本部署模型,并根據自身需求靈活拓展模型能力,而本次與“火山方舟”的合作也将有效降低企業使用者的大模型接入門檻和使用成本,幫助更多企業輕松擷取專業服務。

MiniMax等大模型企業代表也亮相參加“火山方舟”的釋出儀式。此前,MiniMax聯合創始人楊斌公開分享了與火山引擎的合作成果:MiniMax在火山引擎上實作了從月至周級别的大模型疊代速度,和指數級的使用者互動增長,“或許是國内第一家在公有雲上實作數千卡并行訓練的公司”。MiniMax還自研了超大規模的推理平台,穩定支撐着每天上億次的大模型推理調用。MiniMax的文本、語音、視覺三個模态大模型登陸“火山方舟”,是雙方合作的進一步深化。

科研機構同樣是推動大模型技術發展的重要力量,複旦大學自然語言處理實驗室開發的MOSS大模型、IDEA研究院開發的姜子牙系列大模型,均是該領域的代表作。IDEA研究院認知計算與自然語言研究中心講席科學家張家興表示,大模型生産方會不斷提升基礎模型能力,為大模型應用完成90%-99%的工作,“火山方舟”為代表的雲平台要幫助客戶為不同場景精調模型,“跑完最後一公裡”。張家興認為,“在技術驅動和需求拉動的作用下,大模型的世界必然百花齊放”。

譚待判斷,企業使用大模型,未來可能會呈現“1+N”的模式:“1”是通過自研或深度合作,形成1個主力模型;由于成本和場景複雜多元等原因,在這個主力模型之外,還會有N個模型同時應用。

“每一次技術的大變革,都會帶來體驗創新的新機會”,譚待坦言,“火山方舟”還在起步階段,工具鍊和下遊應用插件需要持續完善。平台還将接入更多大模型,并逐漸擴大邀測範圍,與企業客戶共建開放合作的多模型生态,加速大模型在各行各業的應用落地。

編輯:時新宇

繼續閱讀