天天看點

火山引擎入場大模型,場景、場景、場景

作者:钛媒體APP
火山引擎入場大模型,場景、場景、場景

火山引擎總裁 譚待

大模型落地,難在哪兒?模型效果、推理成本、落地難度,每一道坎都夠企業頭疼,而“用得起”的難題,首當其沖。

目前大模型進入到了一個為廣大客戶場景服務的階段,這意味着不僅要能成功運作,還要能高效地提供服務,用更少的算力實作更高的智能水準,并且以價格合理的方式提供給客戶。随着模型需求複雜性的增加,成本還會進一步上升,高昂的推理成本也可能成為很多企業大模型應用、創新的壁壘,因為它們可能無法承擔如此巨大的開支。而最低的價格,往往能讓使用者距離用得起的AI更近一步。

5月15日,位元組跳動豆包大模型将價格一舉擊穿——目前豆包主力模型的市場定價隻有0.0008元/千Tokens,比行業價格低99.3%,0.8厘就能處理1500多個漢字、1元錢就能夠購買到125萬Tokens,該價格放在目前全球同行業中都具備極強的競争力。

“大模型的超低定價,來源于我們在技術上有信心優化成本。”火山引擎總裁譚待說。

談到降價的邏輯,譚待在媒體溝通會上指出,“我們在模型層面做了大量技術優化,同時,針對AI工程方面,比如對底層的異構算力還實作了混合排程和分布式推理等優化,這些都能夠對推理成本實作大幅度降低。”大模型能力的提升最終還要回到應用生态的繁榮,從今天來看,很多企業在嘗試大模型應用創新時,其實存在比較高的風險,那麼從供給方的角度,必須要将企業的試錯成本降到非常低,才有可能讓大家廣泛地用起來。

當然,技術的價值始終要以落地來判斷。

這也是此次火山引擎将豆包大模型價格、産品矩陣以及新一代AI技術棧和盤托出的邏輯:大模型應用進入到更為現實的階段,真正創造場景價值才能赢得客戶。

貼近業務,跑通大模型

大模型必然要落地融合進足夠多的場景中,但這并不容易。個中原因,有技術層面的,比如幻覺、精調能力;也有非技術層面的,比如與企業業務的适配度,業務人員學習能力等。

也正因為大模型與産業結合仍處于早期階段,沒有成熟路徑參考,企業通常面臨選擇困難。

目前,市面上存在的不少通用大模型還在追求千億甚至萬億參數量級。參數量高的大模型通常具備更強的處理能力和泛化場景,這個不假。但如果大模型一味隻追求參數量的提升,并不一定能在特定業務場景中達到最佳效果,反而可能忽視了業務實際需求。

從企業角度講,想要在實際業務場景中用上大模型,除了面臨成本、安全、算法效果差等技術層面的難題外,還往往缺乏相關的落地經驗和案例參考。

從技術廠商角度講,面向廣泛的客戶,如何既能洞察千企千面的需求,又能将大模型的應用門檻降到最低,也是目前共性的商業化難題。

答案從實踐中來。

作為資料密集型産業典型代表的金融業,其大模型應用一直走得相對快一點,尤其營銷、風控、投研、客服等領域是智能化的前沿領域。

以華泰證券為例,此前建構的證券客服體系存在産品形态孤立、意圖識别泛化性不足、缺乏多輪會話了解能力等問題,使用者體驗有待提升。如今,華泰證券正利用AI大模型優化财富管理助手,通過引入大模型技術,與傳統模型算法、業務交易流程融合,新一代财富管理助手解決了傳統技術無法對意圖進行精準識别、無法與客戶之間進行多輪互動的問題。

火山引擎入場大模型,場景、場景、場景

圖檔來源:unsplash

觀察華泰證券财富管理助手從思考到産品打磨的過程,能夠發現,很多企業擁有海量使用者場景,且具備很強的知識壁壘,引進先進技術的前提條件之一,是必須将方案優化到比較成熟的階段。其中的關鍵是面向不同場景的大模型統一應用架構、新一代知識庫等,作為技術提供方,火山引擎提供了多個模型調用、靈活可觀測的雲算力、安全沙箱等能力支援。在模型應用階段,火山引擎以“1+N+X”的模型能力矩陣,提供國内最好的模型組合,使其避免硬決策壓力、保證模型選型的競争力,同時實作模型調用的觀測能力和模型版本的平滑更新,保障模型接入可更新、可復原、可觀測。

針對具體業務場景進行模型定制和優化,探索更加适合業務場景的模型結構和算法,同時,深入了解客戶需求和痛點,從客戶視角出發來評估和優化模型,關注模型的易用性和可解釋性,進而實作最佳效果和成本效益。從火山引擎身上,我們看到了大模型應用加速落地的最佳路徑。

再往前走一步,紮根場景

任何技術落地路徑都會遭遇業務場景的具體挑戰——各行業企業其實都有自己的業務場景、專有資料以及特定的需求,能不能解決具體場景中的問題,會有怎樣的實踐效果……誰都沒法保證一步到位的最佳實踐,大模型落地是需要疊代、試錯、再疊代的過程。

钛媒體曾與某企業有過深入交流,這家企業為應用大模型在初始階段就梳理了近百個業務場景,但即便擁有衆多真實的業務場景,要實作落地還需進行細緻的評估與規劃。比如根據投入産出比來判定場景的優先級,明确哪些是高價值場景,哪些與核心業務關聯度較低,以及如何在邊緣端實作高效推理,現有生産端系統是否具備采集模型推理所需的資料,甚至企業還需要關注一線員工對AI大模型是否有充分的了解。僅在單試點驗證大模型的落地性階段,就耗費了數月之久。

火山引擎入場大模型,場景、場景、場景

圖檔來源:pexels

縱觀大模型場景落地的程序,各家大模型廠商已有分化,或聚焦自身業務重構,或試圖積累行業标杆。而對于後者,大部分廠商會先建構一套通用大模型體系,然後基于該模型提供面向某些行業、場景的綜合類解決方案,這往往要求企業客戶有非常強的AI訴求和落地性,且針對的場景高度同質化。

與之相反,火山引擎選擇從客戶出發,去了解客戶獨特的場景,并且親曆每個場景的産品打磨,以此反推覆寫廣泛場景應用——這條路看起來更難走,但卻收獲了更高的調用量,驗證了領先性。

豆包大模型原名“雲雀”,是首批通過大模型服務安全備案的大模型之一。基于豆包大模型打造的AI應用助手“豆包APP”,累計下載下傳量超過1億,已成為抖音、小紅書、頭條等平台使用者用于解決工作生活的主流AI生産力工具。據透露,目前豆包平台上已有超過800萬個智能體被建立,月度活躍使用者達到2600萬。

除了在豆包APP落地外,位元組跳動還打造了在開發、學習、互動娛樂、分身創作等多個場景的AI應用,并且推動位元組跳動内部50多個業務,和火山引擎服務的金融、汽車、泛互等行業客戶,逐漸接入豆包大模型,實作AI提效。

像拳頭級B端産品飛書已全線擁抱AI,基于大模型技術建構的飛書智能夥伴功能,可為企業提供每日工作總結、會議紀要總結、企業知識搜一搜等服務。

海量使用者基礎和廣泛的客戶應用場景,提供給豆包大模型很好的模型訓練場。因為隻有最大的使用量,才能打磨出最好的大模型,反過來,大模型效果越好,越了解真實使用者需求,越能吸引使用者使用。

據譚待透露,豆包大模型目前平均每天處理1200億Tokens文本(約1800億漢字),生成3000萬張圖檔。為真正意義上滿足不同場景中企業對大模型的訴求,豆包大模型将通過火山方舟大模型服務平台對外服務,包括豆包通用模型pro、豆包通用模型lite兩款主力模型,以及适配多種業務場景,具備圖像、語音、語義的多模态模型家族,包括角色扮演模型、語音合成模型、語音識别模型、聲音複刻模型、文生圖模型、Function call模型、向量化模型。

在做大模型這件事情上,當多數廠商還在大量的同質化場景裡打轉,豆包大模型已經從内外業務和客戶應用做起,邊解決場景化需求,邊打磨能力,然後通過火山方舟給廣大企業客戶以最優成本效益、最高自由度的産品。

另一方面,大模型服務平台火山方舟還給客戶和開發者提供一個安全穩定、易上手、屏蔽複雜性的環境,以最高成本效益、最大自由度的形式,助力客戶實作大模型應用實踐。

火山引擎的模型産品和技術能力建構了場景實踐和技術疊代的正向循環,授人以漁,賦能客戶激發更多創新和增長。

大模型落地,還需全棧服務

AI技術不是空中樓閣,大模型落地不是單點能力輸出,智能化背後是系統工程的搭建。觀察目前已經用上大模型驅動業務應用的企業客戶,這也是他們的共同訴求。

例如,華泰證券通過火山方舟大模型服務平台實作了多模型的靈活調用,并依靠火山引擎提供的算力、資料服務、安全沙箱等為驅動業務增長保駕護航。

FlowUs息流聯合火山引擎在探索知識管理與協同新模式時,接入了豆包大模型,在多個應用場景中實作模型落地應用,同時還使用火山引擎增長分析産品DataFinder,以實作整體資訊流效率提升。

華碩專門為消費者打造的人工智能服務“豆叮AI助手”,借助位元組跳動的大模型能力獲得了出色的對話、查找以及創作能力,同時借助火山引擎向量資料庫 ViKingDB,提升向量相似度檢索能力,確定使用者向豆叮提出問題時,系統能夠迅速而精準地定位問題,檢索到相關結果,并交由大模型精煉總結。

在與大量客戶以及内部業務實踐的碰撞中,火山引擎還将新的共性訴求抽象出來,形成了更貼合企業和開發者的一站式大模型服務平台——火山方舟。2024春季火山引擎 FORCE 原動力大會上,火山方舟2.0全面更新,提供與頭條抖音同款搜尋能力的聯網插件,與頭條抖音同源海量内容的内容插件,内嵌豆包向量化模型的RAG知識庫插件,以及幫助企業快速搭建AI應用的“扣子專業版”開發平台。與此同時,火山引擎還提供智能資料洞察AI助手ChatBI,面向營銷場景的智能創作雲2.0,銷售AI助手Sales Copilot等諸多開箱即用的AI應用。

目前,豆包大模型+火山方舟大模型服務平台+雲底座的組合模式,已經成為火山引擎助力衆多企業夥伴智能化轉型的全棧AI服務方案。可見,客戶需要的不僅是插入某個大模型,還需要一個提供更強系統承載力、更優插件、更好算法服務,以及具備安全可信方案的大模型服務平台。從模型到平台再到算力底座,每一步都為企業數智化提供了強大支撐。

作為位元組跳動ToB能力輸出平台,火山引擎在AI大模型時代的角色正逐漸更新。盡管就目前而言,大模型産業距離充分競争局面還早,但為了成為更好的智力和算力提供方,圍繞資料、算力、算法,以及與客戶場景生态共創層面,火山引擎正在全速運轉。

(本文首發于钛媒體App,作者 | 楊麗,編輯 | 蓋虹達)

繼續閱讀