天天看點

打通資料建設和應用!火山引擎提出資料飛輪,讓資料驅動業務發展

作者:大資料文摘
打通資料建設和應用!火山引擎提出資料飛輪,讓資料驅動業務發展

大資料文摘出品

作者:Caleb

隻有活的資料、真正被利用起來的資料,才是真正有價值的資料。

這是4月18日火山引擎總裁譚待在火山引擎FORCE原動力大會上所提出的觀點。

這句話,也解釋了資料中台争議之聲愈演愈烈的原因。資料中台隻是資料建設的一部分,彙集不同業務場景的資料,做好資料打通和統一的資料資産沉澱,并不能保證資料的價值得到有效發揮。

在譚待看來,要發揮好資料價值,一定要以資料消費為核心,讓資料消費驅動業務應用,建構資料應用的閉環;通過資料消費驅動資料建設,有的放矢地建立資料平台。

這也是火山引擎結合對位元組資料驅動經驗的總結,提出資料飛輪的原因。

換句話說,資料飛輪實際上解決的是,以資料消費促資料生産,以資料消費助業務發展,幫助企業實作資料驅動,并形成飛輪效應。

資料飛輪的核心是資料消費

資料飛輪這一概念的提出是基于位元組跳動10年的基于資料驅動的理念,以及在業務實踐中沉澱下來的經驗模式。

對于資料飛輪,火山引擎資料産品負責人郭東東提到,它強調的是資料與業務之間的互動關系,通過上下輪的互相加速,讓資料能夠在業務場景中流動起來,不斷實作業務價值提升。

資料飛輪的核心是資料消費。資料消費能夠讓業務在進行決策與營運的時候,更快、更有效。比如在2021年抖音春晚的紅包活動上,分析師通過實時的DAU/DNU名額,為下個時間段的紅包投放量做預算決策,這種實時的資料消費就能讓決策更高效、更有效。

一旦人們發現借助頻繁的資料消費能做出高效決策,并帶來更好的業務價值後,會促生出更多、更頻繁甚至延伸到更寬領域的消費。

當資料消費盛行時,企業會加大在資料建設、資料治理和資料查詢能力的投入,那麼下飛輪的轉動便會推動資料在各個應用場景的快速滲透,并也會促進資料消費。

上下兩個飛輪轉動合在一起,實際就能形成資料飛輪的閉環,閉環内是資料與業務的雙向互動,實作資料驅動業務提升,同時又能驅動資料提效。

打通資料建設和應用!火山引擎提出資料飛輪,讓資料驅動業務發展

圖:以資料消費助力業務發展,以資料消費促進資料生産的資料飛輪形成閉環

比如在位元組内部,截至2022年底,每天新增的A/B實驗2000多個,同時運作的A/B實驗有3萬多個。

這種濃厚的A/B實驗文化和資料驅動意識,便是依賴于資料飛輪的轉動實作。也正是得益于此,郭東東透露道,在位元組内部搭建起新的複雜業務的核心名額最快隻需要一周時間。

“産品方案+咨詢服務”助推飛輪轉動,幫助企業實作資料價值

外部企業如何建設自己的資料飛輪?火山引擎從産品方案和咨詢服務兩大方面切入,幫助企業落地資料飛輪模式。

在産品方案層面,火山引擎去年釋出了數智平台VeDI,開放了位元組跳動内部資料技術與工具能力,覆寫資料引擎、資料建設與管理、資料應用等全鍊路互相協同的資料産品。

打通資料建設和應用!火山引擎提出資料飛輪,讓資料驅動業務發展

圖:火山引擎數智平台(VeDI)産品矩陣

資料引擎和資料建設産品,可以讓企業低成本、高效率地擁有好資料。資料應用層解決的是業務細分場景的數智化,一方面可以用低門檻、高智能的方式,讓企業使用資料更容易,另一方面則是通過多元、多場景,讓企業資料收益更豐沃。

此外,火山引擎還進一步加強對外開放的資料産品能力,更新湖倉一體分析服務LAS、Serverless流式計算Flink服務,釋出全新産品管理駕駛艙Plus。

湖倉一體分析服務LAS更新重點落在企業 Serverless 智能湖倉建構上,通過極緻性能和Serverless全托管等能力,為企業帶來資料基礎設施建設的降本增效。

打通資料建設和應用!火山引擎提出資料飛輪,讓資料驅動業務發展

圖:火山引擎總裁譚待

在計算領域,Serverless流式計算Flink服務脫胎于抖音内部的超大規模實踐,峰值可以達到QPS 100億,穩定性提升51%,實作了彈性的擴縮容和在/離線業務混部,提升40%的資源使用率。Serverless Flink還能實作統一排程,支援流批一體等多種計算模式。

對于管理者,他們需要實時全面的資料來觀察和指導業務的營運情況,管理駕駛艙Plus的價值便在此展現。位元組跳動内部,也正是通過該産品為集團和每個子業務建立起了同源共享的管理駕駛艙。根據譚待介紹,管理駕駛艙Plus能夠做到0代碼搭建,實時互動,以及小程式和APP多端移動覆寫。

跨行業,資料飛輪是如何适配的呢?郭東東表示,火山引擎的To B邏輯是将位元組内部沉澱的産品,包括工具和經驗,開放到更多的To B客戶中,同時這些經驗會進一步回報回到位元組内部的使用場景。在不熟悉的領域,經驗的使用和轉化,工具的适配和調整,也都會結合客戶的場景進行深化和轉化。

實際上,除了産品方案之外,火山引擎還會提供咨詢服務和解決方案,圍繞企業如何做好使用者增長,提供具有位元組特色的UG咨詢服務和資料BP咨詢服務,并深入業務提供個性方案。

據了解,國内一家股份制銀行目前已經通過火山引擎的“資料飛輪”模式,實作了營銷應用上的實時精準營銷和多管道的使用者營運,最終實作了1.6億AUM(資産管理規模)的增長。

多雲“趨勢”下,火山引擎如何更好支撐資料飛輪等應用?

2022年,火山引擎對超過4500個雲消耗大于100萬的企業進行了調研,發現使用多雲架構的企業占比達到88%,達到曆史新高。

雖然公共雲消耗如今已經是私有雲的1.5倍,但麥肯錫調研發現,到2025年,中國仍然有42%企業使用私有雲。也就是說,在未來一段時間内,很大一部分企業仍需要相容私有雲和公有雲。可以說,多雲不是趨勢,已是事實。

企業使用多雲的原因,一方面是避免被一家雲廠商綁定,希望能有更高可靠性和更優成本效益,另一方面也有資料安全和監管要求等原因。

據了解,火山引擎不僅支援資料飛輪相關的産品多架構部署,也通過數款多雲産品,幫助企業建設好分布式多雲體系。

首先是分布式雲原生平台,其基于火山自研的聯邦引擎,提供面向多雲、混合雲和邊緣雲場景的分布式雲原生管理能力,連接配接并管理使用者任何地域、任何基礎設施上的Kubernetes叢集。

火山引擎的雲原生平台本身基于内部超大規模的驗證,可以支援超過20萬節點、千萬級核的使用場景。不論企業的應用是建構在火山引擎雲上、第三方服務商的雲上,還是IDC自建基礎設施,都可以實作叢集統一資源與權限管理、應用跨叢集分發、應用故障遷移等,達到跨雲的一緻性服務。

其次,多雲CDN管理平台基于位元組數百TP的帶寬和十多家CDN廠家實操經驗建構而成,為企業客戶在多雲場景下提供CDN的智能容災、品質優化、成本管理、運維優化等綜合管控治理能力。

目前,火山引擎已經為行業多家客戶提供相關服務,通過測試,多雲CDN管理平台能有效降低運維管理成本50%,并且進一步降低CDN的使用成本10%。

多雲給企業提供了更多選擇,但同時多雲的異構性也帶來了更多安全挑戰,為此,火山引擎推出輕量級全棧多雲安全平台,旨在為客戶提供SaaS化多雲安全管理服務。通過統一管理多雲、雲上雲下、中心+邊緣等各種環境的資産、服務、告警、身份四要素,解決多雲環境下安全事件難管理、安全漏洞難處置、防護資産不清晰、安全加強難統一的核心痛點。

最後,面向公有雲和私有雲長期共存的場景,火山引擎混合雲veStack平台采取了和公有雲同源的架構設計。veStack主要有三個方面的優勢:

1.與傳統私有雲相比,veStack可以提供更高的資源使用率,基于自研DPU帶來更高性能,裸金屬資源使用率達到100%;

2.更靈活的建構方式,10台起步就能建設全棧雲;并且擴充性極佳,單Region支援擴容到10萬台實體機;

3.雲上雲下能力統一、體驗統一、管理統一。

此外,veStack也支援自研分布式存儲、本地盤、FC等異構存儲協定;相容一雲多芯,支援Intel、海光、鲲鵬等異構晶片伺服器,助力金融、政府、央國企等企業應對業務遷移挑戰。

目前,火山引擎多雲相關的産品已經被外部客戶廣泛應用。比如在AI制藥領域,晶泰科技在多雲架構上的挑戰較大,單個鏡像超過20G,500+節點需要在短時間内拉起,同時在算力供給上對成本效益要求很高。

火山引擎為晶泰科技搭建了雲原生基礎設施,通過鏡像預熱、鏡像緩存、P2P傳輸等功能,實作超大鏡像秒級加載,以及實作了數百節點分鐘級自動擴縮容。同時,通過混合排程、準預留執行個體等措施,提供高成本效益算力資源。

毫無保留的開放

釋出會上,有一句話令人印象深刻。

“位元組跳動用過全球幾乎每一朵公有雲,以及大多數CDN,形成了一套完整的分布式雲管理體系和架構實踐”,譚待堅信火山引擎是最懂多雲和分布式雲的雲服務商,這些沉澱的技術能力也都毫無保留地進行了開放。

事實上也的确如此。

火山引擎宣布與位元組跳動國内業務并池,把抖音等業務的空閑計算資源可極速排程開放給客戶使用。據悉,基于内外統一的雲原生基礎架構,火山引擎離線業務資源分鐘級排程10萬核CPU,線上業務資源也可潮汐複用,彈性計算搶占式執行個體的價格最高可優惠80%以上。

這隻是其中一個例子,除了上面提到的多雲、資料飛輪,還有更新的機器學習平台、智能推薦-高速訓練引擎等等……

在大資料文摘看來,火山引擎這種毫無保留的将位元組跳動快速發展過程中積累的增長方法、技術能力和工具開放給外部企業,相信會幫助不少企業,在數字化時代激發自身的數字化原動力,重新回到增長的主航道。

繼續閱讀