天天看點

下一代大資料處理引擎,阿裡雲實時計算獨享模式重磅釋出

11月14日,阿裡雲重磅釋出了實時計算獨享模式,即使用者獨享一部分實體資源,這部分資源在網絡/磁盤/CPU/記憶體等資源上跟其他使用者完全獨立,是實時計算在原有共享模式基礎上的重大更新。

(觀看實時計算釋出會直播:

https://yq.aliyun.com/live/591

獨享模式優點更加突出

1、UDX開放:實時計算的共享模式是多個使用者共享一個實體機群,在網絡/磁盤層面沒有辦法做到完全隔離。是以,基于安全考慮,共享模式下無法對您開放UDX/DataStream更靈活、更底層的API。在某些場景下,無法滿足您的業務需求。獨享模式在網絡及實體機層面,有完全的隔離,是以可以開通UDF等更底層的API,滿足您的業務需求。

2、豐富的硬體:業務越來越豐富,對底層機器的配置會有更多樣化需求,比如CPU:MEM配比,以及GPU、FPGA等硬體的需求。實時計算獨享叢集可充分複用阿裡雲在硬體層面做的各種優化,為您解決各種硬體适配問題。

3、使用者間的隔離:對于ECS獨享叢集,您能夠獨享一批計算資源,且從網絡上進入您的VPC。既滿足了您專網專用、資源獨享的需求,也可以跟您的IDC打通,更貼近您的業務需求。

4、更豐富的功能:Data Lake場景下的ETL:通過SQL+UDF的方式,使ETL任務開發更加便利。異構資料源計算:支援從異構資料源讀取資料做分析。例如,遠端從OSS讀取資料歸檔日志,并join hbase中高危ip,做網絡攻擊分析等等。支援30+資料源的源表和結果表。

2018年雙11,實時計算完成三項世界級挑戰

雙11是購物狂歡,也是對阿裡技術的“大考”。天貓“雙11”的成交額沖破100億元隻花了2分05秒,而突破千億大關,僅僅花了1小時47分鐘,比2017年快了7個多小時。這種瘋狂帶來了阿裡史上最大的雙11流量洪峰,實時計算處理能力已經相當于一秒鐘内讀完120萬本2018年新版的《新華字典》。

下一代大資料處理引擎,阿裡雲實時計算獨享模式重磅釋出

2013年雙11購物狂歡節第一分鐘成交破億,一千多萬人同時湧入天貓。這些資料在杭州淘寶城内的資料大屏準實時播報。大屏上跳動的每個數字,來自于阿裡集團内部幾十個系統間的緊密合作,當在以最快速度秒殺到雙11熱賣商品的同時,這些系統已經完成了無數輪的資料采集、傳輸、加工、計算以及回報到頁面的工作。這也是阿裡雲實時計算技術的首次亮相。

在2018年的雙11中,實時資料處理技術,包括日志資料和交易資料的實時采集、分發、計算,最終在媒體直播大屏上實時渲染和展示,整個鍊路的穩定性保障壓力是巨大的。可以說,實時計算完成了三項世界級的挑戰:

1、低延時,從零點第一筆交易發生,到媒體大屏上顯示出統計結果,整個處理過程延時控制在3秒以内;

2、實時計算處理峰值達到17.2億條/秒,實時計算的整體性能比去年提升了N倍;

3、高可用,全天服務不降級、無故障,扛下了高峰期所有的流量。

一站式、高性能實時大資料處理平台

阿裡雲實時計算是一套基于Apache Flink建構的一站式、高性能實時大資料處理平台,廣泛應用于流式資料處理、離線資料處理、DataLake計算等場景,助力企業向實時化、智能化大資料計算更新轉型。

基于Apache Flink在阿裡巴巴搭建的平台于2016年正式上線,并從阿裡巴巴的搜尋和推薦這兩大場景開始實作。為了将Apache Flink在阿裡巴巴真正運作起來,阿裡巴巴實時計算團隊做了大量的優化,在阿裡雲上的産品命名為時時計算,以Flink SQL為主要API,緻力于打造一款全球領先的實時計算引擎。

下一代大資料處理引擎,阿裡雲實時計算獨享模式重磅釋出

據了解,阿裡雲實時計算脫胎于阿裡集團内部雙11實時大屏業務,曆經長期摸索和發展,将阿裡集團本身沉澱多年的實時計算産品、架構、業務能夠以雲産品的方式對外提供服務,使用者可以完全享受到阿裡集團最新最前沿的計算引擎能力,業務上可規避阿裡集團多年在流式大資料的試錯和教訓,更快、更輕松地實時化大資料處理流程,助力業務發展。

經過多年沉澱,目前,阿裡雲實時計算産品已具有國際領先的産品優勢,在吞吐/時延、SQL支援、開發體驗、視窗支援、亂序支援、上下遊對接等多方面都優于其他雲廠商的相關産品。相對spark、storm等,阿裡雲實時計算人力成本低,開發運維更加便利,還可以無縫對接阿裡雲資料存儲。使用者可以充分利用阿裡雲實時計算提供的産品優勢,友善快捷的解決自身業務實時化大資料分析的問題。

下一代大資料處理引擎,阿裡雲實時計算獨享模式重磅釋出

切實解決使用者痛點

阿裡雲實時計算可以提供FlinkSQL協助使用者簡單輕松完成流式計算邏輯的處理。同時,受限于SQL代碼功能有限無法滿足某些特定場景的業務需求,阿裡雲實時計算同時為部分授信使用者提供全功能的UDF函數,幫助使用者完成業務定制化的資料處理邏輯。在流資料分析領域使用者直接使用FlinkSQL+UDF即可完成大部分流式資料分析處理邏輯,目前的實時計算更擅長于做流式資料分析、統計、處理。主要解決了使用者的三大痛點:

1、流式資料的及時性

資料的業務價值随着時間的流失而迅速降低,是以在資料發生後必須盡快對其進行計算和處理。而傳統的大資料處理模式對于資料加工均遵循傳統日清日畢模式,即以小時甚至以天為計算周期對目前資料進行累計并處理,顯然這類處理方式無法滿足資料實時計算的需求。在諸如實時大資料分析、風控預警、實時預測、金融交易等諸多業務場景領域,批量(或者說離線)處理對于上述對于資料處理時延要求苛刻的應用領域而言是完全無法勝任其業務需求的。而實時計算作為一類針對流資料的實時計算模型,可有效地縮短全鍊路資料流時延、實時化計算邏輯、平攤計算成本,最終有效滿足實時處理大資料的業務需求。

2、一站式的流式資料處理

不同于開源或者自建的流式處理服務,阿裡雲實時計算是完全托管的流式計算引擎,阿裡雲可針對流資料運作查詢,無需預置或管理任何基礎設施,使用者可以享受一鍵啟用的流式資料服務能力。阿裡雲實時計算天然內建資料開發、資料運維、監控預警等服務,友善使用者最小成本試用和遷移流式計算産品。

3、SQL化的流式分析

支援标準SQL(産品名稱為:FlinkSQL),提供内建的字元串處理、時間、統計等各類計算函數,替換業界低效且複雜的Flink開發,讓更多的BI人員、營運人員通過簡單的FlinkSQL可以完成實時化大資料分析和處理,讓實時大資料處理普适化、平民化。

同時,實作實時的資料監控/分析。比如BI人員可以看到自己網站實時的訪客資料變化,購買情況,交易額波動等,不需要一段時間後才能做統計和分析。之前150人/月的工作,現在隻需3個人/月就可以輕松解決,效率提升了50倍。

使用場景廣泛

實時計算擅長解決的幾個領域的應用場景包括,實時的網絡點選PV、UV統計;統計交通卡口的平均5分鐘通過車流量;水利大壩的壓力資料統計和展現;網絡支付涉及金融盜竊固定行為規則的告警等。特别适合BI人員、大資料開發人員等使用者。

大體分為四種典型場景:

**網際網路點選流分析:實時分析網站使用者行為,精準實時把握使用者畫像;

金融實時風控:實時監控金融惡意行為,實時風控避免使用者損失;

物聯網IOT風控:實時監控偵測裝置故障,即使避免潛在業務風險;

電商精準推薦:實時跟蹤使用者行為變化,精準推薦提升産品銷量。**

下一代大資料處理引擎,阿裡雲實時計算獨享模式重磅釋出

使用者案例豐富

經過兩年的發展,實時計算在集團内,淘寶、天貓、螞蟻金服、菜鳥、工業大腦等諸多業務均大量應用了實時計算技術。今年以來,衆安保險、全民TV、千尋、新華智雲等集團外部客戶也上線了諸多實時計算的典型場景和應用。

下一代大資料處理引擎,阿裡雲實時計算獨享模式重磅釋出

獨享模式應運而生

下一代大資料處理引擎,阿裡雲實時計算獨享模式重磅釋出

實時計算今年4月份商業化以來,一直以“共享模式”的形式對外輸出,在批處理領域,SQL 已經經曆了幾十年的考驗,是公認的經典。但另一方面也對使用者造成兩大困擾:

1.僅使用 SQL難以描述自己的業務邏輯;

2.将某些已有的存在于代碼中的業務邏輯翻譯成SQL,煩不勝煩。

是以,實時計算獨享模式應運而生。獨享模式,是實時計算在原有共享模式基礎上的補充。使用者獨享一部分實體資源,這部分資源在網絡/磁盤/CPU/記憶體等資源上跟其他使用者完全獨立。具備UDX開放、豐富的硬體、使用者間的隔離等特性。

使用流程簡潔友善

實時計算的基本計量機關為CU(Compute Unit,即計算資源),一個CU對應于實時計算底層系統是一個CPU的計算能力。實時計算底層使用虛拟化技術進行資源隔離,保證一個基本的CU消費且最大消費僅能為一個CPU的計算能力。

産品的具體使用也十分友善,具體來說有以下幾步:

下一代大資料處理引擎,阿裡雲實時計算獨享模式重磅釋出

了解更多産品詳情,歡迎點選

https://promotion.aliyun.com/ntms/act/rc.html

觀看實時計算釋出會直播

點選聚能聊,暢所欲言:實時計算,獨享模式

https://yq.aliyun.com/roundtable/438652

點選了解“阿裡雲新品釋出會頻道”:

https://promotion.aliyun.com/ntms/act/cloud/product.html