天天看點

FusionInsight MRS:你的大資料“管家”

2021年4月26日,HDC.Cloud2021(華為開發者大會2021)成功落下帷幕。本次大會,華為雲FusionInsight MRS雲原生資料湖帶着“一架構三湖”的願景與使命來到現場,與衆多行業客戶、合作夥伴、開發者一起,就如何在5G、AI、IoT高速發展的當下,用更好的技術創新,賦能千行百業等議題進行深入的探讨。下面,讓我們一起再次重溫本次活動的精彩瞬間。

資料使能展區華為雲FusionInsight MRS雲原生資料湖綻放光彩

FusionInsight MRS:你的大資料“管家”

華為雲FusionInsight MRS一架“構”三湖

在資料使能展區,華為雲FusionInsight MRS雲原生資料湖帶來最懂行的大資料解決方案,為政企客戶提供湖倉一體、雲原生的大資料解決方案,一個架構可建構3種資料湖:離線資料湖、實時資料湖、邏輯資料湖,支撐政企客戶全量資料的實時分析、離線分析、互動查詢、實時檢索、多模分析、資料倉庫、資料接入和治理等大資料應用場景,使政企客戶高效用數、簡化用數,助力政企客戶實作一企一湖、一城一湖,業務洞見更準,價值兌現更快。

離線資料湖:HetuEngine提供秒級互動式查詢能力,資料不出湖,分析鍊路短,性能比Impala快30%+,分析提效10倍+;DLC提供統一的中繼資料,資料全局可視;HetuEngine提供湖内統一SQL接口:HDFS、Hive、HBase、ES等,簡化用數。

實時資料湖:流處理 + Hudi實作資料更新入湖,從T+1到T+0;ClickHouse提供毫秒級實時OLAP分析能力;Flink提供FlinkSQL能力,批流SQL接口統一,實作流批一體。

邏輯資料湖:HetuEngine提供跨湖、跨倉、跨雲統一通路,減少資料搬遷,資料高效流動,全域資料秒級協同分析秒級響應,業務上線效率提升10倍,由周級縮短至天級。

華為雲FusionInsight MRS踐行産學研合作,全面推進大資料開源技術發展,聯合清華大學釋出了IoTDB時序引擎版本。目前華為雲FusionInsight MRS已應用于60多個國家3000+客戶,助力政企客戶實作一企一湖、一城一湖,業務洞見更準,價值兌現更快!

FusionInsight MRS:你的大資料“管家”

華為雲FusionInsight技術生态工程師黃昊兮講解實驗

在華為雲FusionInsight MRS雲原生資料湖展台的一側,設有開發者實操的沙箱實驗室,華為雲FusionInsight技術生态資深工程師黃昊兮,在現場為大家現身授教,講述“使用MRS Hudi體驗實時入湖、使用MRS Clickhouse體驗實時OLAP、使用MRS HetuEngine體驗跨源跨域分析能力”三個實驗,通過上手實操體驗加深了解各元件的特性你,Hudi能夠支援資料增量更新,從傳統Append 到 Upsert,實作資料實時更新,資料價值釋放從T+1轉變為T+0;Clickhouse具備毫秒級的OLAP分析能力,實作資料分析不出湖,解決了傳統資料備援、來回搬遷的問題;HetuEngine提供統一标準SQL對分布于多個地域(或資料中心)的多種資料源實作高效通路,屏蔽資料在結構、存儲及地域上的差異,實作資料與應用的解耦。

FusionInsight MRS:你的大資料“管家”

華為雲FusionInsight MRS雲原生資料湖展區

展區不僅擁有華為雲FusionInsight MRS雲原生資料湖一架“構”三湖的特性,更有落地實際應用的沙箱體驗,讓觀展嘉賓在獲得大資料前沿技術的同時,收獲一份上手操作的親身體驗。

名師大講堂:暢談新技術、新價值、新趨勢

大會期間,由華為技術專家天團打造的《名師大講堂》系列專題演講,圍繞雲原生、大資料、人工智能等話題,探讨技術創新帶來的價值,分享創新實踐。其中,華為雲FusionInsight MRS雲原生資料湖帶來兩場專家演講,由華為雲FusionInsight解決方案架構師許田立,分享“千級節點的大資料叢集如何無業務中斷更新”主題,由HetuEngine架構師武文博,分享“跨源、跨域場景下如何實作海量資料分鐘級分析”主題。

  • 千級節點的大資料叢集滾動更新,業務無中斷
FusionInsight MRS:你的大資料“管家”

華為雲FusionInsight解決方案架構師許田立演講

随着政企數字化發展,資料湖在政府、金融、營運商、大型企業等中承載越來越多的關鍵資料分析、處理的業務,在日常更新和維護過程中,對于業務連續性保障的要求也越來越高。

而大資料技術疊代快,傳統大資料平台采用離線更新方式,需斷電、重新開機等操作,更新操作複雜,運維繁瑣,影響現網業務運作,且大叢集更新耗時長,突發故障易中斷更新動作,為保持業務的連續性和技術引領,急需業務不中斷的滾動更新能力,確定大叢集資料底座的持續演進。

華為雲FusionInsight MRS雲原生資料湖提供超大規模叢集,支援單叢集2萬+節點規模,并可聯邦無限擴容,同時,從500+節點叢集的标配開始,華為雲FusionInsight MRS雲原生資料湖已提供滾動更新能力,截止目前更新成功率為100%。

通過華為雲FusionInsight MRS雲原生資料湖滾動更新能力,助力政企客戶實作大叢集分批次、循環滾動更新,業務0中斷;故障節點隔離功能確定更新動作的穩定運作,實作7*24小時不間斷服務;1000+精細化運維名額及可視化操作簡化運維,實作一個架構持續演進。

  • 海量資料跨湖跨倉分鐘級分析
FusionInsight MRS:你的大資料“管家”

HetuEngine架構師武文博演講

HetuEngine是統一高效的資料虛拟化分析引擎,與大資料生态無縫融合,實作海量資料秒級查詢;業界首創多源異構協同,實作一站式SQL融合分析,海量資料協同分析分鐘級。

高性能互動式查詢:傳統大資料通過Hive引擎建構即席查詢任務,查詢時間長, HetuEngine通過啟發式索引和執行計劃Cache,實作秒級查詢響應;

跨湖跨倉跨雲融合:傳統資料分析需先統一資料格式,HetuEngine可實作不同資料格式間的join,減少資料搬遷,較傳統方案提效30%;傳統DC分析要建手工擺渡資料,HetuEngine可通過DC Connector進行連接配接,資料全局可視,協同耗時從數天縮短至分鐘級;

結語

繼續閱讀