天天看點

再拔頭籌,FusionInsight為華為雲大資料打造硬實力

​​摘要:在IDC2020大資料報告中,有雲服務廠商、傳統ICT 廠商,以及大資料時代的創企等三類“玩家”,為何華為雲能夠脫穎而出?

近日,IDC釋出《IDC MarketScape: 中國大資料管理平台廠商評估,2020》報告。該報告從能力、市場、戰略三大次元對中國主流大資料廠商進行全面評估,報告顯示華為雲位居“上司者(Leaders)”象限,并在市場佔有率和技術實力兩個次元雙領先。

可以看到,在IDC大資料報告中,有雲服務廠商、傳統ICT 廠商,以及大資料時代的創企等三類“玩家”。為何華為雲能夠脫穎而出?

解讀華為雲FusionInsight智能資料湖五大硬核能力

據了解,華為雲FusionInsight智能資料湖五大硬核能力凸顯了創新技術。

硬核能力一:讓政企客戶在一個大、快、融、穩的資料湖架構下可持續演進!

大:傳統的大資料單叢集擴容受限,往往擴容到2000節點就難以突破,華為雲FusionInsight通過大叢集突破擴充性瓶頸,支援最大2萬+節點大叢集,還可叢集聯邦無限擴容。此大規模特性已在華為内部獲得了實踐,華為雲流程IT通過FusionInsight建構OneData大資料叢集,其規模已至1萬+節點,支撐各部門營運分析、即席查詢等大資料分析,每日新增資料近100TB,10萬張表,即席查詢任務日均1萬+,批處理作業每日10萬+。華為流程IT OneData大叢集曆經兩次滾動更新,業務0中斷,已穩定運作六年。

快:因資料量仍在不斷指數級增長,人們對大資料高效處理的極緻追求永無止境!傳統大資料存在分析鍊路長,以T+1事後報表為主。華為雲FusionInsight MRS可T+0實時增量更新和實時OLAP,讓大資料越用越”快“!華為集團IT基于FusionInsight,實作了CDC+FLINK的實時內建方案,支撐了主幹交易、财經、供應等交易資料的增量整合模型落地,相對于傳統數倉的ETL+排程方案,資料供給效率提升了10倍。

融:傳統大資料分析面臨類型多、分布散、協同難等問題;FusionInsight通過HetuEngine實作五大融合,統一SQL接口僅用簡單的SQL就可操作PB級資料,全民BI,讓大資料越用越簡單。某行基于FusionInsight建構金融大資料,通過HetuEngine統一SQL接口,解決資料分散,元件多、語言多等難題,降低技術開發門檻,跨源跨域跨引擎融合分析,資料免搬遷,降低整體TCO。

穩:FusionInsight可保障一企一湖連續性,線上滾動更新,業務永遠線上,無需拆叢集、搬應用,徹底解決傳統大資料叢集多、效率低、管理難、更新難等問題,讓更新過程中關鍵業務不中斷,確定業務連續性。某營運商使用FusionInsight搭建了大資料平台應對5G資料浪湧,先後兩次滾動更新實作了大資料平台的平滑演進,實作業務無中斷,更新無感覺,使用者體驗持續線上,單叢集規模已擴充至1500+節點,支撐了各類政務、旅遊、精準扶貧等200+大資料應用服務,覆寫使用者1.3億+。

硬核能力二:實時資料湖

為了實作實時性,華為雲FusionInsight提出了實時資料湖, 支援資料實時批量入湖、實時增量同步,全量資料供應效率T+0;可對貼源資料實時多元分析,縮短分析鍊路,提高分析效率,讓資料價值近在眼前!

硬核能力三:雲原生資料湖

近幾年,雲原生是雲計算領域關鍵的技術創新,華為雲在雲原生領域也探索多年,通過Data Lake Catalog資料湖目錄,為超大規模分析引擎提供統一進制資料服務,讓資料全局可視可得;在資料存儲方面,通過OBS存算分離方案,實作計算、存儲按需擴容,基于企業級EC實作最低1.2副本,總體TCO下降20%+,讓資料每bit成本更優!。湖内提供互動式分析引擎,可無縫對接BI報表和自助分析,實作秒級用數,資料免搬遷;湖内統一SQL接口,降低技術開發門檻,簡化用數,實作技術領先的雲原生資料湖。

硬核能力四:企業級資料倉庫

華為雲FusionInsight為客戶提供基于Shared-Nothing架構提供新一代開放的、全場景分析型資料倉庫DWS,支援2048節點擴充能力;多層級全并行計算引擎,可排程海量的算力資源,通過高效的指令效率,實作資料導入和分析;具備多層級容災能力,穩定可靠,離線、半線上、線上擴容技術,從容應對多種擴容場景。

硬核能力五:一站式資料湖治理中心

華為雲FusionInsight為客戶提供一站式資料湖治理中心,助力企業快速建構從資料接入到分析的E2E資料治理體系,統一資料标準,加速資料資産化。通過全域資料視圖統一資訊架構,統一資料标準;通過一站式全棧平台實作30+異構資料源的高效資料內建;擁有開放完備的安全體系,資料分級分類,統一安全認證。

通過以上五大“硬核”能力的加持,華為雲FusionInsight新一代的資料湖,讓大資料越用越快、越用越易、越用越穩、越用越省!

技術産品好不好,要用案例來說話

事實上,華為雲這種“穩定第一”的表現,在很多權威榜單中也有展現,例如連續四年上榜工信部中國大資料企業50強,連續三年入圍Gartner Magic Quadrant for Data Management Solutions for Analytics,在中國區廠商排名第一。

在技術受到權威機構認可的同時,華為雲FusionInsight也是“最懂行”的大資料解決方案。截至 2020 年 6 月底,華為雲大資料已服務了 60+個國家和地區、3000+客戶,覆寫政府、金融、營運商、電力、醫療、制造、網際網路等衆多行業。

在政府領域,國内50%的智慧城市都有華為雲FusionInsight的孜孜不倦的身影,華為雲大資料已支撐多個部委和各省市地區建設“大資料+政務”。在某市,華為雲FusionInsight聯合夥伴建成“一雲二網三平台”,在統一的政務資料邏輯模型的指導下,針對民生、産業、政府的“痛點”和“難點”,從建構城市資料資源庫為開端,以大資料分析支撐政府智慧決策,以建設智慧應用為抓手,打破資訊孤島,實作資訊資源交換共享,在 “數聚惠民”、“數聚興業”、“數聚善政”三大方面,發揮大資料的威力,支撐 “一号、一窗、一網” 政務服務,讓簡政放權、百姓辦業務“最多跑一次”成為現實。

在金融領域,國内50%的TOP20金融客戶(含銀行、證券、保險等)均已使用華為雲FusionInsight建構其大資料平台。某行使用華為雲FusionInsight建構大資料基礎平台,支撐了銀行企業級資料湖、資料倉庫、集團資訊庫為核心的“一湖兩庫”建設,承載了總行及各支行業務系統,支撐日常銀行BI、AI、資料挖掘、資料分析等,實作了一份資料全局可用,免除資料搬遷,提升協同效率10倍,存儲周期提升2倍,資源使用率最大可達90%,加速銀行數字化轉型程序。

在營運商領域,國内三大營運商均使用華為雲FusionInsight建構其大資料平台。廣東移動基于華為雲FusionInsight,聯合政企客戶共同打造智慧電網、智慧交通、智慧港口、高清視訊等系列标杆應用,打通資料全生命周期鍊路,實作對内業務支撐、對外應用賦能,全面支撐了各類政務、民生等大資料應用服務。

在交通領域,深圳地鐵在6、10号線采用華為雲FusionInsight建構大資料分析平台,打造領先的5G+大資料方案,并建構其資料資産中心和運作監控中心,承載地鐵各業務系統,支撐裝置健康、能耗管理、客流統計、線路中心級監控、應急決策和圖像型火災分析等線路級資料分析,資料分析效率從周級縮短至分鐘級,實作高效營運,推動深圳步入更美好的全聯接數字化軌道交通新時代…

以及在環境保護方面,青海綠能資料有限公司基于華為雲FusionInsight建構了國内首個能源大資料創新平台,實作了規劃輔助決策、用氣象資料科學指導發電等創新業務,為上下遊産業鍊企業提供25類47項資料服務,推動28座新能源場站實作了“無人值班、少人值守”,并有效支撐了青海“綠電15日”,以大資料為基石,建設綠色新青海,守護高原和諧生态。

同時,華為堅持“自己的降落傘自己先跳”,華為集團IT通過FusionInsight建構OneData大資料叢集,實作大資料平台在大規模場景下的開拓,OneData叢集其規模已至1萬+節點;同時,實作了統一的資料管理服務,在菩提海UniDB産品中,通過邏輯統一方式,把50+實體分散的計算叢集(Hadoop+MPP),基于五統一(資料安全,中繼資料目錄,資料內建,資料通路,任務排程),整合成湖倉一體的架構,支撐上千個企業租戶的PB級資料分析處理需求。一個基于FusionInsight MRS+DWS 的“+治理,+AI,+營運,+雲”的融合資料底座(菩提海)已經在華為集團IT廣泛使用,未來可期!

以上隻是“冰山的一角”,華為雲FusionInsight一方面不斷深入了解客戶不斷發展的業務訴求,另一方面,持續技術創新并引領行業發展,商業訴求+技術創新雙輪驅動行業可持續、高品質發展,“用數”助力客戶商業成功!上面的論述已經充分證明,華為雲是“懂行”的大資料上司者,真正讓客戶用好數、管好數、放心用!

底子硬才是真的硬道理

可以看到,無論是技術實力還是市場表現,華為雲都做到了行業第一。

那麼,在已有的成績面前,華為雲能否“守得住”?這方面,從已有的動作看,差異化這個主要的特征之外,華為雲維持自身地位還有三個方面的競争優勢。

長期的技術沉澱

華為雲 FusionInsight 大資料自 2009 年就開始投入研究,最早在 2014 年推出商用産品,現在,MRS“大快融穩”的雲原生資料湖、DWS企業級資料倉庫以及一站式資料湖治理中心3項硬核能力都建立這樣的長期積累之上,缺乏技術積累和了解的平台顯然無法完成這樣的更新。

對行業、對業務、對企業實際的了解

大資料服務必須建立在業務深度了解的基礎上,而這不是一朝一夕能完成的,需要靠不斷的探索和磨合。華為的市場第一既是一種競争結果,也代表着它擁有最廣泛和深度的業務實踐機會。

豐富而深厚的生态合作

當下,華為雲積累了從基礎設施到分析應用等領域的合作夥伴群體,包括多行業 800+ISV等,現在,其為合作夥伴提供了100+開放API接口,技術生态化帶來的大資料應用将更加豐富。

可以看到,三個都需要時間和經驗積澱的優勢,讓華為雲大資料有了既深且寬的競争“護城河”。

點選關注,第一時間了解華為雲新鮮技術~

繼續閱讀