天天看點

大資料平台建設曆程

作者:HuggingFace

戰略轉型

從以硬體為主轉變為以資料驅動的創新型科技集團

大資料平台建設曆程
大資料平台建設曆程

資料決策的核心價值和目的

大資料平台建設曆程

打造美的資料生态圈,讓資料驅動成為本能

大資料平台建設曆程

大資料平台搭建過程

大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程
大資料平台建設曆程

為什麼選擇Cloudera

• No.1 開源主導者, 主流技術保障,全球 70%Hadoop 使用者的選擇,實踐驗證:平台運作最穩定;

• 唯一在國内為企業Hadoop平台提供源代碼一級服務的立體售後服務體系;

• 可以更加方面的直接與社群開發人員進行直接溝通,比如Kudu創始人Todd指導,Impala PMC的面對面交流;

• Cloudera Manager豐富的叢集管理監控功能大大簡化了叢集的運維;

• 産品更新始終與社群保持一緻,CDH大概每3個月發一個小版本,第一時間進行bug修複以及新功能的內建;

• 持續的創新能力,新技術的引領者:Apache Kudu,Apache Ozone,Apache Submarine,Apache Spark3,Apache Flink1.11,Apache YuniKorn,Apache Druid,Hive3/Impala/Spark on K8s

未來規劃

• 遷移與更新,正在調研CDH6與CDP7,已經搭建了CDP7測試環境,考慮明年更新到

CDP7

• 從Sentry遷移到Ranger,豐富細粒度權限管理,如行授權以及列授權;

• 将批處理作業從Hive On MR遷移到Tez,提升整體性能;

• 引入元件新版本并調研後逐漸引入生産環境中如Spark3,Ozone,Druid等,豐富平台整體功能以及應用場景。

• 資料中台

• 數倉開發平台:數倉體系的作業設計、開發、管理,數倉作業鍊式分析、排程、執行、管理、監控平台;

• 中繼資料管理子系統:提供中繼資料的管理,包括:新增表、變更表結構、表的描述、字段的描述、表的依賴分析、資料字典查詢等;提供庫、表的資料标簽管理等

• 資料資産管理子系統:提供事前及事後的業務、技術中繼資料管理,對名額、資料口徑進行管理,形成美的集團資料資産

• 資料市場及API服務:使用者自助配置,将資料資産通過總行API網關進行釋出及管理,供其他系統授權後對接調用

繼續閱讀