戰略轉型
從以硬體為主轉變為以資料驅動的創新型科技集團
資料決策的核心價值和目的
打造美的資料生态圈,讓資料驅動成為本能
大資料平台搭建過程
為什麼選擇Cloudera
• No.1 開源主導者, 主流技術保障,全球 70%Hadoop 使用者的選擇,實踐驗證:平台運作最穩定;
• 唯一在國内為企業Hadoop平台提供源代碼一級服務的立體售後服務體系;
• 可以更加方面的直接與社群開發人員進行直接溝通,比如Kudu創始人Todd指導,Impala PMC的面對面交流;
• Cloudera Manager豐富的叢集管理監控功能大大簡化了叢集的運維;
• 産品更新始終與社群保持一緻,CDH大概每3個月發一個小版本,第一時間進行bug修複以及新功能的內建;
• 持續的創新能力,新技術的引領者:Apache Kudu,Apache Ozone,Apache Submarine,Apache Spark3,Apache Flink1.11,Apache YuniKorn,Apache Druid,Hive3/Impala/Spark on K8s
未來規劃
• 遷移與更新,正在調研CDH6與CDP7,已經搭建了CDP7測試環境,考慮明年更新到
CDP7
• 從Sentry遷移到Ranger,豐富細粒度權限管理,如行授權以及列授權;
• 将批處理作業從Hive On MR遷移到Tez,提升整體性能;
• 引入元件新版本并調研後逐漸引入生産環境中如Spark3,Ozone,Druid等,豐富平台整體功能以及應用場景。
• 資料中台
• 數倉開發平台:數倉體系的作業設計、開發、管理,數倉作業鍊式分析、排程、執行、管理、監控平台;
• 中繼資料管理子系統:提供中繼資料的管理,包括:新增表、變更表結構、表的描述、字段的描述、表的依賴分析、資料字典查詢等;提供庫、表的資料标簽管理等
• 資料資産管理子系統:提供事前及事後的業務、技術中繼資料管理,對名額、資料口徑進行管理,形成美的集團資料資産
• 資料市場及API服務:使用者自助配置,将資料資産通過總行API網關進行釋出及管理,供其他系統授權後對接調用