電商數倉3.0 項目架構

技術選型

技術選型主要考慮因素：資料量大小、業務需求、行業内經驗、技術成熟度、開發維護成本、總成本預算

• 資料采集傳輸：Flume、Kafka、Sqoop、Logstash、DataX

• 資料存儲：MySQL、HDFS、HBase、Redis、MongoDB

• 資料計算：Hive，Tez， Spark， Flink，Storm

• 資料查詢：Presto，Kylin ，Impala，Druid

• 資料可視化：Echarts、Superset、QuickBI、DataV

• 任務排程：Azkaban、Oozie

• 叢集監控：Zabbix

• 中繼資料管理：Atlas
</