电商数仓3.0 项目架构

技术选型

技术选型主要考虑因素：数据量大小、业务需求、行业内经验、技术成熟度、开发维护成本、总成本预算

• 数据采集传输：Flume、Kafka、Sqoop、Logstash、DataX

• 数据存储：MySQL、HDFS、HBase、Redis、MongoDB

• 数据计算：Hive，Tez， Spark， Flink，Storm

• 数据查询：Presto，Kylin ，Impala，Druid

• 数据可视化：Echarts、Superset、QuickBI、DataV

• 任务调度：Azkaban、Oozie

• 集群监控：Zabbix

• 元数据管理：Atlas
</