<b>弹性动态伸缩</b>
基于ECS之上，快捷的扩容、缩容EMR Hadoop集群。
<b>灵活软件栈选择</b>
灵活、快速部署开源大数据服务(HBase、Kafka、Impala、Flink等)。
<b>数据存储成本低</b>
D1机型使用本地盘，价格远低于云盘；OSS低成本存储冷数据。
<b>运维机制</b>
钉钉群支持，快速解决集群使用问题。减少运维工作，更专注于业务。
<b>数据迁移问题</b>
Hive，HBase数据库结构同步，HDFS数据PB级历史数据同步。如何保证线上实时任务不受影响？
元数据库同步：Hadoop distcp filter (Hadoop 2.8之后支持)。Flume配置双写，多个sink。
<b>数据倾斜问题</b>
现象：MapReduce任务卡在最后一个或几个Reduce。
原因：数据分布不均匀，导致大量的数据分配到了一个节点。
<b>问题：</b>
执行Hive任务时，Flume刚好rename文件，会提示文件不存在的错误。
解决办法：hdfs.inUsePrefix=.生成的文件名增加前缀。
多台服务器同时写入，默认的文件名重复。
解决办法：修改HDFS sink源码，生成的文件默认增加当前服务器的hostname。
实时性与小文件过多。
解决办法：离线insert overwrite table，重新生成文件。通过MapReduce 在map之后生成新文件的特性，合并小文件。