数据仓库架构设计

一角色名称以及作用

• 源数据落地区 位于hdfs原始数据以大文件的形式存放
• 数据仓库层
• 源数据层 将原始数据导入到的hive数据表中生产系统的原始数据，清洗掉不符合质量的数据，通常永久保留
• 细节数据层 按照主题进行组织，数据粒度与源数据层一样
• 汇总数据层 将细节数据层的数据进行轻度汇总，数据粒度与细节数据层保持一致

• 数据集市层 数据管理平台，数据报表，数据挖掘等

  水平分层 只是描述数据仓库层

  垂直分主题

  数据仓库并不需要储存所有的原始数据，但数据仓库需要储存细节数据，并且导入的数据必须经过整理和转换使其面向主题