資料倉庫架構設計

一角色名稱以及作用

• 源資料落地區 位于hdfs原始資料以大檔案的形式存放
• 資料倉庫層
• 源資料層 将原始資料導入到的hive資料表中生産系統的原始資料，清洗掉不符合品質的資料，通常永久保留
• 細節資料層 按照主題進行組織，資料粒度與源資料層一樣
• 彙總資料層 将細節資料層的資料進行輕度彙總，資料粒度與細節資料層保持一緻

• 資料集市層 資料管理平台，資料報表，資料挖掘等

  水準分層 隻是描述資料倉庫層

  垂直分主題

  資料倉庫并不需要儲存所有的原始資料，但資料倉庫需要儲存細節資料，并且導入的資料必須經過整理和轉換使其面向主題