一文讲清👉数据仓库的整体架构
✅数据仓库整体架构
🔸四大概念:数据源、ODS层、DW层、DWS层、DA应用层
1️⃣数据采集
数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上,期间有可能会做一些ETL操作,数据源的种类有很多种。
2️⃣数据存储与分析
随着公司的规模不断扩张,产生的数据也越来越多,目前hdfs是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。
3️⃣数据共享
数据分析与计算后的结果存放的地方,其实就是关系型数据库和NOSQL数据库;一些实时计算的结果数据可能由实时计算模块直接写入数据共享。
4️⃣维度建模
维度建模是专门用于分析型数据库、数据仓库、数据集市建模的方法。维度表就是你观察该事物的角度(维度),事实表就是你要关注的内容。
5️⃣元数据管理
元数据通常定义为”关于数据的数据”,在数据仓库中是定义和描述DW/BI系统的结构,操作和内容的所有信息。元数据分为技术元数据和业务元数据,常用的存储有两种,一种以数据集为基础,另一种以数据库为基础。
6️⃣任务调度与监控
作为数据仓库的中枢,负责调度和监控所有任务的分配与运行。#数据仓库##大数据#