OLAP(On-Line Analytical Processing)联机分析处理,1993 年由关系型数据库之父埃德加·科德(Edgar Frank Codd)提出,其中主要为多维分析。
多维分析常见操作
-
下钻
从高层次想低层次明细数据穿透。例如从“国家”到“城市”,从“中国”下钻到“上海市”和“北京市”
-
上卷
与下钻相反,从低层次向高层次汇聚
-
切片
观察多维数据立方体的一层,可以理解为“控制单一维度”观察数据,例如人口普查只看上海的统计结果
-
切块
类似与切片,“控制单一维度在某一区间进行分析”,例如人口普查只看上海、北京的统计结果
-
选装
选装立方体的一面,等于行列置换
常见 OLAP 架构
-
ROLAP (Relational OLAP)
基于关系模型进行构建的 OLAP 分析,早期架构,不支持大体量数据运算
-
MOLAP (Multidimensional OLAP)
利用预计算,提前构建多维数据立方体(Cube),例如 Kylin
-
HOLAP (Hybrid OLAP)
ROLAP、MOLAP 混合架构
OLAP 实现技术
架构 | 技术实现 |
---|---|
OLAP | RDBMS |
MOLAP | Hive、HBase、Spark、Flink |
HOLAP | Hive、HBase、Spark、Flink |