天天看点

OLAP、多维分析基本概念

OLAP(On-Line Analytical Processing)联机分析处理,1993 年由关系型数据库之父埃德加·科德(Edgar Frank Codd)提出,其中主要为多维分析。

多维分析常见操作

  • 下钻

    从高层次想低层次明细数据穿透。例如从“国家”到“城市”,从“中国”下钻到“上海市”和“北京市”

  • 上卷

    与下钻相反,从低层次向高层次汇聚

  • 切片

    观察多维数据立方体的一层,可以理解为“控制单一维度”观察数据,例如人口普查只看上海的统计结果

  • 切块

    类似与切片,“控制单一维度在某一区间进行分析”,例如人口普查只看上海、北京的统计结果

  • 选装

    选装立方体的一面,等于行列置换

常见 OLAP 架构

  • ROLAP (Relational OLAP)

    基于关系模型进行构建的 OLAP 分析,早期架构,不支持大体量数据运算

  • MOLAP (Multidimensional OLAP)

    利用预计算,提前构建多维数据立方体(Cube),例如 Kylin

  • HOLAP (Hybrid OLAP)

    ROLAP、MOLAP 混合架构

OLAP 实现技术

架构 技术实现
OLAP RDBMS
MOLAP Hive、HBase、Spark、Flink
HOLAP Hive、HBase、Spark、Flink

继续阅读