天天看點

實時數倉基于一定的資料倉庫理念,對資料處理流程進行規劃、分層,目的是提高資料的複用性。實時數倉的分層:ODS(Kafka

作者:軟體架構

實時數倉基于一定的資料倉庫理念,對資料處理流程進行規劃、分層,目的是提高資料的複用性。

實時數倉的分層:

ODS(Kafka):原始資料,日志和業務資料。

DWD(Kafka):根據資料對象為機關進行分流,比如訂單、頁面通路等等。

DIM(HBase、Redis、MySQL):次元資料。

DWM(Kafka):對于部分資料對象進行進一步加工,比如獨立通路、跳出行為,也可以和次元進行關聯,形成寬表,依舊是明細資料。

DWS(Doris、ClickHouse、HBase):根據某個主題将多個事實資料輕度聚合,形成主題寬表。

ADS:把Doris、Clickhouse中的資料根據可視化需要進行篩選聚合。

Apache Doris 是一個基于MPP 架構的高性能、實時的分析型資料庫,來自國内的頂級開源項目。

實時數倉基于一定的資料倉庫理念,對資料處理流程進行規劃、分層,目的是提高資料的複用性。實時數倉的分層:ODS(Kafka
實時數倉基于一定的資料倉庫理念,對資料處理流程進行規劃、分層,目的是提高資料的複用性。實時數倉的分層:ODS(Kafka
實時數倉基于一定的資料倉庫理念,對資料處理流程進行規劃、分層,目的是提高資料的複用性。實時數倉的分層:ODS(Kafka

繼續閱讀