從資料倉庫到資料湖—淺談資料架構演進

文章目錄

1、資料倉庫是什麼

2、資料模組化

雪花模型

星型模型

全量資料、增量資料

3、傳統資料倉庫及代表産品

4、大資料架構下的資料倉庫

lamda架構

kappa架構

5、資料湖是什麼？

6、資料湖、資料倉庫有何差別

7、資料湖應用場景有哪些

8、參考材料

從資料倉庫到資料湖——淺談資料架構演進

martin-flower-about-Datalake

資料倉庫的架構與設計

etl-開發過程介紹

資料庫–>資料倉庫–>資料湖的架構演變，反映的是資料需求變更 了解最近技術發展動态，記錄一下相關知識點，跟上技術發展的步伐。

上半年參加系統分析師考試，論文部分有個論題 是關于AIOPS的。我在想實際工作中，我們連DEVOPS流程還沒做好呢，AIOPS已經在一些大公司實施了。

剛剛過去的周六，參加系統架構設計師考試，論文部分又出現了資料湖的應用實踐，資料湖與資料倉庫的差異性有哪些？新的概念不斷的冒出，基礎知識，曆史淵源做一個整理記錄。

“A data warehouseis a subject-oriented, integrated, time-variant, and nonvolatile collection ofdata in support of management’s decision-making process.” —W. H. Inmon

資料倉庫和資料庫的差別就是OLAP和OLTP的差別。

資料庫支援是OLTP，資料倉庫支援的是OLAP

資料倉庫一般基于資料庫實作，資料倉庫可以是基于關系資料庫實作的稱為ROLAP，資料倉庫也可以是基于多元資料結構實作的為MOLAP

資料倉庫最為核心的内容分類兩部分：

基于關系資料庫的多元模組化（RDBMS-based dimensional modeling）

模組化方法論-結合RDBMS的範式理論，模組化過程中涉及的幾個概念：

解決資料存儲的拉鍊設計模式

基于資料立方體的OLAP查詢（cube-based OLAP）

3、傳統資料倉庫及代表産品4、大資料架構下的資料倉庫

5、資料湖是什麼？6、資料湖、資料倉庫有何差別7、資料湖應用場景有哪些8、參考材料