【重新發現PostgreSQL之美】- 21 探訪宇航員的食物

背景

物聯網, 金融, 社交, 電商, 電力, 遊戲等行業. 大量傳感器、業務日志、FEED等資料.

因為資料分析、或行業合規, 要求日志類流水類資料需要永久儲存

最近的資料需要高效點查, 高效更新, 高速寫入

曆史的資料需要大範圍快速分析計算, 高壓縮比

挑戰:

1、曆史資料量大, 存儲耗費巨大

2、無法同時解決高并發寫入、更新、點查同時快速分析和高壓縮比的問題

PG解決方案:

• WO寫優化、RO讀優化
• RO(讀優化)存儲高壓縮比
• 向量化計算性能提升一個數量級
• 分區支援行、列混合存儲
• 通過parser analyze hook,擴充向量類型,擴充向量算子,基于代價的自動化JIT選擇,在同一個執行個體中支援oltp, olap兩種模型.

參考

《PostgreSQL 時序資料庫設計最佳實踐 - 關聯 citus,columnar,partition,timescaledb,壓縮,高速寫,parallel append 多分區并行查詢,分區》 https://github.com/postgrespro/vops https://github.com/citusdata/citus https://hub.fastgit.org/citusdata/citus/blob/master/src/backend/columnar/README.md 《PostgreSQL 向量化執行插件(瓦片式實作-vops) 10x提速OLAP》 《PostgreSQL VOPS 向量計算 + DBLINK異步并行 - 單執行個體 10億 聚合計算跑進2秒》 《傳統資料庫30年不思進取, 而PG開辟出一條新道路》

https://github.com/digoal/blog/blob/master/202106/20210612_03.md#postgresql-%E8%AE%B8%E6%84%BF%E9%93%BE%E6%8E%A5 https://github.com/digoal/blog/issues/76