HTAP資料庫 PostgreSQL 場景與性能測試之 31 - (OLTP) 高吞吐資料進出(堆存、行掃、無需索引) - 閱後即焚(讀寫大吞吐并測)

PostgreSQL , HTAP , OLTP , OLAP , 場景與性能測試

<a href="https://github.com/digoal/blog/blob/master/201711/20171107_02_pic_003.jpg" target="_blank"></a>

PostgreSQL社群的貢獻者衆多，來自全球各個行業，曆經數年，PostgreSQL 每年釋出一個大版本，以持久的生命力和穩定性著稱。

2017年10月，PostgreSQL 推出10 版本，攜帶諸多驚天特性，目标是勝任OLAP和OLTP的HTAP混合場景的需求：

<a href="https://github.com/digoal/blog/blob/master/201710/20171029_01.md">《最受開發者歡迎的HTAP資料庫PostgreSQL 10特性》</a>

1、多核并行增強

2、fdw 聚合下推

3、邏輯訂閱

4、分區

5、金融級多副本

6、json、jsonb全文檢索

7、還有插件化形式存在的特性，如 向量計算、JIT、SQL圖計算、SQL流計算、分布式并行計算、時序處理、基因測序、化學分析、圖像分析 等。

<a href="https://github.com/digoal/blog/blob/master/201711/20171107_02_pic_001.jpg" target="_blank"></a>

在各種應用場景中都可以看到PostgreSQL的應用：

<a href="https://github.com/digoal/blog/blob/master/201706/20170601_02_pic_002.png" target="_blank"></a>

PostgreSQL近年來的發展非常迅猛，從知名資料庫評測網站dbranking的資料庫評分趨勢，可以看到PostgreSQL向上發展的趨勢：

<a href="https://github.com/digoal/blog/blob/master/201711/20171107_02_pic_002.jpg" target="_blank"></a>

從每年PostgreSQL中國召開的社群會議，也能看到同樣的趨勢，參與的公司越來越多，分享的公司越來越多，分享的主題越來越豐富，橫跨了 傳統企業、網際網路、醫療、金融、國企、物流、電商、社交、車聯網、共享XX、雲、遊戲、公共交通、航空、鐵路、軍工、教育訓練、咨詢服務等 行業。

接下來的一系列文章，将給大家介紹PostgreSQL的各種應用場景以及對應的性能名額。

環境部署方法參考：

<a href="https://github.com/digoal/blog/blob/master/201710/20171018_01.md">《PostgreSQL 10 + PostGIS + Sharding(pg_pathman) + MySQL(fdw外部表) on ECS 部署指南(适合新使用者)》</a>

阿裡雲 ECS：<code>56核，224G，1.5TB*2 SSD雲盤</code>。

作業系統：<code>CentOS 7.4 x64</code>

資料庫版本：<code>PostgreSQL 10</code>

PS：ECS的CPU和IO性能相比實體機會打一定的折扣，可以按下降1倍性能來估算。跑實體主機可以按這裡測試的性能乘以2來估算。

高吞吐的資料寫入，消費，通常是MQ的強項和功能點，但是MQ沒有資料存儲的能力，也沒有計算能力。

而PostgreSQL具備了存儲、計算能力，同時PG還提供了高吞吐，可靠性。

在需要高吞吐計算的環境，PG是非常不錯的選擇。

如果業務上需要先進先出的模式，可以加一個時間索引，即可達到這樣的效率，寫入和消費都在300萬行/s以上：

<a href="https://github.com/digoal/blog/blob/master/201711/20171107_32_pic_001.jpg" target="_blank"></a>

詳見：

<a href="https://github.com/digoal/blog/blob/master/20171107_28.md">《HTAP資料庫 PostgreSQL 場景與性能測試之 27 - (OLTP) 物聯網 - FEED日志, 流式處理 與 閱後即焚 (CTE)》</a>

如果業務上不要求強烈的先進先出，并且處理吞吐足夠強悍的話，實際上PG可以不需要索引，因為是堆表，沒有索引，寫和消費的吞吐可以做到更大。

本文測試的是不需要索引的裸寫入和消費吞吐能力(消費、不計算)。

下一篇壓測大吞吐下，結合 函數計算和JSON的能力。

1、堆表、多表、大吞吐寫入

2、堆表、多表、大吞吐消費

同時壓測寫入和消費。

使用2048個分表。

1、批量生成傳感器測試資料的函數

2、批量消費傳感器資料的函數，按時間，從最早開始消費。

處理邏輯也可以放到裡面，例如預警邏輯(采用PostgreSQL異步消息、CTE文法)。

<a href="https://github.com/digoal/blog/blob/master/201711/20171111_01.md">《PostgreSQL 異步消息實踐 - Feed系統實時監測與響應(如 電商主動服務) - 分鐘級到毫秒級的跨域》</a>

<a href="https://github.com/digoal/blog/blob/master/201608/20160818_01.md">《PostgreSQL 記憶體表》</a>

1、高吞吐寫入測試，100萬個傳感器，每批1000條。

壓測

2、高吞吐消費測試，100萬個傳感器，每批1000條。

同時壓測寫入和消費的吞吐如下：

<a href="https://github.com/digoal/blog/blob/master/201706/20170601_02.md">《PostgreSQL、Greenplum 應用案例寶典《如來神掌》 - 目錄》</a>

<a href="https://github.com/digoal/blog/blob/master/201702/20170209_01.md">《資料庫選型之 - 大象十八摸 - 緻 架構師、開發者》</a>

<a href="https://github.com/digoal/blog/blob/master/201610/20161031_02.md">《PostgreSQL 使用 pgbench 測試 sysbench 相關case》</a>

<a href="https://github.com/digoal/blog/blob/master/201701/20170125_01.md">《資料庫界的華山論劍 tpc.org》</a>

<a href="https://www.postgresql.org/docs/10/static/pgbench.html">https://www.postgresql.org/docs/10/static/pgbench.html</a>