PostgreSQL 并行计算解说 之7 - parallel create index

标签

PostgreSQL , cpu 并行 , smp 并行 , 并行计算 , gpu 并行 , 并行过程支持

https://github.com/digoal/blog/blob/master/201903/20190316_09.md#%E8%83%8C%E6%99%AF 背景

PostgreSQL 11 优化器已经支持了非常多场合的并行。简单估计，已支持27余种场景的并行计算。

parallel seq scan              
              
parallel index scan              
              
parallel index only scan              
              
parallel bitmap scan              
              
parallel filter              
          
parallel hash agg          
          
parallel group agg          
              
parallel cte              
              
parallel subquery              
              
parallel create table              
              
parallel create index              
              
parallel select into              
              
parallel CREATE MATERIALIZED VIEW              
              
parallel 排序 : gather merge               
              
parallel nestloop join              
              
parallel hash join              
              
parallel merge join              
              
parallel 自定义并行聚合              
              
parallel 自定义并行UDF              
              
parallel append              
              
parallel union              
              
parallel fdw table scan              
              
parallel partition join              
              
parallel partition agg              
              
parallel gather              
              
parallel rc 并行              
              
parallel rr 并行              
              
parallel GPU 并行              
              
parallel unlogged table               
           

接下来进行一一介绍。

关键知识请先自行了解：

1、优化器自动并行度算法 CBO

《PostgreSQL 9.6 并行计算 优化器算法浅析》 《PostgreSQL 11 并行计算算法，参数，强制并行度设置》

https://github.com/digoal/blog/blob/master/201903/20190316_09.md#parallel-create-index parallel create index

并行创建索引

数据量：10亿。

create unlogged table table2 (i int4);  
insert into table2 select random()*2000000000-2000000000 from generate_series(1,1000000000);  
           

场景	数据量	关闭并行	开启并行	并行度	开启并行性能提升倍数
create index	10 亿	964 秒	252 秒	32	3.83 倍

https://github.com/digoal/blog/blob/master/201903/20190316_09.md#1%E5%85%B3%E9%97%AD%E5%B9%B6%E8%A1%8C%E8%80%97%E6%97%B6-964-%E7%A7%92 1、关闭并行，耗时： 964 秒。

set max_parallel_maintenance_workers =0;  
set maintenance_work_mem ='4GB';  
  
postgres=# create index idx_table2_1 on table2 (i);  
CREATE INDEX  
Time: 964426.023 ms (16:04.426)  
           

https://github.com/digoal/blog/blob/master/201903/20190316_09.md#2%E5%BC%80%E5%90%AF%E5%B9%B6%E8%A1%8C%E8%80%97%E6%97%B6-252-%E7%A7%92 2、开启并行，耗时： 252 秒。

set max_parallel_maintenance_workers =32;  
set maintenance_work_mem ='4GB';  
  
postgres=# create index idx_table2_1 on table2 (i);  
CREATE INDEX  
Time: 252326.560 ms (04:12.327)  
           

排序支持并行，索引结构合并支持并行，由于创建索引有落盘操作，产生大量IO，大部分耗时在IO层面，整体耗时没有与并行度呈现线性。

https://github.com/digoal/blog/blob/master/201903/20190316_09.md#%E5%85%B6%E4%BB%96%E7%9F%A5%E8%AF%86 其他知识

2、function, op 识别是否支持parallel

postgres=# select proparallel,proname from pg_proc;              
 proparallel |                   proname                                  
-------------+----------------------------------------------              
 s           | boolin              
 s           | boolout              
 s           | byteain              
 s           | byteaout              
           

3、subquery mapreduce unlogged table

对于一些情况，如果期望简化优化器对非常非常复杂的SQL并行优化的负担，可以自己将SQL拆成几段，中间结果使用unlogged table保存，类似mapreduce的思想。unlogged table同样支持parallel 计算。

4、vacuum，垃圾回收并行。

5、dblink 异步调用并行

《PostgreSQL VOPS 向量计算 + DBLINK异步并行 - 单实例 10亿 聚合计算跑进2秒》 《PostgreSQL 相似搜索分布式架构设计与实践 - dblink异步调用与多机并行(远程 游标+记录 UDF实例)》 《PostgreSQL dblink异步调用实现 并行hash分片JOIN - 含数据交、并、差 提速案例 - 含dblink VS pg 11 parallel hash join VS pg 11 智能分区JOIN》

暂时不允许并行的场景(将来PG会继续扩大支持范围)：

1、修改行，锁行，除了create table as , select into, create mview这几个可以使用并行。

2、query 会被中断时，例如cursor , loop in PL/SQL ，因为涉及到中间处理，所以不建议开启并行。

3、paralle unsafe udf ，这种UDF不会并行

4、嵌套并行(udf (内部query并行))，外部调用这个UDF的SQL不会并行。（主要是防止large parallel workers ）

5、SSI 隔离级别

https://github.com/digoal/blog/blob/master/201903/20190316_09.md#%E5%8F%82%E8%80%83 参考

https://www.postgresql.org/docs/11/parallel-plans.html 《PostgreSQL 11 preview - 并行计算 增强 汇总》 《PostgreSQL 10 自定义并行计算聚合函数的原理与实践 - (含array_agg合并多个数组为单个一元数组的例子)》

https://github.com/digoal/blog/blob/master/201903/20190316_09.md#%E5%85%8D%E8%B4%B9%E9%A2%86%E5%8F%96%E9%98%BF%E9%87%8C%E4%BA%91rds-postgresql%E5%AE%9E%E4%BE%8Becs%E8%99%9A%E6%8B%9F%E6%9C%BA 免费领取阿里云RDS PostgreSQL实例、ECS虚拟机