天天看点

GBase 8a数据库加载流程介绍

GBase 8a集群数据加载工具由dispserver、dispcli、gbloader组成。

Dispserver是数据加载网络服务,进行数据文件的解析、HASH分桶、数据分发等;

Dispcli是数据加载客户端,用于发起数据加载任务、获取数据库信息、与dispserver通讯等;

Gbloader是节点数据加载工作,通过与dispserver通信索取数据,进行本节点数据的接收、入库;

在8512版本中,数据加载是主副本同时进行数据加载的并提交;

流程如下:

(1) dispcli命令开始执行,由dispcli 向dispserver发送消息,启动一个加载任务。

(2) dispcli 启动各个节点上的待加载gbloader。

(3) dispserver准备好数据,等待加载gbloader向dispserver请求数据后,dispserver将数据分发给gbloader加载。

(4) gbloader加载结束告知dispserver加载完毕,等待所有的gbloader全部加载结束由dispcli发提交命令给dispserver,dispserver向所有已经告知加载完毕的gbloader发送提交命令

(5)待所有gbloader都提交成功后,dispcli停止此次任务,完成加载