GBase 8a集群数据加载工具由dispserver、dispcli、gbloader组成。
Dispserver是数据加载网络服务,进行数据文件的解析、HASH分桶、数据分发等;
Dispcli是数据加载客户端,用于发起数据加载任务、获取数据库信息、与dispserver通讯等;
Gbloader是节点数据加载工作,通过与dispserver通信索取数据,进行本节点数据的接收、入库;
在8512版本中,数据加载是主副本同时进行数据加载的并提交;
流程如下:
(1) dispcli命令开始执行,由dispcli 向dispserver发送消息,启动一个加载任务。
(2) dispcli 启动各个节点上的待加载gbloader。
(3) dispserver准备好数据,等待加载gbloader向dispserver请求数据后,dispserver将数据分发给gbloader加载。
(4) gbloader加载结束告知dispserver加载完毕,等待所有的gbloader全部加载结束由dispcli发提交命令给dispserver,dispserver向所有已经告知加载完毕的gbloader发送提交命令
(5)待所有gbloader都提交成功后,dispcli停止此次任务,完成加载