天天看点

关于大数据导入流程引擎ccflow的方案

问题:

1. 现在的流程系统里有几百万条已经运行的流程其它的流程架构上

2. 需要把这样的数据导入到ccflow流程引擎里面去。

数据结构分析:

1. ccflow有流程引擎注册表,工作人表,业务数据表与日志表4大表.

2. ccflow的流程实例是一个int类型的自增长的数据.

3. 导入的时候首先生成一个workid然后,把如上4大表的数据补充上集合.

执行分析:

1. 数据量比较大,超过几百万数据,一次的环境执行完毕,按照理论上来说没有问题实际上会有困难.

2. 做一个过程,可以允许反复执行,在旧数据上增加一个字段标记,已经执行的,打上标记,每次运行未执行的。

3. 考虑使用多线程执行.

执行导入代码结构:

1. 在旧业务数据上增加一个字段, 是否导入IsImp=0.

2. 获取2-3条数据,开始运行,进行循环。

  2.1  创建workid. ,

  2.2  创建写入业务表数据.

  2.3  写入日志数据。

  2.4  设置运动到指定的节点上去。

继续阅读