天天看點

關于大資料導入流程引擎ccflow的方案

問題:

1. 現在的流程系統裡有幾百萬條已經運作的流程其它的流程架構上

2. 需要把這樣的資料導入到ccflow流程引擎裡面去。

資料結構分析:

1. ccflow有流程引擎系統資料庫,工作人表,業務資料表與日志表4大表.

2. ccflow的流程執行個體是一個int類型的自增長的資料.

3. 導入的時候首先生成一個workid然後,把如上4大表的資料補充上集合.

執行分析:

1. 資料量比較大,超過幾百萬資料,一次的環境執行完畢,按照理論上來說沒有問題實際上會有困難.

2. 做一個過程,可以允許反複執行,在舊資料上增加一個字段标記,已經執行的,打上标記,每次運作未執行的。

3. 考慮使用多線程執行.

執行導入代碼結構:

1. 在舊業務資料上增加一個字段, 是否導入IsImp=0.

2. 擷取2-3條資料,開始運作,進行循環。

  2.1  建立workid. ,

  2.2  建立寫入業務表資料.

  2.3  寫入日志資料。

  2.4  設定運動到指定的節點上去。

繼續閱讀