天天看點

資料同步過程中需要考慮的問題資料的種類對資料的處理時效的要求

在資料同步過程中,需要對資料源進行一些分析。分析的過程中,要考慮資料的種類,要進行的處理,以及資料的時效性。

對于來的資料,可以分為以下幾類:

針對這三種的組合有兩種:

對于要進入的目的庫來說,有一下處理類型:

不處理

針對單表進行處理,比如資料類型轉換,資料校驗等

需要關聯小表進行處理,比如碼表轉換

需要關聯打标進行處理

抽取資料、處理資料 、導入資料都需要時間,在滿足不同的時效,應該如何處理

繼續閱讀