天天看點

DataWorks百問百答67:odps如何同步多個分區(附ODPS寫插件指定分區技巧)?

odps通配符配置

  • ODPS分區配置支援linux shell通配符,* 表示0個或多個字元,? 代表任意一個字元。

odps如何同步多個分區

例如分區表 test存在 pt=1,ds=hangzhou pt=1,ds=shanghai pt=2,ds=hangzhou pt=2,ds=beijing 四個分區,

  • 如果你想讀取 pt=1,ds=shanghai 這個分區的資料,分區資訊中配置: pt=1,ds=shanghai;
  • 如果你想讀取 pt=1下的所有分區,分區資訊中配置 :pt=1,ds=*;
  • 如果你想讀取整個 test 表的所有分區的資料,分區資訊中配置 :pt=,ds=
  • 如果需要指定最大分區,可以配置如下資訊:
/query/ ds=(select MAX(ds) from DataXODPSReaderPPR)
  • 如果需要按條件過濾,可以配置如下資訊:
/query/ pt>=20170101 and pt<20170110,表示pt分區大于等于20170101且小于20170110的所有資料

ODPS寫插件指定分區技巧

  • 需要寫入資料表的分區資訊,必須指定到最後一級分區。把資料寫入一個三級分區表,必須配置到最後一級分區
例如:pt=20150101/type=1/biz=2
  • 不支援寫入多個分區

DataWorks百問百答曆史記錄

請點選這裡檢視>>

更多DataWorks技術和産品資訊,歡迎加入

【DataWorks釘釘交流群】

繼續閱讀