odps通配符配置
- ODPS分區配置支援linux shell通配符,* 表示0個或多個字元,? 代表任意一個字元。
odps如何同步多個分區
例如分區表 test存在 pt=1,ds=hangzhou pt=1,ds=shanghai pt=2,ds=hangzhou pt=2,ds=beijing 四個分區,
- 如果你想讀取 pt=1,ds=shanghai 這個分區的資料,分區資訊中配置: pt=1,ds=shanghai;
- 如果你想讀取 pt=1下的所有分區,分區資訊中配置 :pt=1,ds=*;
- 如果你想讀取整個 test 表的所有分區的資料,分區資訊中配置 :pt=,ds=
- 如果需要指定最大分區,可以配置如下資訊:
/query/ ds=(select MAX(ds) from DataXODPSReaderPPR)
- 如果需要按條件過濾,可以配置如下資訊:
/query/ pt>=20170101 and pt<20170110,表示pt分區大于等于20170101且小于20170110的所有資料
ODPS寫插件指定分區技巧
- 需要寫入資料表的分區資訊,必須指定到最後一級分區。把資料寫入一個三級分區表,必須配置到最後一級分區
例如:pt=20150101/type=1/biz=2
- 不支援寫入多個分區
DataWorks百問百答曆史記錄
請點選這裡檢視>>更多DataWorks技術和産品資訊,歡迎加入
【DataWorks釘釘交流群】