天天看點

Sqoop splitkey支援的類型

Sqoop的splitkey在文檔裡隻是簡單的介紹了算法,但是沒有介紹具體支援的splitkeycolumn type,檢視源碼支援的類型如下:BigDecimal,Boolean,Date,Float,Integer

BigDecimalSplitter.java

BooleanSplitter.java

DBSplitter.java

DateSplitter.java

FloatSplitter.java

IntegerSplitter.java

OracleDateSplitter.java

另外,關于int作為splitkey還有一個bug就是當int的範圍特别小的時候,最後一個mapper會有一定傾斜

本文轉自MIKE老畢 51CTO部落格,原文連結:http://blog.51cto.com/boylook/1298635,如需轉載請自行聯系原作者

繼續閱讀