天天看點

ODPS_資料傾斜檢視key分布的通用方案_200628

産生資料傾斜的通用方案

知道資料傾斜了,但無法獲知資料傾斜的key資訊,可以使用以下方法檢視資料傾斜。

假如select * from tba join tbb on tba.id=tbb.id; 産生了資料傾斜
可以執行如下語句來檢視key的分布:
select left.key,left.cnt*right.cnt 
from(select key,count(*) as cnt from tba group by key) as left 
join
(select key,count(*) as cnt from tbb group by key) as right
on left.key=right.key;           

繼續閱讀