Hive中join, outer join, semi join区别

hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为mapreduce任务进行运行。

最常用的就是多表关联查询，主要讲解下join、outer join和semi join的具体使用。

join是最简单的关联操作，两边关联只取交集。

outer join分为left outer join、right outer join和full outer join。

left outer join是以左表驱动，右表不存在的key均赋值为null；

right outer join是以右表驱动，左表不存在的key均赋值为null；

full outer join全表关联，将两表完整的进行笛卡尔积操作，左右表均可赋值为null。

semi join最主要的使用场景就是解决exist in。

hive不支持where子句中的子查询，sql常用的exist in子句在hive中是不支持的。

select a.key, a.value

from a

where a.key in (select b.key from b);

可以改写为：

from a left outer join b on (a.key = b.key)

where b.key <> null;

一个更高效的实现为：

from a left semi join b on (a.key = b.key);

left semi join是0.5.0以上版本的特性。