Hadoop MapReduce表关联

假设有两个文件，分别对应要关联的两张表（部门表，员工表）

部门表文件格式如下：

部门ID    部门名称

1            技术部

2            市场部

员工表文件格式如下：

部门ID    员工ID    员工姓名

1             1             小明

1             2             张三

2             3             李四

2             4             王五

我们希望根据上面两个文件找出部门和员工的对应关系：

部门名称    员工姓名

技术部        小明

技术部        张三

市场部        李四

市场部        王五

如果是关系型数据库，很容易通过表关联查询出上面的结果，通过Hadoop MapReduce也能实现同样的表关联。

思路：

关系型数据库是通过左右表的连接来实现两个表的关联，考虑到MapReduce的shuffle过程会将相同key值的value放在一起，

我们可以将左右表中待连接的列作为key值，左表和右表其余的数据放到value中，那么在reduce阶段，我们就能对values中的数据进行处理，找到我们需要的关联数据。

具体过程如下：

假设部门表作为左表，员工表作为右表，同时用一个标志位标识是左表还是右表（1代表左表，2代表右表）。

Map阶段：

输出的key是用于连接的列（部门ID），value是“左右表标识－其余列值”

对部门表的map操作将输出以下key－value对：

1:1-技术部

2:1-市场部

对员工表的map操作将输出以下key－value对：

1:2-小明

1:2-张三

2:2-李四

2:2-王五

Shuffle：

shuffle过程会将相同key值的value放在一起。

对上面map阶段输出的key－value对shuffle之后将输出以下key－values作为reduce的输入。

1:{1-技术部，2-小明，2-张三｝

2:{1-市场部，2-李四，2-王五}

Reduce阶段：

对每一个key对应的values进行如下处理：

如果是左表（1），则将value归到部门数组或列表，如果是右表（2），则将value归到员工，然后部门和员工求笛卡尔积，输出到结果集中：

对于key（1），部门有技术部，员工有小明和张三，则输出如下结果：

技术部        小明

技术部        张三

同理，对于key（2），会输出如下结果：

市场部        李四

市场部        王五

那么最终总的输出结果如下：

部门名称    员工姓名

技术部        小明

技术部        张三

市场部        李四

市场部        王五