MapReduce中的shuffle过程以及优化是如何实现的

shuffle过程

key

1.shuffle的功能

• 分区：

  决定当前key是交由哪个reduce进行处理，

  默认：按照key的hash值对reduce的个数进行取余，HashPartitioner.

• 分组：

  将相同的key进行合并；

• 排序：

  按照 key对每一组keyvalue进行排序，默认为字典排序；

2.执行过程