MapReduce核心思想

MapReduce核心编程思想 即分而治之

需求：统计其中每一个单词出现的总次数(查询结果：a-p一个文件，q-z一个文件)

1）分布式的运算程序往往需要分成至少2个阶段

2）第一个阶段的MapTask并发实例， 完全并行运行，互不相干

3）第二个阶段的ReduceTask 并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。

4）MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就 只能多个MapReduce程序，串行运行。

总结：分析WordCount数据流走向深入理解MapReduce核心思想。

若干问题细节

1）MapTask如何工作

2）ReduceTask 如何工作

3）MapTask如何控制分区、排序等

4）MapTask和ReduceTask之间如何衔接

MapReduce进程

》1：什么是进程?

即在内存中运行的程序