MapReduce中,map和reduce函数遵循如下常规格式:
Mapper的基类:
Reducer的基类:
Context是上下文对象
代码编写依据,也就是固定写法 input-->map--->reduce->output 以下java代码实现此命令的功能bin/hdfs dfs jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar input output
map 业务处理逻辑 --------------input-------- <0,hadoop yarn> --------------处理--------- hadoop yarn -->split->hadoop,yarn -------------output------- <hadoop,1> <yarn,1>
reduce 业务处理过程 map-->shuffle-->mapreduce
mapReduce 继承configured类, 并实现 Tool接口 tool接口类中的run方法重写 configured 提供初始化工作。