天天看点

《Hadoop实战第2版》——3.6节本章小结

3.6 本章小结

本章主要介绍了mapreduce的计算模型,其中的关键内容是一个流程和四个方法。一个流程指的是数据流程,输入数据到、到、到、到输出数据。四个方法就是这个数据转换过程中使用的方法(分别是inputformat、map、reduce、outputformat),以及其对应的转换过程。除此之外,还介绍了mapreduce编程框架的几个优化方法,以及hadoop流和hadoop pipes,后者是在hadoop中使用脚本文件及c++编写mapreduce程序的方法。