天天看點

《Hadoop MapReduce性能優化》一第 1 章 了解Hadoop MapReduce

本節書摘來異步社群《hadoop mapreduce性能優化》一書中的第1章,第1.1節,作者: 【法】khaled tannir 譯者: 範歡動 責編: 楊海玲,更多章節内容可以通路雲栖社群“異步社群”公衆号檢視。

hadoop mapreduce性能優化

第 1 章 了解hadoop mapreduce

mapreduce是一個流行的針對資料密集任務的分布式計算模型,它正在發展成為用來支撐包括web索引、資料挖掘和科學仿真等領域的大規模資料并行應用的重要程式設計模型。

hadoop是google公司的mapreduce程式設計模型的最受歡迎的java開源實作。在很多公司,hadoop已經用于大規模資料分析任務,并且經常用在對響應時間要求很嚴格的作業中。

在深入了解mapreduce程式設計和hadoop性能調優之前,我們先來回顧一下mapreduce模型的基礎知識,并了解有哪些因素影響着hadoop的性能。

本章将介紹以下内容:

mapreduce模型;

hadoop mapreduce概述;

hadoop mapreduce的工作原理;

影響mapreduce性能的因素。