天天看点

《Hadoop MapReduce性能优化》一2.5 小结

本节书摘来异步社区《hadoop mapreduce性能优化》一书中的第2章,第2.5节,作者: 【法】khaled tannir 译者: 范欢动 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。

hadoop mapreduce性能优化

在本章中,我们讨论了hadoop mapreduce性能调优,并学习了应用程序开发人员和集群管理员如何通过调优hadoop来提升mapreduce作业的性能。

我们学习了大多数与cpu、磁盘i/o、内存和网络利用相关的配置变量,并探讨了这些变量如何影响mapreduce作业的性能。

之后,我们学习了hadoop性能指标并推荐了一些开源监测工具,这些工具可以提升hadoop监测体验,而且对hadoop集群管理员和应用程序开发人员来说非常顺手。

在下一章中,我们将学习如何基于性能指示器来识别资源瓶颈,并学习常用的性能调优方法。

继续阅读