本節書摘來異步社群《hadoop mapreduce性能優化》一書中的第2章,第2.5節,作者: 【法】khaled tannir 譯者: 範歡動 責編: 楊海玲,更多章節内容可以通路雲栖社群“異步社群”公衆号檢視。
hadoop mapreduce性能優化
在本章中,我們讨論了hadoop mapreduce性能調優,并學習了應用程式開發人員和叢集管理者如何通過調優hadoop來提升mapreduce作業的性能。
我們學習了大多數與cpu、磁盤i/o、記憶體和網絡利用相關的配置變量,并探讨了這些變量如何影響mapreduce作業的性能。
之後,我們學習了hadoop性能名額并推薦了一些開源監測工具,這些工具可以提升hadoop監測體驗,而且對hadoop叢集管理者和應用程式開發人員來說非常順手。
在下一章中,我們将學習如何基于性能訓示器來識别資源瓶頸,并學習常用的性能調優方法。