本节书摘来异步社区《Hadoop MapReduce性能优化》一书中的第2章,第2.5节,作者: 【法】Khaled Tannir 译者: 范欢动 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。
2.5 小结
Hadoop MapReduce性能优化
在本章中,我们讨论了Hadoop MapReduce性能调优,并学习了应用程序开发人员和集群管理员如何通过调优Hadoop来提升MapReduce作业的性能。
我们学习了大多数与CPU、磁盘I/O、内存和网络利用相关的配置变量,并探讨了这些变量如何影响MapReduce作业的性能。
之后,我们学习了Hadoop性能指标并推荐了一些开源监测工具,这些工具可以提升Hadoop监测体验,而且对Hadoop集群管理员和应用程序开发人员来说非常顺手。
在下一章中,我们将学习如何基于性能指示器来识别资源瓶颈,并学习常用的性能调优方法。