技术干货:YARN基本设计思想

  1. 云栖社区>
  2. 大数据文摘>
  3. 博客>
  4. 正文

技术干货:YARN基本设计思想

小旋风柴进 2017-04-03 10:53:00 浏览1056
展开阅读全文
0.jpg

 2013年的Hadoop峰会上,YARN是一个热点话题,YARN本质上是Hadoop的新操作系统,突破了MapReduce框架的性能瓶颈。Murthy认为HadoopYARN的组合是企业大数据平台致胜的关键。

以下内容摘自《Hadoop技术内幕:深入解析YARN架构设计与实现原理》董西成机械工业出版社

 

YARN基本设计思想】

本节我们通过对比两代MapReduce的基本框架和编程模型来帮助读者理解YARN的基本设计思想。

2.3.1基本框架对比

Hadoop 1.0中,JobTracker由资源管理(由TaskScheduler模块实现)和作业控制(由JobTracker中多个模块共同实现)两部分组成,具体如图2-6所示。当前Hadoop MapReduce之所以在可扩展性、资源利用率和多框架支持等方面存在不足,正是由于Had

网友评论

登录后评论
0/500
评论
小旋风柴进
+ 关注
所属云栖号: 大数据文摘