YARN-Fair Scheduler

  1. 云栖社区>
  2. 阿里巴巴客户体验驱动及创新中心>
  3. 博客>
  4. 正文

YARN-Fair Scheduler

尊渊 2018-02-05 22:16:20 浏览5243
展开阅读全文

原文:http://hadoop.apache.org/docs/r2.6.4/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

介绍

公平调度是一种对于全局资源,对于所有应用作业来说,都均匀分配的资源分配方法。YARN有能力调度多种资源类型。默认情况,公平调度器FairScheduler基于内存来安排公平调度策略。也可以配置为同时基于内存和CPU来进行调度,这样情况下需要使用由Ghodsi开发的Dominant Resource Fairness进行。当只有一个单一应用作业运行时,这个应用可以独占整个集群。当其他应用作业提交到集群时,空出来的资源将分配给新的应用,最终所有的应用作业会平分集群资源。不像Hadoop的默认调度器,它只将任务构造一个应用队列,公平调度器会在不饿死长周期作业的同

网友评论

登录后评论
0/500
评论
尊渊
+ 关注