1 hadoop目前支持以下三种调度器:
FifoScheduler:最简单的调度器,按照先进先出的方式处理应用。只有一个队列可提交应用,所有用户提交到这个队列。没有应用优先级可以配置。
CapacityScheduler:可以看作是FifoScheduler的多队列版本。每个队列可以限制资源使用量。但是,队列间的资源分配以使用量作排列依据,使得容量小的队列有竞争优势。集群整体吞吐较大。延迟调度机制使得应用可以放弃跨机器或者跨机架的调度机会,争取本地调度。
详情见官网http://hadoop.apache.org/docs/r1.2.1/capacity_scheduler.html
FairScheduler:多队列,多用户共享资源。特有的客户端创建队列的特性,使得权限控制不太完美。根据队列设定的最小共享量或者权重等参数,按比例共享资源。延迟调度机制跟CapacityScheduler的目的类似,但是实现方式稍有不同。资源抢占特性,是指调度器能够依据公平资源共享算法,计算每个队列应得的资源,将超额资源的队列的部分容器释放掉的特性。
详情见官网http://hadoop.apache.org/docs/r1.2.1/fair_scheduler.html
2 比较:
3 配置FairScheduler
修改mapred-site.xml,然后重启集群
更多配置见conf/fair-scheduler.xml
4 配置CapacityScheduler
修改mapred-site.xml,然后重启集群
更多配置见conf/capacity-scheduler.xml
相关推荐
为提高Hadoop平台性能,提出一种基于粒子群优化算法的Hadoop调度算法。以粒子位置代表可行的资源调度方案,以任务完成时间及资源负载均衡度作为目标函数,通过粒子群优化算法,找到最优的资源调度方案。实验结果表明,该...
基于粒子群优化算法的Hadoop调度算法研究.pdf
Hadoop常用调度算法介绍,包括FIFO、公平调度算法、计算能力调度算法、基于朴素贝叶斯先验的调度算法、基于自适应学习的调度算法。
一种异构环境下的Hadoop调度算法,梁建武,周杨,MapReduce作为一种重要的大规模数据并行程序模型已经越来越广泛的应用于web索引,数据挖掘以及科学仿真等方面。作为MapReduce的开源实现
Hadoop集群作业的调度算法Hadoop集群作业的调度算法Hadoop集群作业的调度算法
#资源达人分享计划#
对Hadoop的推测执行算法进行研究,并设计了一种更具公平性、更好系统处理能力和更适合于异构环境的改进的Hadoop调度算法SALS。改进的Hadoop算法对调度任务的判定更准确,对负载的针对性更强,可减少系统对全部任务的...
hadoop公平调度算法解析
为提高Hadoop平台性能,提出一种基于粒子群优化算法的Hadoop调度算法。以粒子位置代表可行的资源调度方案,以任务完成时间及资源负载均衡度作为目标函数,通过粒子群优化算法,找到最优的资源调度方案。实验结果表明,该...
在此基础上对Yarn的FairScheduler算法进行了改进,形成了考虑节点性能的调度算法。重新对Hadoop源码进行了编译,在所搭建的Hadoop平台上进行了对比实验,证明了加入节点性能指标有效解决了Hadoop负载均衡问题,对...
Hadoop 调度算法 调优讲解
Hadoop的利器,公平调度器算法的详细概述与实现!
Hadoop平台下的作业调度算法研究与改进
Hadoop公平调度器延迟调度算法延迟间隔的选择,张博钰,方维,目前,Hadoop分布式计算框架在各大互联网企业中被广泛的应用。多用户共享集群是Hadoop应用的典型场景,其中如何在保证用户作业服务质
在分析Hadoop缺省及改进的作业调度算法基础上,引入群智能算法,设计了基于改进人工鱼群算法的Hadoop作业调度算法。采用随机键方式对待分配任务进行编码,以任务总执行时间作为启发函数,并引入吞食行为和跳跃行为...
在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行...
Hadoop的普及正在如火如荼,而网上对Hadoop调度算法的资料很少。在操作系统课程报告上研究的Hadoop集群作业的调度算法。包括传统的FIFO Scheduler、Fair Scheduler、Capacity Scheduler以及新特性的异构负载动态调度...
基于节点性能的Hadoop作业调度算法改进.pdf
负载均衡的Hadoop平台调度算法研究.pdf
Hadoop集群公平调度算法的改进,张晓莉,谷利泽,对于基于特定系统和应用建立的Hadoop集群,任务的作业优先级别有显著差异。此时原有的公平调度算法并不能很好地利用资源并完成相应