多用户下的Hadoop集群,少不了资源配置的管理。
Capacity Scheduler作为Yahoo开源的资源管理器,有着相当不错的适用性。
在HADOOP_HOME下的lib文件夹下面,找找有没有capacity schedule的jar包。
老版本的hadoop会把capacity scheduler的jar包
放在contrib/capacity-scheduler/hadoop-capacity-scheduler.jar
将jar包拷贝到hadoop的lib包下面。
修改namenode节点中的conf/mapred-site.xml文件
<property> <name>mapred.jobtracker.taskScheduler</name> <value>org.apache.hadoop.mapred.CapacityTaskScheduler</value> </property> <property> <name>mapred.queue.names</name> <value>default,hadoop,hive</value> </property>
修改conf下的capacity-scheduler.xml 配置文件
本人修改的已经在附件中上传。注意配置文件中的几个:
1.mapred.capacity-scheduler.queue.default.capacity
表示该队列中,占所有资源的比例值 x/100 %
所有队列的该值之和,不能超过100%
2.mapred.capacity-scheduler.queue.default.minimum-user-limit-percent
表示每个用户可以使用该队列值的多少
最后,如何使用该队列呢:
mapreduce:在Job的代码中,设置Job属于的队列,例如hive:
conf.setQueueName("hive");
hive:在执行hive任务时,设置hive属于的队列,例如hive:
set mapred.job.queue.name=hive;
相关推荐
hadoop-0.21.0-capacity-scheduler.jar
dolphinscheduler使用hive,hadoop,spark,datax,python,scala修改添加的配置
在Yarn中有三种调度器可以选择:FIFO Scheduler ,Capacity Scheduler,Fair Scheduler。 Yarn任务调度机制 二、FIFO Scheduler FIFO Scheduler是最简单也是最容易理解的调度器,也不需要任何配置,但它并不适用于...
hadoop配置之一
超级简单易用的java定时器,1个源程序,一个配置文件,再加一个配置项,完美搞定
apache-dolphinscheduler-3.1.4-src.tar.gzapache-dolphinscheduler-3.1.4-src.tar.gzapache-dolphinscheduler-3.1.4-src.tar.gzapache-dolphinscheduler-3.1.4-src.tar.gzapache-dolphinscheduler-3.1.4-src.tar....
dolphinscheduler 1.3.6 编译镜像,用于编译dolphinscheduler
DolphinScheduler(海豚调度) dolphinscheduler-data-quality-dev-SNAPSHOT数据质量jar包添加配置信息:<server-name>/conf/common.propertiesdata-quality.jar.name=dolphinscheduler-data-quality-dev-SNAPSHOT.jar...
1 YARN动态资源池 2 CDH集群上YARN的动态资源池配置 2.1 参数配置 2.1.1 yarn.admin.acl 2.1.2 yarn.scheduler.fair.allow-undeclared-pools ...在共享集群中,更适合采用Capacity Scheduler或Fair Scheduler
apache-dolphinscheduler-3.1.4-bin.tar.gzapache-dolphinscheduler-3.1.4-bin.tar.gzapache-dolphinscheduler-3.1.4-bin.tar.gzapache-dolphinscheduler-3.1.4-bin.tar.gzapache-dolphinscheduler-3.1.4-bin.tar....
Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。本文档介绍角色的主要作用,演示常见的使用之外,...
STK(System Tool Kit) /Scheduler使用向导,Orbit Logic公司的产品,看了不少资料,这是最好的一份教程。
本套教程基于DolphinScheduler 2.0.5版本,多角度调研与其他大数据框架的版本兼容性,给出管家式的部署安装过程,并对工作流的配置、依赖设置、参数设置等做出了详尽讲解。 教程在讲解框架的基础架构,介绍角色的...
java scheduler 定时任务demo,包含demo源码以及参数配置信息!
Scheduler job计划!Scheduler job计划!Scheduler job计划!Scheduler job计划!Scheduler job计划!Scheduler job计划!
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决...
Golang runtime scheduler的详细设计文档
dolphinscheduler安装包和mysql的jdbc连接jar包
Oracle BI Scheduler配置及iBot开发文档