`
twtbgn
  • 浏览: 44072 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

yarn中nodemanager和任务的可用内存大小调整

 
阅读更多

今天在集群和调试之前开发的spark算法时,我提交的算法一直处于accpected状态,而且无法一直没有分配到nodemanager,怀疑是集群上的资源都被占用了 一直无法分配到资源导致的。查看了下historyserver,看见同事的一个算法正在running,他分配了5g的内存来执行。可是每台集群都又24g内存,不能他的任务用了5g我的就跑不了啊。。应该是yarn设置的内存太小,随后就查了相关配置,确实都是用的默认值,下面给出具体的配置信息,在yarn-site.xml 中 :

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>18432</value>
<discription>每个节点可用内存,单位MB,默认是8g,spark需要大量内存,这里调整为18g</discription>
</property>
 <property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1500</value>
<discription>单个任务可申请最少内存,默认1024MB,稍微大一点,避免小的计算浪费资源</discription>
</property>

<property>
 <name>yarn.scheduler.maximum-allocation-mb</name>
<value>16384</value>
<discription>单个任务可申请最大内存,默认8192MB,改为16g,大任务充分利用资源</discription>
</property>

 

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics