`

cloudera manager资源管理

 
阅读更多

最近工作中,正在将mapreduce计算框架向spark迁移,这个时候mapreduce和spark应用是并存的,都基于hadoop yarn进行计算任务管理。 在同时提交mapreduce和spark任务后发现:mr 任务一直处在等待或者running状态,spark 任务却运行良好。查看集群的资源使用状况,集群计算节点的资源还有很大的富于,那么为什么mr 任务却一直处在了等待状态呢? cloudera manager为我们提供了资源管理的方案,详见官方文档。

 

cloudera manager对资源的管理,参考官方文档

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics