yarn - Tristan - ITeye博客

`

Tristan_S

浏览: 361488 次
性别:
来自: 上海

最近访客更多访客>>

devcang

loginboot

ty518459

william_dev

博主相关

博客

微博

相册

收藏

留言

关于我

文章分类

社区版块

存档分类

最新评论

小灯笼： LoadRunner性能测试实战课程网盘地址：https:// ...
LoadRunner性能测试实战教程
爱上疯狂： [范德萨发的是发大水发大水发多大沙发啊quote]
main方法测试外系统接口
siphlina： Loadrunner视频——http://pan.baidu. ...
LoadRunner性能测试实战教程
全球唯一的你： LoadRunner性能测试实战视频教程课程观看地址：http ...
LoadRunner性能测试实战教程
凡人修仙：课程：LoadRunner性能测试实战网盘地址： http:/ ...
LoadRunner性能测试实战教程

yarn

博客分类：

大数据

阅读更多

Hadoop1 最大的问题是JobTracker包含了资源管理和作业控制的功能。
这就导致资源和MapReduce框架的紧耦合。

Yarn将其分离成ResourceManager【RM】和ApplicationMaster【AM】。
RM提供全局性的资源调配，每个AM管理自己的应用。仍然还是Master/Slave结构。
Slave是NodeManager【NM】。可以支持其他的计算框架storm spark

spark 内存计算框架
场景：在数据挖掘，机器学习，很多算法需要迭代多次才能得到结果，如果使用MR，每次都需要访问hdfs，IO便成为了瓶颈。spark能将其放入缓存中。

start-dfs.sh
NameNode
DataNode
SecondaryNameNode

start-yarn.sh
ResourceManager
NodeManager

start-hbase.sh
HMaster

分享到：

storm 学习 | hbase hive 总结

2014-07-25 16:58
浏览 555
评论(0)
分类:编程语言
查看更多

评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

hadoop-yarn-api-2.5.1-API文档-中文版.zip: 赠送jar包：hadoop-yarn-api-2.5.1.jar；赠送原API文档：hadoop-yarn-api-2.5.1-javadoc.jar；赠送源代码：hadoop-yarn-api-2.5.1-sources.jar；赠送Maven依赖信息文件：hadoop-yarn-api-2.5.1.pom；包含翻译后...

hadoop-yarn-client-2.6.5-API文档-中文版.zip: 赠送jar包：hadoop-yarn-client-2.6.5.jar；赠送原API文档：hadoop-yarn-client-2.6.5-javadoc.jar；赠送源代码：hadoop-yarn-client-2.6.5-sources.jar；赠送Maven依赖信息文件：hadoop-yarn-client-2.6.5.pom；...

Hadoop大数据平台构建、YARN配置、启动与验证教学课件.pptx: YARN配置、启动与验证 YARN配置、启动与验证序号任务名称任务一 YARN组件参数配置任务二 MapReduce组件参数配置任务三配置SSH无密钥登录（slave1为主节点）任务四分发YARN与MapReduce配置文件任务五启动...

yarn-1.19.2.msi: Yarn 对你的代码来说是一个包管理器，你可以通过它使用全世界开发者的代码，或者分享自己的代码。 Yarn 做这些快捷、安全、可靠，所以你不用担心什么。通过Yarn你可以使用其他开发者针对不同问题的解决方案，使...

hadoop-yarn-common-2.6.5-API文档-中文版.zip: 赠送jar包：hadoop-yarn-common-2.6.5.jar 赠送原API文档：hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码：hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档：hadoop-yarn-common-2.6.5-javadoc-...

hadoop-yarn-api-2.6.5-API文档-中文版.zip: 赠送jar包：hadoop-yarn-api-2.6.5.jar；赠送原API文档：hadoop-yarn-api-2.6.5-javadoc.jar；赠送源代码：hadoop-yarn-api-2.6.5-sources.jar；赠送Maven依赖信息文件：hadoop-yarn-api-2.6.5.pom；包含翻译后...

yarn 前端打包工具指定配置文件: yarn 前端打包工具指定配置文件

Hadoop的yarn详解: 详细介绍了Hadoop2.x的资源管理框架yarn，内容丰富，很有帮助。

hadoop-yarn-client-2.5.1-API文档-中英对照版.zip: 赠送jar包：hadoop-yarn-client-2.5.1.jar；赠送原API文档：hadoop-yarn-client-2.5.1-javadoc.jar；赠送源代码：hadoop-yarn-client-2.5.1-sources.jar；赠送Maven依赖信息文件：hadoop-yarn-client-2.5.1.pom；...

yarn msi 安装文件（yarn-1.0.2.msi ）: 现在官网下载缓慢，这里可以直接下载安装，所以分享给大家，以供直接下载，版本号 yarn-1.0.2.msi

yarn-1.22.0.msi: 现在官网下载缓慢，这里可以直接下载最新版本安装，版本号 yarn-1.22.0.msi yarn是facebook发布的一款取代npm的包管理工具。快速、可靠、安全的依赖管理工具

yarn-1.22.4.msi和yarn-1.22.5.msi: 今天用到yarn编译一个前端工程，要求版本大于1.0，官网的404，其他地方居然找了半天也没有可用的下载地址，csdn上没有低于25分的。特意分享一下，免得面临同样需求的人白白耽误时间。

hadoop-yarn-client-2.7.3-API文档-中英对照版.zip: 赠送jar包：hadoop-yarn-client-2.7.3.jar；赠送原API文档：hadoop-yarn-client-2.7.3-javadoc.jar；赠送源代码：hadoop-yarn-client-2.7.3-sources.jar；赠送Maven依赖信息文件：hadoop-yarn-client-2.7.3.pom；...

Yarn编程ApplicationList: yarn编码，实现Application列表查询，Application的kill操作。以及Job的查询，map和reduce个数查询

hadoop-yarn-api-2.7.3-API文档-中英对照版.zip: 赠送jar包：hadoop-yarn-api-2.7.3.jar；赠送原API文档：hadoop-yarn-api-2.7.3-javadoc.jar；赠送源代码：hadoop-yarn-api-2.7.3-sources.jar；赠送Maven依赖信息文件：hadoop-yarn-api-2.7.3.pom；包含翻译后...

yarn.lock yarn install 安装失败，使用官方下载的yarn.lock文件: npm install -g yarn yarn install 安装失败，使用官方下载的yarn.lock文件

yarn 1.6 WIN安装文件: yarn安装包给不能下载的用户提供下载，欢迎下载。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

yarn1.22.4与1.22.5最新安装包windows: yarn1.22.4与1.22.5最新安装包windows

Yarn框架代码详细分析V0.5: Hadoop的2.0版本的yarn的框架介绍啊 Hadoop yarnYARN 本身框架的优势是扩展性与支持多计算模型。对于扩展性目前主要体现在计算节点规模上，以前 JobTracker-TaskTracker 模型下最多大约在 5000 台机器左右，对于 ...

YARN内存配置计算脚本: 一个计算yarn内存配置的python脚本yarn-util.py，该脚本有四个参数参数描述 -c CORES 每个节点CPU核数 -m MEMORY 每个节点内存总数（单位G） -d DISKS 每个节点的硬盘个数 -k HBASE 如果安装了Hbase则为True，...

Global site tag (gtag.js) - Google Analytics