cloudeagle
- 浏览: 105037 次
- 性别:
- 来自: 合肥
-
最新评论
文章列表
转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt
1、sbin目录下的
1、distribute-exclude.sh
这个脚本用来将exclude文件分发到各个Namenode上。
2、hadoop-setup-conf.sh
1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。
2、针对特定的配置文件增加配置项
3、配置其他多个配置项
3、httpfs.sh
1、配置tomcat启动参数
- 2012-12-28 16:45
- 浏览 303
- 评论(0)
MAPREDUCE-3451, 把fairScheduler引入到2.0.2-alpha, 本文介绍一下hadoop 2.0.2-alpha的fairscheduler. 包括调度算法和配置方法.
代码
在org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair包下, 主要包括如下的类:
各个类作用的简要描述:
1. AllocationConfigurationException, 如果配置文件出错会抛出此异常.
2. AppSchedulable 一个可以提交task的实体, 继承于Schedulable, ...
- 2012-12-28 11:53
- 浏览 318
- 评论(0)
1.Hadoop2.0简述[1]
与之前的稳定的hadoop-1.x相比，Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。
HDFS:为了保证name服务器的规模水平，开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的，它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块，每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告，接受和处理Namenodes的命令。
YARN(新一代MapReduc ...
- 2012-12-28 11:45
- 浏览 412
- 评论(0)
一、前言
YARN/MRv2在处理请求时采用了基于事件驱动机制的异步编程模型SEDA，如下图所示：
事件通过Dispather中一个HandlerThread分发给该事件对应的EventHandlerService来处理。每种事件对应一种EventHandler。未被EventHandler处理的事件 ...
- 2012-12-28 11:43
- 浏览 268
- 评论(0)
在出现grub画面时，用上下键选中平时启动linux的那一项，然后按e键
选择以kernel开头的一行，按e进入编辑模式,修改现在见到的命令行，加入single，结果如下：
kernel /boot/vmlinuz-2.4.18-14 single ro root=LABEL=/
或者在此行的末尾，按空格键后输入single
回车返回，然后按b键启动，即可直接进入linux命令行
然后passwd root即可
- 2012-09-26 21:51
- 浏览 276
- 评论(0)
hadoop0.23 求教:
使用linux环境下进行编译后，使用mvn:eclipse生成了项目文件，将项目文件打包传至Windows环境下后，使用m2eclipse插件导入后，出现了几个问题:
1. 出现了很多错误，奇怪的是，打开代码后，没有发现错误在哪里。 非常奇怪.
2. 很重要的一个问题是: 修改单个项目的代码后，如何进行整体的编译啊? 这里有很多maven项目，比如yarn-server-resourcemanager,yarn-server-nodemanager等等，如何在eclipse下进行多项目的编译啊?
3. 之前本人编译都是在Windows ...
- 2012-09-08 15:25
- 浏览 200
- 评论(0)
Yarn编译指南
首先下载hadoop0.23版本
svn checkout
http://svn.apache.org/repos/asf/hadoop/common/tags/release-0.23.0-rc1
2. 进入release-0.23.0-rc0目录下能看到INSTALL.TXT文件,这里有编译hadoop 0.23的教程.
编译前的准备:.
a) * UnixSystem
b) * JDK1.6
c) * Maven3.0
d) *Forrest 0.8 (if generating docs)
e) *Findbugs 1.3.9 (if runni ...
- 2012-09-08 15:21
- 浏览 265
- 评论(0)
两台机器上面执行同样的命令，同样的程序，得出截然相反的结果， 这是神马情况?
node11上面:
1. 执行 mpiexec -np 16 piC , 报错：
[proxy:0:0@node11] HYDU_create_process (./utils/launch/launch.c:69): execvp error on file piC (No such file or directory)
2. 改为执行piexec -np 16 ./piC ，程序正常执行.
node12上面:
1. 执行 mpiexec -np 16 ./piC ,报错:
[proxy:0 ...
- 2012-06-18 10:20
- 浏览 182
- 评论(0)