- 浏览: 1778291 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
奔跑的小牛:
例子都打不开
如何使用JVisualVM进行性能分析 -
蜗牛coder:
好东西[color=blue][/color]
Lucene学习:全文检索的基本原理 -
lovesunweina:
不在haoop中是在linux系统中,映射IP的时候,不能使用 ...
java.io.IOException: Incomplete HDFS URI, no host -
evening_xxxy:
挺好的, 谢谢分享
如何利用 JConsole观察分析Java程序的运行,进行排错调优 -
di1984HIT:
学习了~~~
ant使用ssh和linux交互 如:上传文件
很抱歉,本篇文章有误,今(20100225)天已经修正。(请注意官方中文文档已经落后了,请尽量看英文文档)
一、准备工作:
Hadoop分布式文件系统,架构和设计 :http://hadoop.apache.org/common/docs/r0.20.2/cn/hdfs_design.html
Hadoop快速入门:http://hadoop.apache.org/common/docs/r0.20.2/cn/quickstart.html
SSH认证登录(可后看):http://www.ibm.com/developerworks/cn/linux/security/openssh/part1/index.html
二、下面实际操作,初步感受分布式文件系统:
1、ssh安装(linux:openssh,windwos:要先安装Cygwin),略过
2、下载Hadoop的发行版,从Apache的某个镜像服务器上下载最近的 稳定发行版:
http://hadoop.apache.org/core/releases.html,解压所下载的Hadoop发行版。
$ wget http://labs.renren.com/apache-mirror/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
$ tar -zxvf hadoop-0.20.2.tar.gz
$ cd hadoop-0.20.2
3、编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径
4、稍微熟悉下使用文档
$ bin/hadoop //将会显示hadoop 脚本的使用文档。
现在你可以用以下三种支持的模式中的一种启动Hadoop集群:
* 单机模式
* 伪分布式模式
* 完全分布式模式
5、单机模式的操作方法
默认情况下,Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助。
下面的实例将已解压的 conf 目录拷贝作为输入,查找并显示匹配给定正则表达式的条目。输出写入到指定的output
目录。
$ mkdir input
$ cp conf/*.xml input
我们看看下面的查找:
$ egrep dfs[a-z.]+ input/*
输出:
input/hadoop-policy.xml: dfsadmin and mradmin commands to refresh the security policy in-effect.
运行hadoop命令:
$ bin/hadoop jar hadoop-0.20.2-examples.jar grep input output 'dfs[a-z.]+'
执行上面的命令,会有一些输出日志,随便看看,了解了解。
$ cat output/*
结果:
1 dfsadmin
6、伪分布式模式的操作方法
Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。
6.1、配置
(中文官方文档落后了,我上面的链接是中文文档,请自己转到英文文档看):
conf/core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
conf/hdfs-site.xml
<configuration> <property> <name>dfs.name.dir</name> <value>/home/lighttpd/hadoopfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/lighttpd/hadoopfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
conf/mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
6.2、免密码ssh设置(参考我的另外一篇文章:http://jiajun.iteye.com/blog/621309)
现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost
如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
$ ssh-keygen -t dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
6.3、格式化一个新的分布式文件系统
$ bin/hadoop namenode -format
注意看看输出日志哦,有助于理解。
6.4、启动Hadoop守护进程:
$ bin/start-all.sh
如果你设置了ssh的RSA认证,就不用输入密码,不然就要输入三次密码登录
6.5、日志
Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs).
6.6、浏览NameNode和JobTracker的网络接口,它们的地址默认为:
* NameNode - http://localhost:50070/
* JobTracker - http://localhost:50030/
浏览观察一下,会看懂甚至更好的理解一些东西。
6.7、将输入文件拷贝到分布式文件系统:
$ bin/hadoop fs -put conf input //把本地的文件夹conf拷贝到分布式文件系统input文件夹
$ bin/hadoop fs -ls input //浏览分布式文件系统中的input文件
上面的命令是hadoop的,你可以输入下面命令,获取帮助
$ bin/hadoop fs
6.8、运行发行版提供的示例程序:
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
查看输出文件:
$ bin/hadoop fs -get output output // 将输出文件从分布式文件系统拷贝到本地文件系统
$ cat output/*
或者,在分布式文件系统中查看:
$ bin/hadoop fs -cat output/*
6.9、你可以多试试bin/hadoop fs 下的java FsShell,和操作本地文件差不多,很快能熟悉。
6.10、最后,完成全部操作后,可以停止守护进程:
$ bin/stop-all.sh
bin下面有很多shell脚本这时可以适当看看名称,猜个大概意思。
下面我会继续给大家一个完全分布式模式的操作方法,敬请稍候。
评论
稍作回答:通信协作(分布式计算)、分布式存储(无限扩展廉价存储,解决存储、速度、容错等)、基于Hadoop的分布式并行编程,所谓的云计算可窥一斑。用在爬虫搜索引擎等威力不小。
发表评论
-
HBase配置LZO压缩
2011-07-10 22:40 6117系统: gentoo HDFS: hadoop:hado ... -
HBase RegionServer 退出 ( ZooKeeper session expired)
2011-04-23 08:32 9018RegionServer 由于 ZooKeeper sessi ... -
HBase迁移数据方案1(两个集群不能通信)
2011-03-30 18:23 3822前一篇文章里面介绍了 两个可以直接通信的集群之间很容易拷贝数据 ... -
HBase如何迁移数据
2011-03-10 13:42 6469HBase如何迁移数据?这里有个方案:http://blog. ... -
HBase如何存取多个版本的值
2011-03-07 16:11 27182HBase如何存取多个版本 ... -
HBase简介(很好的梳理资料)
2011-01-30 10:18 130602一、 简介 history s ... -
Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)
2010-11-28 16:30 22150做个中文版下载源: http://dl.iteye.c ... -
hadoop主节点(NameNode)备份策略以及恢复方法
2010-11-11 19:35 27735一、dits和fsimage 首先要提到 ... -
HRegionServer: ZooKeeper session expired
2010-11-01 14:21 11413Hbase不稳定,分析日志 ... -
Bad connect ack with firstBadLink
2010-10-25 13:20 8291hbase报的错误,经过分析是Hadoop不能写入数据了。可恶 ... -
hbase0.20.支持多个主节点容灾切换功能(只激活当前某个节点,其他节点备份)
2010-09-09 14:53 2840http://wiki.apache.org/hadoop/H ... -
java.io.IOException: Incomplete HDFS URI, no host
2010-09-07 08:31 16130ERROR org.apache.hadoop.hdfs.se ... -
升级hadoop0.20.2到hadoop-0.21.0
2010-09-05 11:52 7722按照新的文档来 更新配置: http://hadoop.apa ... -
hadoop-hdfs启动又自动退出的问题
2010-05-20 10:45 6064hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊 ... -
在windows平台下Eclipse调试Hadoop/Nutch
2010-04-29 14:34 3267即让碰到这个问题说明 准备工作都做好了,软件包,环境什么的这里 ... -
Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…
2010-04-29 14:26 6369Hadoop运行mapreduce实例时,抛出错误 All d ... -
cygwin 添加用户
2010-04-13 17:48 7356http://hi.baidu.com/skychen1900 ... -
nutch总体输入输出流程图解析
2010-04-12 16:58 2429附件里面有word文档,请下 ... -
解析hadoop框架下的Map-Reduce job的输出格式的实现
2010-04-10 18:34 10096Hadoop 其实并非一个单纯用于存储的分布式文 ... -
nutch分布式搭建
2010-04-06 17:54 6794如何在eclipse中跑nutch :http://jiaj ...
相关推荐
Hadoop分布式文件系统的模型分析,Hadoop 分布式文件系统是遵循Google 文件系统原理进行开发和实现的,受到了业界极大关注,并 已被广泛应用。 鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从 Hadoop ...
Hadoop分布式文件系统使用指南Hadoop分布式文件系统使用指南Hadoop分布式文件系统使用指南Hadoop分布式文件系统使用指南Hadoop分布式文件系统使用指南Hadoop分布式文件系统使用指南Hadoop分布式文件系统使用指南...
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...
04 Hadoop实现原理B - 分布式文件系统HDFS.pdf
Hadoop分布式文件系统翻译
Hadoop平台技术 模块2 分布式文件系统HDFS-单元设计.docx 学习资料 复习资料 教学资源
在Hadoop的分布式文件系统下,对文件的读写和列出文件的相关属性和目录中的内容
01_hadoop_hdfs1分布式文件系统01.mp4 02_hadoop_hdfs1分布式文件系统02.mp4 03_hadoop_hdfs1分布式文件系统03.mp4 04_hadoop_hdfs1分布式文件系统04.mp4 05_hadoop_hdfs1分布式文件系统05.mp4 06_hadoop_hdfs1...
Hadoop分布式文件系统使用指南.pdf
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...
1、hadoop单机模式和伪分布式 2、hadoop集群 3、hadoop运行WordCount程序 4、编码实践并在Hadoop上运行 题目:输入两个文件,一个代表工厂表,包含工厂名列和地址编号列;另一个代表地址表,包含地址名列和地址编号...
《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统.pdf
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...
hadoop快速入门.doc hadoop快速入门.doc hadoop快速入门.doc
完整的Hadoop分布式文件系统架构,以及源码分析报告
通过工具类脚本执行从ftp下载文件上传到Hadoop分布式文件系统
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...
Hadoop分布式文件系统-架构和设计要点
工作中搭建的hadoop分布式文件系统和hive ,mysql等的搭建的具体步骤