一、hadoop 本机安装:
1)复制文件hadoop,jdk
2)配置变量java_home,path,hadoop_home ,conf/hadoop-env.sh 中的JAVA_HOME
3)运行如下命令测试安装是否成功
bin/hadoop jar hadoop-0.20.0-examples.jar grep input output 'dfs[a-z.]+'
二、伪分布模式(在本机的基础上增加步骤):
1)配置:core-site.xml,hdfs-site.xml,mapred-site.xml; 参考地址:http://blog.csdn.net/inkfish/article/details/5150029
2)配置ssh无密码登录; 参考地址: http://www.g-loaded.eu/2005/11/10/ssh-with-keys/
无密码ssh访问=================
/etc/ssh/sshd_config
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
ssh-keygen -t dsa -P ''
scp ~/.ssh/id_dsa.pub leopard@server.example.com:~/.ssh/authorized_keys
chmod 0600 *
==========================
2)格式化namenode:
$ bin/hadoop namenode -format
4)测试数据执行是否成功
三、真分布模式:
参考:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html(较详细的搭建步骤)
集群从属机器上的配置信息需要和主机上的配置信息一致,尤其是服务ip地址。
从属机器上不需要单独格式化namenode;
配置文件修改后(如备份策略),不需要重新格式化namenode;
四、常用命令
启动 bin/start-all.sh
hadoop-daemon.sh start datanode
hadoop-daemon.sh start tasktracher
./hadoop jar hadoop-examples-1.1.1.jar randomwriter out3
./hadoop-daemon.sh stop resourcemanager
./hadoop-daemon.sh stop nodemanager
./hadoop-daemon.sh start nodemanager
./hadoop-daemon.sh start resourcemanager
查看运行情况hadoop dfsadmin -report,发现可用节点是0:
hadoop dfsadmin -refreshNodes 刷新节点(删除节点时用)
hadoop dfsadmin -safemode leave
jps
http://localhost:50030
http://localhost:50070
五、问题记录
datanode 连接不上namenode ,提示because hostname cannot be resolved 的错误时,可考虑在namenode的/etc/hosts 文件中配置datanode信息如:192.168.2.120 datanode3
分享到:
相关推荐
hadoop2安装和常用shell命令,
大数据课程自备资料:Hadoop安装指南 + Linux常用操作命令
hadoop安装指南及基本命令主要讲解了在linux下如何搭建hadoop环境以及管理的相关命令
Hadoop安装和配置,Hadoop安装和配置,Hadoop安装和配置
Hadoop HDFS分布式文件系统 常用命令汇总
1、hadoop3.1.4简单介绍及部署、简单验证 网址:https://editor.csdn.net/md/?articleId=130322812 本文介绍hadoop的发展过程、3.1.4的特性、部署及简单验证。 本文前提依赖:免密登录设置、jdk已经安装、zookeeper...
Hadoop环境搭建和HDFS Shell命令 ppt格式 内容丰富生动
hadoop安装和配置,这份PPT讲诉了如何安装和配置Hadoop
Hadoop安装配置过程和注意事项
hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2...
Hadoop常用命令 Hadoop常用命令 Hadoop常用命令
教大家怎么安装Hadoop的一个文档: 1、掌握Linux虚拟机的搭建; 2、掌握Linux的常用命令及操作; 3、熟练掌握Hadoop安装及配置; 4、了解Hadoop的简单应用。
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
hadoop HBaseshell常用shell命令,这是工作中整理的一份文档,使用价值很高
Hadoop技术-HBaseShell常用命令.pptx
Hadoop安装教程_单机_伪分布式配置
hadoop安装过程,自己留着看,分享给大家,网络上弄的,仅供参考
在windows下搭建hadoop环境,一般需要借助虚拟机或者cygwin来模拟一个linux的启动环境。但这样搭建一个环境太麻烦了,其实可以直接像linux上一样来配置变量,然后启动,他的启动命令就是上面jar包中的bin
jdk版本尽量选择和Hadoop版本相容的,Hadoop版本可以选择较低版本,2.7版本较为稳定,Linux系统版本没有多大要求,一般将Hadoop和jdk版本选择好就行,这个作业较为简单,在安装时如果出现文件问题,一般情况下是core...
网上找的,适合于原生Hadoop2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。