在本章中学习如何在CentOS 6.4上安装配置Hadoop开发环境。
配置ssh及生成密码对
首先需要安装ssh:
引用
# yum install ssh
紧接着启动ssh,并将之设置开机运行:
引用
# service sshd start
# chkconfig sshd on
好,现在已经安装并启动了sshd,接下来我们来为hadoop生成面登录的密码对:
引用
# ssh-keygen
然后接下来的交互中一路回车,如下图所示:
再然后将刚才生成的公钥copy到.ssh/authorized_keys目录下:
引用
# cd /root/.ssh
# cat ./id_rsa.pub>>./authorized_keys
这样,ssh和免密码登录的配置就应经好了,见下图:
配置机器时间同步
手动同步:
引用
# usr/sbin/ntpdate cn.pool.ntp.org
自动同步:
引用
# crontab e
0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org
安装Hadoop 1.0.3
在安装hadoop之前,需要先配置Java环境,java安装过程这里不再赘述。
下载并解压hadoop 1.0.3:
引用
# wget https://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/hadoop-1.0.3-bin.tar.gz
# chmod +x hadoop-1.0.3-bin.tar.gz
# tar xzvf hadoop-1.0.3-bin.tar.gz
然后将hadoop-1.0.3复制到/opt/bigdata目录下:
引用
# cp -rf hadoop-1.0.3 /opt/bigdata
紧接着配置hadoop的环境:
引用
# vi /ect/profile.d/java.sh
引用
# source /etc/profile
然后我们来看配置后的效果:
最后,配置hadoop的一些相关配置文件:
1、配置$HADOOP_HOME/conf/hadoop-env.sh,在文件的末尾添加下面内容:
引用
#set java environment
export JAVA_HOME=/usr/local/jdk6
2、配置core-site.xml文件
core-site.xml是Hadoop核心配置文件,这里配置的是HDFS的地址和端口号:
引用
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/bigdata/hadoop-tmp</value>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
如没有配置hadoop.tmp.dir参数,此时系统默认的临时目录为:/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉,必须重新执行format才行,否则会出错
3、配置hdfs-site.xml文件
修改Hadoop中HDFS的配置,配置的备份方式默认为3:
引用
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<configuration>
4、配置mapred-site.xml文件
配置的是JobTracker的地址和端口:
引用
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
好了,到这里hadoop在CentOS 6.4下的伪分布式环境已经陪好了。
最后一步还要修改/etc/hosts,将用户名映射到127.0.0.1,如:
引用
127.0.0.1 JackyChen
不然DataNode节点启动不起来。接下来然我们初始化NameNode:
引用
# cd bin
# hadoop namenode -format
最后启动hadoop:
引用
# ./start-all.sh
- 大小: 85.8 KB
- 大小: 145.9 KB
- 大小: 40.8 KB
- 大小: 133.3 KB
- 大小: 49 KB
- 大小: 144.4 KB
- 大小: 164.5 KB
- 大小: 136.9 KB
- 大小: 101 KB
- 大小: 103.8 KB
分享到:
相关推荐
CentOS下安装伪分布式Hadoop-1.2.1
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客总结、分享、收获大数据 (http://dblab.xmu.
Hadoop安装教程_单机_伪分布式配置_CentOS6.4_Hadoop2.6
CentOS 6.4 安装 Oracle 11g,不是网络上拷贝,自己全程写下来的。
Centos6.4_安装oracle_11g教程,简单易懂,让你玩转oracle数据库
CentOS 6.4安装(超级详细图解教程)
CentOS6.4安装MySql5.5.27[文].pdf
Centos7中搭建完全分布式Hadoop,本文将详细介绍Hadoop搭建过程,一步步教会各位同事如何搭建Hadoop,从最初的文件配置到Hadoop测试,再到Hadoop实例程序 。
centos6.4的安装镜像。可以下一个VM,安装流程百度一大堆。
CentOS 6.4安装配置LAMP服务器
CentOS 6.4安装(超级详细图解教程) 说明: 1、CentOS 6.4 系统镜像有两个,安装系统只用到第一个镜像即 CentOS-6.4-i386-bin-DVD1.iso(32 位) 或者 CentOS-6.4-x86_64-bin-DVD1.iso(64 位),第二个镜像是...
自己动手从开箱上架开始,Dell CentOS 6.4服务器安装Oracle VM VirtualBox 操作的文档
基于CentOS6.4系统下的SSH服务器和Telnet服务器搭建详细步骤,包括SSH远程登陆,SCP命令上传和下载文件,PUTTY工具的使用等...用于Linux课程作业使用
fastdfs-nginx-module_v1.16.tar.gz, FastDFS_v4.06.tar.gz libevent-headers-1.4.13-4.el6.noarch.rpm libevent-doc-1.4.13-4.el6.noarch.rpm libevent-devel-1.4.13-4.el6.x86_64.rpm nginx-1.7.10.tar.gz
linux:centos6.5 hadoop版本:2.6.0 集群方式:伪分布式 已经通过 内容比较详尽
Centos6.4安装Oracle11G,图形化界面安装
1.SSH无密码登录 (1)SSH相关包检查与安装 在安装有些Linux系统是,如果选择的是基本安装、最小安装,SSH协议是不会安装的。所以在启动SSH协议之前,需要进行ssh和rsync两个服务的检查
1.启动集群时出错: mkdir: cannot create directory ‘/home/user/bigdata/hadoop/logs’ : Permission denied 2.查看log日志文件 Cannot create directory /root/bigdata/hadoop/dfs/name/current
虚拟机上安装CentOS6.4,文档很详细值得参考