1) 安装jdk
下载jdk-6u21-linux-i586.bin
然后修改/etc/profile:
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin
保存,并执行source /etc/profile
2) 配置host
Namenode的机器,需要配置集群中所有机器的ip
修改/etc/hosts
10.10.236.190 master
10.10.236.191 slave-A
10.10.236.193 slave-B
其他的datanode只需要配置namenode的机器ip和本机ip
10.10.236.190 master
10.10.236.191 slave-A
修改hostname
vi /proc/sys/kernel/hostname
3) 建立ssh无密码登录
首先进到root目录下
root@master:~# $ssh-keygen -t rsa
进入.ssh目录
root@master:~/.ssh# cp id_rsa.pub authorized_keys
其余的datanode的机器
新建.ssh目录
root@slave-A:~# mkdir .ssh
在name(master)上远程拷贝
root@master:~/.ssh# scp authorized_keys slave-A:/root/.ssh/
测试ssh
chmod 600 authorized_keys
如果还是失败
vi /etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes
然后重启ssh服务 service sshd restart
4) 安装hadoop
下载Hadoop 解压到每台服务器的/data/soft
解压
root@master:/data/soft# tar zxvf hadoop-0.21.0.tar.gz
建立软连
root@master:/data/soft# ln -s hadoop-0.21.0 hadoop
然后修改/etc/profile
export HADOOP_HOME=/data/soft/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
5) 配置hadoop
1.修改conf/hadoop-env.sh,添加jdk支持
export JAVA_HOME=/usr/local/jdk
2.修改
conf/core-site.xml,增加下面内容
<property>
<name>fs.default.name</name>
<value>hdfs://master:54310</value> //这个才是真正决定namenode
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hdfs/tmp</value> //临时文件,有问题的时候,可以删除
<description>A base for other temporary directories.</description>
</property>
3.修改
conf/hdfs-site.xml,增加下面内容
<property>
<name>dfs.name.dir</name>
<value>/data/hdfs/name</value> //namenode持久存储名字空间,事务日志的本地路径
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/hdfs/data</value> //datanode存放数据的路径
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value> //数据备份的个数,默认是3
</property>
3.修改
conf/mapred-site.xml,增加下面内容
<property>
<name>mapred.job.tracker</name> //jobTracker的主机
<value>master:54311</value>
</property>
4. .修改conf/masters,这个决定那个是secondarynamenode
Master
5 .修改conf/slaves,这个是所有datanode的机器
6) 将配置好的hadoop拷贝到所有的datanode
root@master:/data/soft/hadoop/conf# scp -rp /data/soft/hadoop-0.21.0 10.10.236.191:/data/soft/hadoop-0.21.0
在datanode上建立对应的软连
7) 格式化hdfs文件系统的namenode
root@master:/data/soft/hadoop# bin/hadoop namenode –format
输入Y
8) 启动hdfs
root@master:/data/soft/hadoop# bin/start-all.sh
9) Hdfs操作
建立目录
root@master:/data/soft/hadoop # bin/hadoop dfs -mkdir testdir
查看现有文件
root@master:/data/soft/hadoop # bin/hadoop dfs -ls
10) 执行第一个java程序
1.
root@master:/data/soft # echo "hello World Bye World" > file01
2.
root@master:/data/soft# scho "hello Hadoop Goodbye Hadoop" > file02
3.创建目录
hadoop/bin/hadoop fs -mkdir input
4.将本来文件拷贝到分布式文件系统
root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input
5.运行事例程序
root@master:/data/soft/hadoop# hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount input output
查看运行结果
root@master:/data/soft/hadoop# hadoop fs -cat output/part-r-00000
用户权限
1.添加组cloud
groupadd cloud
2.添加用户hadoop,并添加到组cloud
useradd -g cloud hadoop
3.修改hadoop的所有者
chown -R hadoop:cloud hadoop/
4.修改hadoop文件的权限
chmod -R 750 ./hadoop
hadoop上的用户名依赖与宿主计算机的登录用户
同样hadoop shell中也支持chown chmod
分享到:
相关推荐
Linux Info: Ubuntu 16.10 x64 Docker 本身就是基于 Linux 的,所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉,但是之前的过程还是可以参考的。 连接服务器 使用 ssh 命令连接远程...
脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...
第1步 master-slave1和slave2配置网络和搭建Hadoop集群环境.docx
从零开始一步步介绍如何搭建Hadoop集群
hadoop集群环境的搭建
初学大数据,如何手动搭建一套集群是很有必要的一件事,因为使用CDH等一键搭建后,不知内部的原理,无法真正的理解其大数据集群的搭建原理,此文档刚好给大家把手动搭建集群的步骤列举出来了
在一台虚拟机上安装多台linux服务机,并搭建Hadoop集群环境
基于Docker搭建Hadoop集群(2).docx
大数据教程之搭建Hadoop集群.zip
摘要:本文将详细介绍如何使用 IBCS 虚拟专线搭建 Hadoop 集群,同时阐述 IBCS 虚拟专线 在提高 Hadoop 集群性能和稳定性方面的优势。使用 IBCS 虚拟专线搭建 Hadoop 集群具有显著的优势。企业可以通过 IBCS 虚拟 ...
搭建hadoop集群的全部配置文件,全在里面了,跟我的文章配合起来用
XEN虚拟机的安装配置,Hadoop集群环境的安装配置以及部署
LinuxRedHat、CentOS上搭建Hadoop集群.pdf
该文档提供了linux环境中搭建hadoop集群(大数据)的步骤,个人认为比较详细,供大家学习
搭建了一个完全分布式Hadoop集群,并通过Java写了mapreduce程序处理数据,需要下载的可以找我要具体数据。
超详细集群搭建教程(从虚拟机安装到集群搭建完成,集群搭建成功验证),每一个步骤都有,照做即可。 内有集群搭建所需安装包:hadoop2.2.0,zookeeper3.4.5
Hadoop集群构建实训报告
主要介绍了ubuntu docker搭建Hadoop集群环境,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
hadoop搭建集群笔记.虚拟机搭建hadoop集群