1.给虚拟机配置静态IP
DEVICE=eth0 IPV6INIT=yes #BOOTPROTO=dhcp #修改前 BOOTPROTO="static" #修改后 UUID=38fddc7f-1e93-4186-90e0-5b4edc91f398 ONBOOT=yes TYPE=Ethernet DEFROUTE=yes PEERDNS=yes PEERROUTES=yes IPV4_FAILURE_FATAL=no IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_PEERDNS=yes IPV6_PEERROUTES=yes IPV6_FAILURE_FATAL=no NAME="System eth0" IPADDR=192.168.1.250 #设置IP地址 NETMASK=255.255.255.0 GATEWAY=192.168.2.1 #默认网关 DNS1=192.168.2.1 #DNS 配置 HWADDR=52:54:00:a8:30:a4
我的虚拟机静态ip地址配置为192.168.1.250
配置完成后重启网络服务
具体步骤见Centos 7 学习之静态IP设置
2.配置/etc/hosts文件
添加一行
3.修改/etc/hostname文件
添加主机名
4.修改/etc/sysconfig/network文件
修改主机名为master
HOSTNAME=master
5.下载jdk和hadoop软件,配置jdk和hadoop环境
在文件尾部添加如下代码,注意JAVA_HOME和HADOOP_HOME是你自己的jdk和hadoop的路径
export JAVA_HOME=/home/qian/java/jdk1.7.0_65
#hadoop路径
export HADOOP_HOME=/home/qian/hadoop/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
注:不知道jdk的安装路径时,用命令 echo $JAVA_HOME 查找安装路径,hadoop也一样
6.配置免密钥登陆
cat ~/.ssh/id_dsa.pub>>~/.ssh/authorized_key
查看是否安装成功
ps -e | grep ssh
#尝试登录本地
ssh localhost
从slaver2连到slaver1
7.进入解压后的hadoop目录
8.修改配置
8.1修改hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
8.2修改core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/qian/hadoop/tmp</value> </property> </configuration>
8.3修改mapred-site.xml
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vi etc/hadoop/mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
8.4修改yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
8.5如果找不到jdk的环境变量,修改hadoop-env.sh 把jdk的环境变量写死
export JAVA_HOME=/home/qian/java/jdk1.7.0_65
9.格式化namenode
10.启动服务
sbin/start-yarn.sh
11.查看进程
看到如下进程
696 DataNode 972 Jps 874 ResourceManager 780 SecondaryNameNode 632 NameNode 944 NodeManager
说明安装完成
几个重要命令
centos7查看防火墙状态:systemctl status firewalld
关闭防火墙状态:systemctl stop firewall.service
创建用户命令
给hadoop用户添加权限,打开/etc/sudoers文件
按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL
参考文章:hadoop+hbase+zookeeper完全分布式环境搭建
参考文章:hadoop-2.4.0完全分布式集群搭建http://my.oschina.net/voyage1314/blog/262392
相关推荐
CentOS下Hadoop2.4.1集群服务搭建:安装环境部署、Hadoop配置过程 、测试方式 。
hadoop2.4.1从官方下载下来的二本地包是32位系统的,64位下需要自己下载源码编译。整个过程有点麻烦而且时间有点长。该文件是本人在centos7_64位下编译好的包。有需要的朋友自己下载。
2014.8.1安装的最新版Hadoop2.4.1,非常详细,包成功。
最新版hadoop 64位安装包 centos 6.4 64位机器上编译 由于超过100MB,所以给的网盘链接地址 之前2.4的安装包地址错误,在这里一并补上
hadoop2.4.1的64位centos的native包,用java7编译的,编译过程见http://blog.csdn.net/zhulin40/article/details/38299249
文件为百度云下载链接,包含2.4.1 64位和32位,2.6.0 64位,编译环境均为CentOS 64 --编译环境:CentOS6.5 64 hadoop-2.4.1-x64.tar.gz ----2.4.1 64位 hadoop-2.4.1-x86.tar.gz ----2.4.1 32位 hadoop-2.6.0-x64....
在centos6.4下编译64位的hadoop 2.4.1
hadoop的eclipse插件需要自己编译,改jar包是我自己编译的,在eclipse4.4,hadoop2.4.1,centos7_64位下测试通过。希望对学习hadoop的朋友有用。
流浪汉-hadoop-2.4.1-spark-1.0.1 介绍 Vagrant项目使用Hadoop v2.4.1和Spark v1.0.1启动了由4个虚拟机组成的集群。 node1:HDFS名称节点+ Spark Master node2:YARN ResourceManager + JobHistoryServer + Proxy...
本教程使用 Ubuntu 14.04 64位 作为系统环境(Ubuntu 12.04,Ubuntu16.04 也...本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,如 Hadoop 2.7.1、2.6.3、2.4.1等。
ssh-keygen -t rsa touch /root/.ssh/authorized_keys cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys ssh-copy-id -i spark3 3、JDK1.7 4、MobaXterm 5、hadoop2.4.1 tar -zxvf hadoop2.4.2.tar.gz mv ...
编译环境:centos 6.4 64bit、maven 3.3.9、jdk...目的:编译给hadoop2.4.1(64)用的; 解决:hive报错:Cannot create an instance of InputFormat class org.apache.hadoop ....... as specified in mapredwork!
在我们基于 CentOS 的 Hadoop 2.3 Docker成功之后,我们收到的反馈和功能请求与 Hadoop 发布周期保持一致,因此我们也在 Ubuntu 14.04 上发布了 Apache Hadoop 2.6.0 Docker 镜像 - 与之前的版本相同,它可用作官方...