- 浏览: 573935 次
- 性别:
- 来自: 上海
文章分类
- 全部博客 (174)
- JBPM (3)
- WWF (0)
- JavaScript (11)
- J2EE (40)
- OperationSystem (11)
- 数据库 (12)
- CSS (1)
- Ajax (2)
- J2SE (30)
- Tools (10)
- 服务器中间件 (3)
- 异常 (0)
- Flex (5)
- jQuery (11)
- html (9)
- Ejb (1)
- HTML5 Shiv–让该死的IE系列支持HTML5吧 (1)
- Spring (9)
- Quartz (3)
- log4j (1)
- maven (1)
- cpdetector (1)
- JSON (1)
- log4jdbc (1)
- asm (8)
- FusionCharts (1)
- jqplot (1)
- highcharts (1)
- excanvas (1)
- html5 (1)
- jpcap介绍 (1)
- weblogic (3)
- URLURLClassLoader (0)
- URLClassLoader (1)
- ant (2)
- ivy (2)
- nexus (1)
- IT (0)
- LoadRunner (1)
- SCSS (1)
- ruby (1)
- webstorm (1)
- typescript (1)
- Jboss7 (1)
- wildfly (1)
- oracle (5)
- esb (0)
- dubbo (2)
- zookeeper (3)
- eclipse (1)
- Android (2)
- Studio (1)
- Google (1)
- 微信 (1)
- 企业号 (1)
- Linux (13)
- Oracle12c (1)
- Hadoop (1)
- InletexEMC (1)
- Windows (1)
- Netty (3)
- Marshalling (2)
- Protobuf (1)
- gcc (1)
- Git (1)
- GitLab (1)
- shell (2)
- java (3)
- Spring4 (1)
- hibernate4 (1)
- postgresql (1)
- ApacheServer (2)
- Tomcat (2)
- ApacheHttpServer (2)
- realvnc (1)
- redhat (7)
- vncviewer (1)
- LVS (4)
- LVS-DR (1)
- RedHat6.5 (5)
- LVS-NAT (1)
- LVS-IPTUNNEL (2)
- LVS-TUN (1)
- keepalived (2)
- yum (1)
- iso (1)
- VMware (1)
- redhat5 (1)
- ha (1)
- nginx (2)
- proguard (1)
- Mat (1)
- DTFJ (1)
- axis2 (1)
- web service (1)
- centos (1)
- random (1)
- urandom (1)
- apache (1)
- IBM (1)
- cve (1)
- 漏洞 (1)
- JDBC (1)
- DataSource (1)
- jdk (1)
- tuxedo (2)
- wtc (1)
最新评论
-
skying007:
好资料,谢谢分享给啊
FusionCharts在服务器端导出图片(J2EE版) -
cgnnzg:
大神好 可以发一份源码给我学习么 多谢了 978241085 ...
springmvc+dubbo+zookeeper -
jifengjianhao:
求源码:854606899@qq.com
springmvc+dubbo+zookeeper -
wdloyeu:
shihuan8@163.com邮箱网盘在哪,没找到。能给份源 ...
Java Socket长连接示例代码 -
huangshangyuanji:
求代码:45613032@qq.com
springmvc+dubbo+zookeeper
最近学习了下hadoop的安装。下面详细说明下步骤。
一、环境
我的是在Linux环境下进行安装的。
现在有三台服务器,分配如下:
192.168.3.100 NameNode --主机名testhadoop
192.168.3.201 DataNode1 --主机名hadoopsub1
192.168.3.202 DataNode2 --主机名hadoopsub2
NameNode(主服务器)可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。
DataNode(从服务器)是文件存储的基本单元,它将Block存储在本地文件系统中,保存了Block的Meta-data,同时周期性地将所有存在的Block信息发送给NameNode。
1、安装jdk
[root@testhadoop hadoop]# rpm -ivh jdk-7u80-linux-x64.rpm
[root@testhadoop hadoop]# vi /etc/profile
JAVA_HOME=/usr/java/jdk1.7.0_80
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
[root@testhadoop hadoop]# source /etc/profile
[root@testhadoop hadoop]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)
2、配置ssh
我们需要对ssh服务进行配置,以运行hadoop环境进行ssh无密码登录。即NameNode节点需要能够ssh无密码登录访问DataNode节点。
进入NameNode服务器,输入如下命令:
[root@testhadoop hadoop]# cd ~
[root@testhadoop ~]# cd .ssh/
[root@testhadoop .ssh]# ssh-keygen -t rsa
一直回车。.ssh目录下多出两个文件
私钥文件:id_rsa 公钥文件:id_rsa.pub
[root@testhadoop .ssh]# cp id_rsa.pub authorized_keys
将公钥文件authorized_keys分发到各DataNode节点:
[root@testhadoop .ssh]# scp authorized_keys root@192.168.3.201:/root/.ssh/
[root@testhadoop .ssh]# scp authorized_keys root@192.168.3.202:/root/.ssh/
验证ssh无密码登录:
[root@testhadoop .ssh]# ssh root@192.168.3.201
Last login: Fri Dec 11 15:52:52 2015 from 192.168.3.100
看到以上信息,表示配置成功!如果还提示要输入密码,则配置失败。
二、下载及安装Hadoop
去hadoop官网上(http://hadoop.apache.org/)下载合适的hadoop版本。我选择的是比较新的2.6.2版本。文件名为hadoop-2.6.2.tar.gz,下载文件上传到/usr/local下(三个服务器都要上传),切换到该目录下,解压:
[root@testhadoop local]# tar -zvxf hadoop-2.6.2.tar.gz
[root@testhadoop local]# mv hadoop-2.6.2 hadoop
[root@testhadoop local]# vi /etc/profile
JAVA_HOME=/usr/java/jdk1.7.0_80
HADOOP_HOME=/usr/local/hadoop
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME HADOOP_HOME CLASSPATH PATH
[root@testhadoop local]# source /etc/profile
配置之前,先在本地文件系统创建以下文件夹:/usr/local/hadoop/tmp、/usr/local/hadoop/dfs/data、/usr/local/hadoop/dfs/name。 主要涉及的配置文件有7个:都在/hadoop/etc/hadoop文件夹下。
/hadoop/etc/hadoop/hadoop-env.sh
/hadoop/etc/hadoop/yarn-env.sh
/hadoop/etc/hadoop/slaves
/hadoop/etc/hadoop/core-site.xml
/hadoop/etc/hadoop/hdfs-site.xml
/hadoop/etc/hadoop/mapred-site.xml
/hadoop/etc/hadoop/yarn-site.xml
主服务器(192.168.3.100)进入配置目录:cd /usr/local/hadoop/etc/hadoop
修改core-site.xml文件:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.3.100:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
</configuration>
注:两个从服务器也要按上面修改core-site.xml配置文件。
以下其余配置只针对主服务器。
修改hdfs-site.xml文件:
<configuration>
<property>
<name>dfs.nameservices</name>
<value>hadoop-cluster1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.3.100:50090</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
--这个有几台从服务器就配置几,笔者这里有两台从服务器,所以配置的值是2
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
修改mapred-site.xml文件:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>192.168.3.100:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.3.100:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.3.100:19888</value>
</property>
</configuration>
修改yarn-site.xml文件:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.3.100:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.3.100:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.3.100:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.3.100:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
--这里是配置通过web模式访问hadoop下的应用端口
<value>192.168.3.100:8088</value>
</property>
</configuration>
修改slaves文件:
192.168.3.201
192.168.3.202
修改hadoop-env.sh文件:
export JAVA_HOME=/usr/java/jdk1.7.0_80
修改yarn-env.sh文件:
export JAVA_HOME=/usr/java/jdk1.7.0_80
[root@testhadoop etc]# vi hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.3.201 hadoopsub1
192.168.3.202 hadoopsub2
3、格式化文件系统
[root@testhadoop hadoop]# pwd
/usr/local/hadoop
[root@testhadoop hadoop]# bin/hdfs namenode -format
注意:这里的格式化文件系统并不是硬盘格式化,只是针对主服务器hdfs-site.xml的dfs.namenode.name.dir和dfs.datanode.data.dir目录做相应的清理工作。
[root@hadoopsub1 hadoop]# bin/hdfs namenode -format
[root@hadoopsub2 hadoop]# bin/hdfs namenode -format
注意:这里的两个从服务器也要做清理工作。
4、启动和停止服务
[root@testhadoop hadoop]# sbin/start-dfs.sh
[root@testhadoop hadoop]# sbin/start-yarn.sh
或者
[root@testhadoop hadoop]# sbin/start-all.sh
[root@testhadoop hadoop]# sbin/stop-dfs.sh
[root@testhadoop hadoop]# sbin/stop-yarn.sh
或者
[root@testhadoop hadoop]# sbin/stop-all.sh
5、查看启动的进程
[root@testhadoop hadoop]# jps
3039 ResourceManager
3311 Jps
2806 NameNode
[root@hadoopsub ~]# jps
3151 Jps
2926 DataNode
3029 NodeManager
6、查看集群状态
[root@testhadoop hadoop]# ./bin/hdfs dfsadmin -report
15/12/11 16:36:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Configured Capacity: 52844687360 (49.22 GB)
Present Capacity: 46288113664 (43.11 GB)
DFS Remaining: 46288089088 (43.11 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Live datanodes (1):
Name: 192.168.3.201:50010 (hadoopsub)
Hostname: hadoopsub
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 6556573696 (6.11 GB)
DFS Remaining: 46288089088 (43.11 GB)
DFS Used%: 0.00%
DFS Remaining%: 87.59%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Dec 11 16:36:39 CST 2015
三、通过浏览器访问
http://192.168.3.100:50070/
http://192.168.3.100:8088/
特别说明下,上面配置主服务器的slaves文件,使用的是ip配置,此时需要在主服务器的/etc/hosts中增加ip到主机名的映射如下:
[root@testhadoop etc]# vi hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.3.201 hadoopsub1
192.168.3.202 hadoopsub2
否则,可能在执行start-dfs.sh命令时,从服务器的DateNode节点打印如下错误日志:
2015-12-11 16:50:36,375 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-1748412339-192.168.3.201-1420015637155 (Datanode Uuid null) service to /192.168.3.202:9000 Datanode denied communication with namenode because hostname cannot be resolved (ip=192.168.3.201, hostname=192.168.3.201):
DatanodeRegistration(0.0.0.0, datanodeUuid=3ed21882-db82-462e-a71d-0dd52489d19e, infoPort=50075, ipcPort=50020, storageInfo=lv=-55;cid=CID-4237dee9-ea5e-4994-91c2-
008d9e804960;nsid=358861143;c=0)
大意是无法将ip地址解析成主机名,也就是无法获取到主机名,需要在/etc/hosts中进行指定。
【注】:整个配置过程需要在从服务器上的操作有:安装jdk、/hadoop/etc/hadoop/hadoop-env.sh、/hadoop/etc/hadoop/yarn-env.sh、/hadoop/etc/hadoop/core-site.xml,还有在从服务器上需要执行的一个命令[root@hadoopsub hadoop]# bin/hdfs namenode -format
一、环境
我的是在Linux环境下进行安装的。
现在有三台服务器,分配如下:
192.168.3.100 NameNode --主机名testhadoop
192.168.3.201 DataNode1 --主机名hadoopsub1
192.168.3.202 DataNode2 --主机名hadoopsub2
NameNode(主服务器)可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。
DataNode(从服务器)是文件存储的基本单元,它将Block存储在本地文件系统中,保存了Block的Meta-data,同时周期性地将所有存在的Block信息发送给NameNode。
1、安装jdk
[root@testhadoop hadoop]# rpm -ivh jdk-7u80-linux-x64.rpm
[root@testhadoop hadoop]# vi /etc/profile
JAVA_HOME=/usr/java/jdk1.7.0_80
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
[root@testhadoop hadoop]# source /etc/profile
[root@testhadoop hadoop]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)
2、配置ssh
我们需要对ssh服务进行配置,以运行hadoop环境进行ssh无密码登录。即NameNode节点需要能够ssh无密码登录访问DataNode节点。
进入NameNode服务器,输入如下命令:
[root@testhadoop hadoop]# cd ~
[root@testhadoop ~]# cd .ssh/
[root@testhadoop .ssh]# ssh-keygen -t rsa
一直回车。.ssh目录下多出两个文件
私钥文件:id_rsa 公钥文件:id_rsa.pub
[root@testhadoop .ssh]# cp id_rsa.pub authorized_keys
将公钥文件authorized_keys分发到各DataNode节点:
[root@testhadoop .ssh]# scp authorized_keys root@192.168.3.201:/root/.ssh/
[root@testhadoop .ssh]# scp authorized_keys root@192.168.3.202:/root/.ssh/
验证ssh无密码登录:
[root@testhadoop .ssh]# ssh root@192.168.3.201
Last login: Fri Dec 11 15:52:52 2015 from 192.168.3.100
看到以上信息,表示配置成功!如果还提示要输入密码,则配置失败。
二、下载及安装Hadoop
去hadoop官网上(http://hadoop.apache.org/)下载合适的hadoop版本。我选择的是比较新的2.6.2版本。文件名为hadoop-2.6.2.tar.gz,下载文件上传到/usr/local下(三个服务器都要上传),切换到该目录下,解压:
[root@testhadoop local]# tar -zvxf hadoop-2.6.2.tar.gz
[root@testhadoop local]# mv hadoop-2.6.2 hadoop
[root@testhadoop local]# vi /etc/profile
JAVA_HOME=/usr/java/jdk1.7.0_80
HADOOP_HOME=/usr/local/hadoop
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME HADOOP_HOME CLASSPATH PATH
[root@testhadoop local]# source /etc/profile
配置之前,先在本地文件系统创建以下文件夹:/usr/local/hadoop/tmp、/usr/local/hadoop/dfs/data、/usr/local/hadoop/dfs/name。 主要涉及的配置文件有7个:都在/hadoop/etc/hadoop文件夹下。
/hadoop/etc/hadoop/hadoop-env.sh
/hadoop/etc/hadoop/yarn-env.sh
/hadoop/etc/hadoop/slaves
/hadoop/etc/hadoop/core-site.xml
/hadoop/etc/hadoop/hdfs-site.xml
/hadoop/etc/hadoop/mapred-site.xml
/hadoop/etc/hadoop/yarn-site.xml
主服务器(192.168.3.100)进入配置目录:cd /usr/local/hadoop/etc/hadoop
修改core-site.xml文件:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.3.100:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
</configuration>
注:两个从服务器也要按上面修改core-site.xml配置文件。
以下其余配置只针对主服务器。
修改hdfs-site.xml文件:
<configuration>
<property>
<name>dfs.nameservices</name>
<value>hadoop-cluster1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.3.100:50090</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
--这个有几台从服务器就配置几,笔者这里有两台从服务器,所以配置的值是2
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
修改mapred-site.xml文件:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>192.168.3.100:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.3.100:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.3.100:19888</value>
</property>
</configuration>
修改yarn-site.xml文件:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.3.100:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.3.100:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.3.100:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.3.100:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
--这里是配置通过web模式访问hadoop下的应用端口
<value>192.168.3.100:8088</value>
</property>
</configuration>
修改slaves文件:
192.168.3.201
192.168.3.202
修改hadoop-env.sh文件:
export JAVA_HOME=/usr/java/jdk1.7.0_80
修改yarn-env.sh文件:
export JAVA_HOME=/usr/java/jdk1.7.0_80
[root@testhadoop etc]# vi hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.3.201 hadoopsub1
192.168.3.202 hadoopsub2
3、格式化文件系统
[root@testhadoop hadoop]# pwd
/usr/local/hadoop
[root@testhadoop hadoop]# bin/hdfs namenode -format
注意:这里的格式化文件系统并不是硬盘格式化,只是针对主服务器hdfs-site.xml的dfs.namenode.name.dir和dfs.datanode.data.dir目录做相应的清理工作。
[root@hadoopsub1 hadoop]# bin/hdfs namenode -format
[root@hadoopsub2 hadoop]# bin/hdfs namenode -format
注意:这里的两个从服务器也要做清理工作。
4、启动和停止服务
[root@testhadoop hadoop]# sbin/start-dfs.sh
[root@testhadoop hadoop]# sbin/start-yarn.sh
或者
[root@testhadoop hadoop]# sbin/start-all.sh
[root@testhadoop hadoop]# sbin/stop-dfs.sh
[root@testhadoop hadoop]# sbin/stop-yarn.sh
或者
[root@testhadoop hadoop]# sbin/stop-all.sh
5、查看启动的进程
[root@testhadoop hadoop]# jps
3039 ResourceManager
3311 Jps
2806 NameNode
[root@hadoopsub ~]# jps
3151 Jps
2926 DataNode
3029 NodeManager
6、查看集群状态
[root@testhadoop hadoop]# ./bin/hdfs dfsadmin -report
15/12/11 16:36:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Configured Capacity: 52844687360 (49.22 GB)
Present Capacity: 46288113664 (43.11 GB)
DFS Remaining: 46288089088 (43.11 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Live datanodes (1):
Name: 192.168.3.201:50010 (hadoopsub)
Hostname: hadoopsub
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 6556573696 (6.11 GB)
DFS Remaining: 46288089088 (43.11 GB)
DFS Used%: 0.00%
DFS Remaining%: 87.59%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Dec 11 16:36:39 CST 2015
三、通过浏览器访问
http://192.168.3.100:50070/
http://192.168.3.100:8088/
特别说明下,上面配置主服务器的slaves文件,使用的是ip配置,此时需要在主服务器的/etc/hosts中增加ip到主机名的映射如下:
[root@testhadoop etc]# vi hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.3.201 hadoopsub1
192.168.3.202 hadoopsub2
否则,可能在执行start-dfs.sh命令时,从服务器的DateNode节点打印如下错误日志:
2015-12-11 16:50:36,375 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-1748412339-192.168.3.201-1420015637155 (Datanode Uuid null) service to /192.168.3.202:9000 Datanode denied communication with namenode because hostname cannot be resolved (ip=192.168.3.201, hostname=192.168.3.201):
DatanodeRegistration(0.0.0.0, datanodeUuid=3ed21882-db82-462e-a71d-0dd52489d19e, infoPort=50075, ipcPort=50020, storageInfo=lv=-55;cid=CID-4237dee9-ea5e-4994-91c2-
008d9e804960;nsid=358861143;c=0)
大意是无法将ip地址解析成主机名,也就是无法获取到主机名,需要在/etc/hosts中进行指定。
【注】:整个配置过程需要在从服务器上的操作有:安装jdk、/hadoop/etc/hadoop/hadoop-env.sh、/hadoop/etc/hadoop/yarn-env.sh、/hadoop/etc/hadoop/core-site.xml,还有在从服务器上需要执行的一个命令[root@hadoopsub hadoop]# bin/hdfs namenode -format
发表评论
-
Linux下ZooKeeper集群搭建
2017-12-26 17:19 693shihuan830619@163.com邮箱的网盘里&quo ... -
RedHat6.5用镜像文件配置yum源
2016-04-20 17:20 3215RedHat 6.5 x64位 [root@gyum ~]# ... -
realvnc使用
2016-03-23 17:19 1213远端实验服务器: RedHat 6.5 一、在Linux上安 ... -
java调用shell脚本
2016-01-26 00:53 1265附件java执行shell.rar里是已经下载好的jar包。 ... -
shell脚本编程
2016-01-26 00:13 805例1: 用vi编辑文件echodate ... -
Linux目录名称
2016-01-25 22:23 821[root@testgitlab /]# 这个是根目录 [ ... -
RedHat6.5在线安装GitLab
2016-01-22 21:09 2864https://gitlab.com/gitlab-org/g ... -
Linux安装Git服务
2016-01-22 21:01 1158[root@testgit rpmlib]# pwd /opt ... -
Linux安装ruby
2016-01-22 20:53 3235https://rvm.io/ 官方网站 https: ... -
验证RedHat6是否能够联网
2016-01-22 20:46 1067验证RedHat6是否能够联网: [root@testagen ... -
Linux非联网状态安装gcc依赖包
2016-01-22 20:43 3607cloog-ppl-0.15.7-1.2.el6.x86_64 ... -
Linux hosts文件参考内容
2015-11-11 17:13 1056127.0.0.1 localhost localhost ...
相关推荐
基于Centos7下的hadoop2.7集群的搭建。(在vmware中的2台虚拟机。)
hadoop集群环境的搭建
Hadoop集群环境搭建,实战篇
hadoop单机和集群搭建过程,一共三个节点,很详细,每一步都有截图
在一台虚拟机上安装多台linux服务机,并搭建Hadoop集群环境
Linux Info: Ubuntu 16.10 x64 Docker 本身就是基于 Linux 的,所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉,但是之前的过程还是可以参考的。 连接服务器 使用 ssh 命令连接远程...
HADOOP快速入门及搭建集群环境,可以进行搭建试试,文档比较详细
此文档在hadoop集群搭建完毕之后,在集群之外搭建一个hadoop集群的开发环境,用于编写hadoop实际处理程序,还包括了如何提交任务等。整体非常详细,如需要其他hadoop集群搭建资源可以联系我,免费给q:1487954071
脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...
全程跟着安装配置的一般不会出现问题,jdk版本尽量选择和Hadoop版本相容的,Hadoop版本可以选择较低版本,2.7版本较为稳定,Linux系统版本没有多大要求,一般将Hadoop和jdk版本选择好就行,这个作业较为简单,在安装...
Hadoop集群架构搭建分析
要想深入的学习Hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了。...
!
!
hadoop 全套环境搭建指南,三台虚拟机环境准备 linux基础及shell增强 大数据集群环境准备 zookeeper介绍及集群操作 网络编程
3.1 生成密匙 3.2 免密登录 3.3 验证免密登录 3.1 下载并解压 3.2 配置环境变量 3.3 修改配置 3.4 分发程序 3.5 初始化 3.6
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置