集群hadoop装机步骤小结 (2)
第五:配置ip
(1)
打开网络连接中——>编辑连接选项——>选择你当前的网络(出现如下图的窗体)
(2)
接上——>编辑选项——>ipv4设置(出现如下图的窗体)
地址(添加你们协定好的各自分配的ip)
第六:添加节点(在主机处)
(1)在/etc/hosts文件中添加你的ip和代号形式如下所示:
192.168.1.2 master
192.168.1.3 s2
192.168.1.3 s3
192.168.1.4 s4
(2)在/usr/local/hadoop/conf/slaves中添加s20(我这台机子的代号)
第七:拷贝密钥
(1)
进入master
(2)
从master那里拷贝密钥实现无密码登录
第八:配置文件
(1)用u盘在master机子的/usr/local/hadoop/conf文件夹下拷贝master slaves core-site.xml
Hadf-site.xml mapred-site.xml 以及/etc/hosts文件到同目录下覆盖你的文件
注意:如果你的权限存在问题请在命令行运行拷贝过程 示例如下(这里是先移到桌面)
第九:启动datanode
包括赋权限给hadoop用户 切换目录 启动datanode 启动tasktracker jps查看进程
这里展示的是集群hadoop单个结点(datanode)的配置步骤,这里的配置文件时是直接从master那里拷贝,而master自己是要配置的所以这里展示一下需要配置的文件的具体内容
首先是/usr/local/hadoop/conf文件夹下的几个文件
core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
masters
secondaryname
slaves
s2
s3
s4
s5
s20
另外还有一个/etc/hosts文件的配置比较简单文章已介绍过,不再赘述
(最后一点:因为我的机子是配过单机版的haoop的所以如果出现的部分结果与我的不同是正常情况)
分享到:
相关推荐
该文档提供了linux环境中搭建hadoop集群(大数据)的步骤,个人认为比较详细,供大家学习
Hadoop集群安装详细步骤,Hadoop集群安装详细步骤
Hadoop集群安装配置步骤【51CTO学院大数据工程师微职位】
CentOs系统下Hadoop集群式搭建配置步骤,一步步带你搭建分布式Hadoop
hadoop集群安装步骤,完整的步骤,5台机器搭建,一次成功
VM虚拟机上,安装ubantu搭建hadoop+Hive集群,步骤详细。
Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop集群(第5期副刊)_JDK和SSH无密码配置 Hadoop_Hadoop集群(第6期...
hadoop自己总结的集群安装步骤
Hadoop集群搭建的详细步骤,涉及Linux:Centos6.5基础环境配置,Hadoop集群离线部署方式。
hadoop集群搭建详细步骤,从伪分布式到克隆并将其成功转化为集群搭建
Hadoop集群搭建步骤
安装Hadoop(单机版和集群)详细步骤
自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,...
pc机连接hadoop集群必须的文件,把它放到本地,然后配置到环境变量中,才能在本地操作集群。
手把手教你配置高效的Hadoop集群,充分利用Hadoop平台的优势。2. 为Hadoop生态系统实现强健的端到端的安全保障。
hadoop1升级到hadoop2具体步骤及方法