还是记录一下hadoop的安装过程吧,每次都查- -!, 版本是Cloudera的 hadoop-0.20.2-cdh3u1
1.配置/etc/hosts
master 和 slave 配置相同的hosts
10.0.10.24 hadoop1
10.0.10.25 hadoop2
10.0.10.26 hadoop3
2.创建Hadoop用户
groupadd hadoop
useradd -g hadoop hadoop
passwd hadoop
cd /data/
mkdir hadoop
mkdir hadoopdata
chown hadoop:hadoop -R hadoop
chown hadoop:hadoop -R hadoopdata
3.ssh配置
su - hadoop
ssh-keygen -t rsa
cd $HOME/.ssh
cp id_rsa.pub authorized_keys
hadoop1# ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@hadoop2
hadoop1# ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@hadoop3
hadoop2# ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@hadoop1
hadoop3# ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@hadoop1
ssh -o StrictHostKeyChecking=no hadoop1
ssh -o StrictHostKeyChecking=no hadoop2
ssh -o StrictHostKeyChecking=no hadoop3
4.环境变量
vi /etc/profile
export HADOOP_HOME=/data/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
source /etc/profile
5.Hadoop配置
cd $HADOOP_HOME/conf
hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_22/
core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1:9000</value>
</property>
</configuration>
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/data/hadoopdata/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/hadoopdata/data</value>
</property>
<property>
<name>dfs.block.size</name>
<value>33554432</value>
</property>
</configuration>
mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop1:9001</value>
</property>
</configuration>
masters
slaves
6.格式化
cd $HADOOP_HOME/bin
./hadoop namenode -format
7.启动
分享到:
相关推荐
hadoop安装过程,自己留着看,分享给大家,网络上弄的,仅供参考
个人边配置边总结的文档,综合网上的各种文档来看,我总结的这个应该说还是比较完整的。Hadoop安装配置并不难,关键在于几个步骤,详见文档内容!
(这是Hadoop的基础) ...3./etc/host 里配置 master和slaves 4.修改/etc/hostname 主机名 5、/etc/profile的java和Hadoop配置路径 6.hadoop namenode format 7./hadoop/etc/slaves这个...安装ssh和解决jdk找不到path问腿
Hadoop安装配置过程和注意事项
较为完善的Hadoop伪分布式安装、配置过程以及运行截图 全程跟着安装配置的一般不会出现问题,jdk版本尽量选择和Hadoop版本相容的,Hadoop版本可以选择较低版本,2.7版本较为稳定,Linux系统版本没有多大要求,一般将...
很棒棒的hadoop安装配置步骤超级详细,只要有手并且认识字就能学会
Hadoop安装过程下的配置文件,包括core-site.xml和yarn-site.xml的配置
本文详细图解了hadoop安装过程中linux的网络配置,实现了hadoop虚拟机,宿主机,外网三者互通,
伪分布式Hadoop安装配置测试全过程
hadoop 集群安装,安装过程,centos6.4,hadoop1.1.1,vmware
CentOS6.0-Hadoop安装手册,详细介绍centos下hadoop的搭建过程
Hadoop系统安装运行与程序开发 1.单机Hadoop系统安装基本步骤 2.集群Hadoop系统安装基本步骤 3.Hadoop集群远程作业提交与执行 4.Hadoop MapReduce程序开发
资源名称:vmware虚拟机下hadoop集群安装过程内容简介: Hadoop俗称分布式计算,最早作为一个开源项目,最初只是来源于谷歌的两份白皮书。然而正如十年前的Linux一样,虽然Hadoop最初十分简单,但随着近些年来...
个人安装报告,包括安装步骤及遇见的问题和解决办法,并且借鉴了许多大佬并且看了安装视频,在更换源等操作之后,安装成功。小白纯分享望指教,希望可以对大家有所帮助并且共同学习。
Hadoop安装有三种模式:单机、伪分布式、完全分布式,本文档为完全分布式安装,过程很详细,设计内容包括:在win7上安装虚拟化工具VMware(用于支撑Linux系统),在VMware上安装Ubuntu系统,安装Hadoop前的准备工作...
公司进行战略调整阶段,终于可以闲下心来潜心研究分布式应用Hadoop。...二、Fedora服务器hadoop安装过程 三、Fedora服务器Hbase配置安装过程 四、Windows下eclipse配置hadoop插件 五、Eclipse运行WordCount项目
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
CentOS下Hadoop2.4.1集群服务搭建:安装环境部署、Hadoop配置过程 、测试方式 。
从linux联网设置到jdk安装hadoop安装,环境变量配置,到hadoop配置文件修改,hadoop文件分发过程。及代码。
主要是对hadoop的安装配置的过程,包括网络配置,ssh免密登录以及hadoop的配置文件