1、查看ip/主机名/ip主机映射文件
2、关闭防火墙、selinux、iptables
3、创建用户组/用户 hadoop
注:不能用root账户安装系统
4、上传hadoop安装包-》使用hadoop账户
5、创建目录
/application/hadoop/
/data/hadoop
6、配置ssh无密码登录
使用hadoop登录
cd /home/hadoop #切换hadoop的home目录
mkdir .ssh #创建隐藏目录
chmod 755 .ssh
cd .ssh #
ssh-keygen -t rsa -P '' #生产秘钥对
#回车
cat id_rsa.pub >> authorized_keys #生成验证文件
chmod 600 authorized_keys #修改验证文件权限
ssh master
exit
ssh master
7、安装jdk配置环境变量/etc/profile.d/java.sh
export JAVA_HOME=jdk安装目录
export HADOOP_HOME=
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
立即生效 source /etc/profile
8、安装hadoop(解压缩<创建软链接>,配置)
配置文件在...hadoop/etc/hadoop/下
a: hadoop-env.sh
加一行
export JAVA_HOME=/application/hadoop/jdk
b: core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/hdfs/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/data/hadoop/hdfs/namesecondary</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value> ##分钟
</property>
</configuration>
c: mapred-site.xml
mapred-site.xml.template ->copy
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/data/hadoop/mapred/mrlocal</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/data/hadoop/mapred/mrsystem</value>
<final>true</final>
</property>
d: yarn-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
e: hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/data/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/hadoop/hdfs/data</value>
</property>
多创建几个目录
mkdir -p /data/hadoop/hdfs/name
mkdir -p /data/hadoop/hdfs/data
mkdir -p /data/hadoop/hdfs/namesecondary
mkdir -p /data/hadoop/hdfs/tmp
mkdir -p /data/hadoop/mapred/mrlocal
mkdir -p /data/hadoop/mapred/mrsystem
9、格式化
hadoop namenode -format
10、启动
start-dfs.sh
start-yarn.sh
stop-dfs.sh
stop-yarn.sh
11、测试
jps
网页http://192.168.10.1:50070/
hadoop dfsadmin -report
分享到:
相关推荐
Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0 集群安装详细步骤
只要1分,绝对可用,hadoop2.6 windows开发环境必备。 操作步骤: 1、把资源文件放入 Hadoop/bin 2、把资源文件放入C:\windows\system32 上将其替换
hadoop,hbase单机,伪分布,全分布部署方式过程和步骤。
当接触大数据时,首先碰到的就是hadoop的学习,安装 Hadoop 往往会成为新手的一道门槛。...本文主要介绍hadoop2.6版本的安装,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop环境。
介绍hadoop2.6版本的安装,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop环境。
成功在windows的eclipse连接hadoop 具体步骤如下: 1.使用对应版本的Hadoop jar包 ...因为是Hadoop2.6环境,所以后者覆盖前者 解决:创建HADOOP_HOME环境变量,值为解压目录 将 %HADOOP_HOME%/bin添加至Path下。
hadoop2.6集群搭建手册,搭建的详细步骤,各种参数配置,配置文件配置,并对搭建的平台进行验证。
经过仔细阅读随机文档,同时参考大量网上资料,整理出了 Hadoop 2.6.0 的安装配置步骤。 在一台 8GB 内存的PC机上,建立3个VM虚拟机,各分配 1GB 内存,并安装 Asianux Server4 SP2 x86-64 操作系统。
项目描述 该项目的目的是使用Spark和Scala重新实现像素程序直方图Apache,以获得更好的性能。... mvn安装〜/ spark-1.5.2-bin-hadoop2.6 / bin / spark-submit --class直方图目标/histogram.jar pixels-small.txt
CentOS+Jdk+Jboss+dubbo+zookeeper集群配置...2.安装步骤 2.1.安装虚拟机 2.2.在CentOS上安装JDK 2.3.安装Jboss 2.4.Zookeeper单机版的安装与测试 2.5.Zookeeper 集群安装 2.6.dubbo管理控制台及集成zookeeper集群部署