1、 安装虚拟机和操作系统
VMware-workstation-full-10.0.0 或 VirtualBox-4.2.18-88781-Win 下载VMware 下载VirtualBox
ubuntu-13.04-server-amd64.iso 下载ubuntu
2、 设置root用户密码
sudo passwd root
3、 上传文件
利用WinSCP上传JDK和HADOOP文件,利用putty连接虚拟机中的ubuntu,下载WinSCP, 下载putty, 下载jdk,下载hadoop
4、 配置JDK和HADOOP
tar -xzvf jdk-7u40-linux-x64.tar.gz
tar -xzvf hadoop-1.2.1.tar.gz
sudo vi /etc/profile
增加:
export JAVA_HOME=/home/ysc/jdk1.7.0_40
export PATH=$PATH:$JAVA_HOME/bin: /home/ysc/hadoop-1.2.1/bin
source /etc/profile
5、配置HADOOP
配置主机名称及网络
vi /etc/hostname
指定名称为host001
vi /etc/hosts
替换内容为:192.168.137.128 host001
同时加入C:\Windows\System32\drivers\etc\hosts文件
查看是否启用IPV6:
cat /proc/sys/net/ipv6/conf/all/disable_ipv6
显示0说明ipv6开启,1说明关闭
关闭ipv6的方法:
sudo vi /etc/sysctl.conf
增加下面几行,并重启
#disable IPv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
配置SSH
cd /home/ysc
sudo apt-get install openssh-server
ssh-keygen -t rsa(密码为空,路径默认)
cp .ssh/id_rsa.pub .ssh/authorized_keys
ssh host001
yes
cd hadoop-1.2.1
配置HADOOP环境变量
vi conf/hadoop-env.sh
增加:
export JAVA_HOME=/home/ysc/jdk1.7.0_40
配置HADOOP运行参数
vi conf/masters
改localhost为host001
vi conf/slaves
改localhost为host001
vi conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://host001:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/ysc/tmp</value>
</property>
vi conf/hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/home/ysc/dfs/filesystem/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/ysc/dfs/filesystem/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
vi conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>host001:9001</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/ysc/mapreduce/system</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/ysc/mapreduce/local</value>
</property>
格式化名称节点并启动集群
hadoop namenode -format
启动集群并查看WEB管理界面
start-all.sh
访问http://host001:50030可以查看 JobTracker 的运行状态
访问http://host001:50060可以查看 TaskTracker 的运行状态
访问http://host001:50070可以查看 NameNode 以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及 log 等
hadoop jar hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar -inputinput -output output-streaming -mapper/bin/cat -reducer /usr/bin/wc
hadoop jar hadoop-1.2.1/hadoop-examples-1.2.1.jar wordcount input output
停止集群
stop-all.sh
相关推荐
2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创
Hadoop伪分布式集群环境搭建 Hadoop伪分布式集群环境搭建
hadoop伪分布式集群搭建
搭建hadoop伪分布式集群的步骤,希望能帮到各位,多多
hadoop伪分布式安装!
Hadoop安装教程_单机_伪分布式配置
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
实验1.hadoop伪分布式配置.docx
大数据教程-Hadoop伪分布式安装,安装、部署详细细节步骤
适用于《shell脚本配置伪分布式Hadoop》
大数据hadoop平台伪分布式搭建详细步骤,基于ubtuntu系统,供初学者学习使用。... 大数据hadoop平台伪分布式搭建详细步骤,基于ubtuntu系统,供初学者学习使用。...
如果用的是 CentOS/RedHat 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置。 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,如 Hadoop 2.7.1、...
Linux Hadoop 伪分布式配置 一个节点,线程模仿分布式
centos6.2下hadoop全分布式集群配置
#资源达人分享计划#
hadoop完全分布式集群搭建笔记
史上最详细的hadoop完全分布式集群搭建,适合初学大数据的新手。由于涉及到linux的安装什么的,需要另外linux系统安装详解资源的可以联系我,免费给q:1487954071
hadoop2.2伪分布式集群搭建 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off