关于hadoop的发展和历史以及简介,这样的废话就不说,简而言之就一句话,开源的分布式云计算。
目前鄙人使用的是hadoop-1.0.4,下载地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.0.4/ 下载
hadoop-1.0.4.tar.gz 即可。
解压即可。
先对伪分布式的概念进行说明一下,整个环境的配置是基于linux的,目前鄙人使用的是redhat6企业版。
可以把伪分布式的Hadoop看做只有一个节点的集群,在这个集群中,这个节点既是Master,也是Slave;既是NameNode,也是DataNode;既是JobTracker,也是TaskTracker。
安装和配置Hadoop伪分布式有两个必要的条件,一个是JDK的环境,一个是linux SSH环境。其中SSH环境,最好配置为免密码登陆。(笑话:此处的SSH不是java里面的SSH框架,如果你是这么认为,我只能跟你说一句话:你很farmer。)关于这两个环境的配置,这边就不一一讲解了,可以参照其他博文。
下面开始来配置Hadoop:
1、进入conf文件夹,修改Hadoop-evn.sh,指定JDK
export JAVA_HOME=/opt/jdk1.6.0_43
2、配置HDFS的(Hadoop分布式文件系统)的地址和端口号
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3、HDFS的默认备份方式是3,单机修改为1
conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4、配置JobTracker的地址及端口,MapReduce的配置
conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
接下来就是启动Hadoop,先格式化HDFS。进入Hadoop文件夹,输入命令:bin/Hadoop namenode -format
启动Hadoop的命令:bin/start-all.sh
如果此处你没有配置SSH免密码登陆,需要你输入多次的用户密码。
如果启动成功,你可以在浏览器下分别输入:
http://localhost:50030 为MapReduce的web页面
http://localhost:50070 为HDFS的web页面
如果都能查看,说明配置成功。
分享到:
相关推荐
伪分布式Hadoop安装配置测试全过程
常用伪分布式hadoop中的配置
Hadoop安装教程_单机_伪分布式配置
配置】单机伪分布式hadoop.zip,主要是配置/etc/hadoop/下的配置文件。
Linux Hadoop 伪分布式配置 一个节点,线程模仿分布式
hadoop安装与配置,hadoop的伪分布式模式配置与安装伪分布式模式,讲解hadoop的伪分布式模式进⾏对hadoop的基本模拟部署
适用于《shell脚本配置伪分布式Hadoop》
如果用的是 CentOS/RedHat 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置。 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,如 Hadoop 2.7.1、...
ubuntu下Hadoop的伪分布式配置
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
实验1.hadoop伪分布式配置.docx
虚拟机Ubuntu下hadoop2.6.0的安装与配置 (单机模式,伪分布式,完全分布式)非常详细的安装配置指南
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创
hadoop安装与配置,虚拟机伪分布式安装hadoop的配置,虚拟机必须NAT 模式。在虚拟机设置界⾯去设置
1.SSH无密码登录 (1)SSH相关包检查与安装 在安装有些Linux系统是,如果选择的是基本安装、最小安装,SSH协议是不会安装的。所以在启动SSH协议之前,需要进行ssh和rsync两个服务的检查
Linux上的Hadoop伪分布式安装及其相关配置步骤,以及Hadoop3种运行模式的相关知识。该文档摘自:http://public.bigdataedu.org/ ,仅供学习参考!
hadoop伪分布式配置的详细步骤,文件类型为java,可以使用Ediplus打开
Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客总结、分享、收获大数据 (http://dblab.xmu.