下面我们来一步步的进行hadoop安装部署:
从零开始
机器环境
Distributor ID: CentOS
Description: CentOS release 5.8 (Final)
Release: 5.8
Codename: Final
jdk 版本
java version "1.6.0_45"
hadoop 版本
2.5.2
http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.2/
安装jdk:
从甲骨文官方下载:
http://www.oracle.com/technetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html#jdk-6u45-oth-JPR
jdk-6u45-linux-i586.bin
在linux下面运行命令 ./jdk-6u45-linux-i586.bin
配置环境变量
vi /etc/profile
export JAVA_HOME=/snwz/java/install/jdk1.6.0_45
export JAVA_BIN=/snwz/java/install/jdk1.6.0_45/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
运行 java -version 检查是否jdk安装成功
解压缩hadoop安装包,配置环境变量
$ cd /snwz/hadoop/install/hadoop-2.5.2/etc/hadoop
$ vi hadoop-env.sh
配置 java 和 hadoop 的目录
# set to the root of your Java installation
export JAVA_HOME=/usr/java/latest
# Assuming your installation directory is /usr/local/hadoop
export HADOOP_PREFIX=/usr/local/hadoop
配置完成后 运行 bin/hadoop
显示hadoop信息后,说明环境配置完成,下面开始我们的hadoop之旅!!!!!!
首先 使用hadoop自带的mapreduce实例实测一下
$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
$ cat output/*
成功后进入到output目录下
-rw-r--r-- 1 hadoop hadoop 11 01-08 14:04 part-r-00000
-rw-r--r-- 1 hadoop hadoop 0 01-08 14:04 _SUCCESS
如果看到这两个文件,则说明mapreduce任务运行成功。
下面我们来部署一个假分布模式
在分布模式下,因为其他hadoop服务器要通过ssh访问本机hadoop,我们配置ssh免密码登陆
$ ssh localhost
如果登陆不成功则执行下列命名
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
在测试 ssh localhost
如果还是需要输入密码,从网上搜的解决办法,有一大堆呢:
http://lunae.cc/tag/authorized_keys
为什么叫假分布呢?因为我们配置副本冗余为1,就是只存放在一个节点上,配置如下:
etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置完成后 需要将hadoop 的名称节点格式化
$ bin/hdfs namenode -format
启动dfs
$ sbin/start-dfs.sh
$ netstat -an | grep 9000
如果出现什么异常,日志都存放在 /snwz/hadoop/install/hadoop-2.5.2/logs
hadoop还提供了可视化界面来让用户更好了解当前hadoop各个节点情况,在浏览器中输入
http://IP:50070
目前推荐使用yarn框架进行hadoop 的部署,关于yarn框架,我在后面会慢慢学习并和大家分享!!!!
今天因为任务提前完成,才有时间记录下忙里偷闲学习的内容,改天继续,下一篇文章要详细介绍集群环境下的配置,在下一章,一个基本的大框架就要搭建起来了,我们拭目以待吧
发表评论
-
Sort-based Shuffle的设计与实现
2016-03-15 08:49 775原文 http://www.cnblogs.com/hsea ... -
spark的几个重要概念
2015-12-04 14:09 0本节主要记录以下几个概念 一:RDD的五大特点 二:RDD 窄 ... -
spark部署安装调试
2015-12-02 11:28 712本节记录spark下载-->编译-->安装--&g ... -
spark基本概念
2015-11-12 10:45 748记录一下课堂笔记: ... -
hadoop计算能力调度器配置
2015-10-29 10:39 977问题出现 hadoop默认调度器是FIFO,其原理就是先按照作 ... -
HBase在各大应用中的优化和改进
2015-10-28 14:59 651Facebook之前曾经透露过Facebook的hbase架构 ... -
一篇很好的解决系统问题过程描述文章
2015-09-23 08:40 468在网上看到的一篇解决h ... -
通过GeoHash核心原理来分析hbase rowkey设计
2015-09-08 15:49 3485注:本文是结合hbase ... -
从OpenTsdb来分析rowkey设计
2015-09-06 16:04 4914讨论此问题前,先理解 ... -
HBase中asynchbase的使用方式
2015-08-25 10:32 8122Hbase的原生java 客户端是完全同步的,当你使用原生AP ... -
Mapreduce优化的点滴
2015-07-16 15:18 802注:转载 1. 使用自定义Writable 自带的Text ... -
hadoop 如何自定义类型
2015-07-15 09:37 1215记录一下hadoop 数据类型章节的笔记,以便后期使用,本文是 ... -
napreduce shuffle 过程记录
2015-07-10 11:23 731在我看来 hadoop的核心是mapre ... -
ZooKeeper伪分布式集群安装及使用
2015-02-13 08:29 8881. zookeeper介绍 ZooKeeper是一个为分 ... -
hadoop-mahout 核心算法总结
2015-02-07 10:08 1512其实大家都知道hadoop为我们提供了一个大的框架,真正的 ... -
推荐引擎内部原理--mahout
2015-01-22 11:11 549转载自:https://www.ibm.com/devel ... -
hadoop 动态添加删除节点
2015-01-20 13:39 644转自:http://www.cnblogs.com/rill ... -
hbase hadoop zookeeper
2015-01-19 14:47 0hadoop 部署手册 http://www.iteblo ... -
mapreduce 开发以及部署
2015-01-16 13:56 802前面几篇文章的梳理让我对hadoop新yarn 框架有了一 ... -
hadoop yarn几个问题的记录
2015-01-13 11:48 615本文主要介绍以下几 ...
相关推荐
本指导经过本人亲自搭建安装,配置测试
NULL 博文链接:https://onway417.iteye.com/blog/2195023
NULL 博文链接:https://username2.iteye.com/blog/2267662
该存储库包含Ansible Playbook和角色,以通过AWS EC2实例部署Hadoop多节点集群。 角色扮演- 角色名称 角色描述 awsInfra4Hadoop 为Hadoop MultiNode Cluster创建AWS基础架构 Hadoop名称节点 配置Hadoop名称节点 ...
hadoop作为大数据平台,经常需要部署集群,文档非常详细地介绍了hadoop集群的部署过程,两个节点master和slave
linux环境大数据hadoop多模式安装部署。 一、环境准备 二、ssh无密登录 三、单节点安装 四、伪分布安装部署 五、分布式安装部署
首先开启Hadoop集群:start-all.sh:开启所有的Hadoop所有进程,在主节点上进行 NameNode它是Hadoop 中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问。 Secondary NameNode.....
由于工作需要,最近一段时间开始接触学习 Hadoop 相关的东西,目前公司的实时任务和离线任务都跑在一个 Hadoop 集群,离线 任务的特点就是每天定时跑,任务跑完了资源就空闲了,为了合理的利用资源,我们打算在搭一...
EasyHadoop 是一个Hadoop一键安装系统,方便大家更容易安装部署Hadoop软件。 EasyHadoop 由前暴风影音数据团队修湘调研,向磊编写,以GPL协议进行开源 开放此管理部署系统方便大家安装使用,以此和行业共同学习进步。 ...
YARN的ResourceManager也存在单点故障问题,这个问题在hadoop-2.4.1得到了解决:有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调。 YARN框架下的MapReduce可以开启JobHistoryServer来...
在master主节点,使用 root 用户登录,然后切换为 hadoop用户 [root@master ~]# su – hadoop --从root用户切换为hadoop身份 [hadoop@master ~]$ 创建新文件:wc.input 作为 MapReduce输入文件,输入以下内容,然后...
部署Hadoop3.0高性能集群,Hadoop完全分布式模式: Hadoop的守护进程分别运行在由多个主机搭建的集群上,不同 节点担任不同的角色,在实际工作应用开发中,通常使用该模式构建企业级Hadoop系统。 在Hadoop环境中,所有...
教程:在linux虚拟机下(centos),通过docker容器,部署hadoop集群。一个master节点和三个slave节点。
该方法把Ambari及其运行环境和配置构建成Docker镜像,并把多节点容器的运行和Hadoop集群的部署过程写成Shell脚本,只需一条命令,即可实现集群的自动化部署。实验结果表明,该方法简单可靠并极大地提高了集群部署的...
利用ansible 自动 安装Hadoop 集群
对于企业,如果要部署由成千上万的节点组成的Hadoop集群,手工方式部署显然不符合实际。 而由Hortonworks贡献给Apache开源社区的Ambari则提供了搭建整个Hadoop生态的一站式服务。这款软件具有集群自动化安装、中心化...
hadoop在Linux环境下部署不同的节点
资料目录如下: 1. 制作docker基础镜像-01 2. 制作支持ssh的docker镜像-centos7_ssh-01 ...4. 构建基于docker的单节点的HDFS集群-01 5. docker容器跨物理节点通信-01 ...Docker一键部署hadoop分布式.zip
任务一 上传安装包到第1个Zookeeper节点并解压;任务二 编辑Zookeeper配置文件;任务三 创建zkdata和zkdatalog文件夹;任务四 设置Zookeeper节点对应的ID(myid);任务五 配置Zookeeper环境变量;任务六 分发Zookeeper到...
主要介绍了Hadoop在windows上伪分布式的安装过程、在Linux单节点伪分布式的安装过程、Eclipse开发环境介绍