`

Hadoop-2.3.0-cdh5.0.1单机搭建、伪分布式搭建、本地目录配置

阅读更多

编写不易,转载请注明(http://shihlei.iteye.com/blog/2082625)!

一安装概述

Hadoop 安装的三种模式:

 

1)单机模式(standalone)

       单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

 

2)伪分布模式(Pseudo-Distributed Mode)

      伪分布模式在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。

 

3)全分布模式(Fully Distributed Mode)

       Hadoop守护进程运行在一个集群上。

 

二 程序版本

hadoop-2.3.0-cdh5.0.1.tar.gz

 

三 单机搭建

 1)解压:tar -xvf hadoop-2.3.0-cdh5.0.1.tar.gz

 2)配置环境变量:vi ~/.bashrc 

# hadoop cdh5
export HADOOP_HOME=/home/zero/hadoop/hadoop-2.3.0-cdh5.0.1
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
 source ~/.bashrc

 

3)运行wordcount

     hadoop jar $HADOOP_HOME/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.1.jar wordcount $HADOOP_HOME/etc/hadoop /tmp/out

 

说明:

  • 该模式不使用hdfs,hadoop fs -ls / 浏览的是本地文件系统
  • 该模式没有修改配置文件,中间临时数据等存放于默认路径/tmp/hadoop-${user}

四 伪分布式搭建

(一)规划

1)启动进程:

  •            namenode 
  •            datanode
  •            resourcemanager
  •            nodemanager
  •            historyserver

2)管理页面列表:

  •          NameNode :http://8.8.8.10:50070/dfshealth.html(使用IP默认打开该页面,个人比较习惯使用jsp页面   http://8.8.8.10:50070/dfshealth.jsp)
  •         ResourceManager : http://8.8.8.10:8088
  •         MapReduce JobHistory Server : http://8.8.8.10:10998

(二)搭建过程

(1)准备

 1)修改/etc/hosts添加映射:8.8.8.10 CentOS-StandAlone

 2)关闭防火墙:root用户 : service iptables stop

 3)解压:tar -xvf hadoop-2.3.0-cdh5.0.1.tar.gz

 4)配置环境变量:vi ~/.bashrc  

# hadoop cdh5
export HADOOP_HOME=/home/zero/hadoop/hadoop-2.3.0-cdh5.0.1
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

 source ~/.bashrc

 

(2)安装HDFS

1)修改$HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://CentOS-StandAlone:8020</value>
        </property>
</configuration>
 2)修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
        <property>
                <!--开启web hdfs-->
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/zero/hadoop/hadoop-2.3.0-cdh5.0.1/data/dfs/name</value>
                <description> namenode 存放name table(fsimage)本地目录(需要修改)</description>
        </property>
        <property>
                <name>dfs.namenode.edits.dir</name>
                <value>${dfs.namenode.name.dir}</value>
                <description>namenode粗放 transaction file(edits)本地目录(需要修改)</description>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/zero/hadoop/hadoop-2.3.0-cdh5.0.1/data/dfs/data</value>
                <description>datanode存放block本地目录(需要修改)</description>
        </property>
</configuration>

3)namenode 格式化: hdfs namenode -format

4)hdfs 启动:

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

5)验证:

     进程:

[zero@CentOS-StandAlone hadoop]$ jps

3083 NameNode

3192 Jps

3158 DataNode

     页面:8.8.8.10:50070

 

 

注:停止方法如下:

hadoop-daemon.sh stop namenode

hadoop-daemon.sh stop datanode

 

(3)安装Yarn

1)修改$HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>
 2)修改$HADOOP_HOME/etc/hadoop/yarn-site.xml
<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>CentOS-StandAlone</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
 3)启动:

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start nodemanager

mr-jobhistory-daemon.sh start historyserver

4)验证:

     进程

[zero@CentOS-StandAlone hadoop-2.3.0-cdh5.0.1]$ jps

1458 NodeManager

1131 DataNode

1634 Jps

1229 ResourceManager

1056 NameNode

1604 JobHistoryServer

     页面:


 

注:停止方法如下:

yarn-daemon.sh stop resourcemanager

yarn-daemon.sh stop nodemanager

mr-jobhistory-daemon.sh stop historyserver

(4)运行wordcount

1)上传数据:

hadoop fs mkdir /in

hadoop fs -put $HADOOP_HOME/etc/hadoop/* in

2)执行:

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.1.jar wordcount /in /out

 

五 Hadoop本地文件系统使用配置

默认配置文件位置:

/hadoop-project-dist/hadoop-common/core-default.xml

/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

/hadoop-mapreduce-client-core/mapred-default.xml

/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

 

1)core-site.xml

<property>
  <name>io.seqfile.local.dir</name>
  <value>${hadoop.tmp.dir}/io/local</value>
  <description> sequence file机型marge合并时存临时数据目录(可默认)</description>
</property>

 2)hdfs-site.xml

<property>
  <name>dfs.namenode.name.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/name</value>
  <description> namenode 存放name table(fsimage)本地目录(需要修改)</description>
</property>
<property>
  <name>dfs.namenode.edits.dir</name>
  <value>${dfs.namenode.name.dir}</value>
  <description>namenode粗放 transaction file(edits)本地目录(需要修改)</description>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/data</value>
  <description>datanode存放block本地目录(需要修改)</description>
</property>

 3)mapred-site.xml

<property>
  <name>mapreduce.cluster.local.dir</name>
  <value>${hadoop.tmp.dir}/mapred/local</value>
  <description>MapReduce的缓存数据存储在文件系统上的位置
  </description>
</property>
<property>
  <name>mapreduce.jobtracker.system.dir</name>
  <value>${hadoop.tmp.dir}/mapred/system</value>
  <description>MapReduce在HDFS上存储系统文件的位置
  </description>
</property>
<property>
  <name>mapreduce.jobtracker.staging.root.dir</name>
  <value>${hadoop.tmp.dir}/mapred/staging</value>
  <description>用户job相关文件中转区根目录(可默认)</description>
</property>
<property>
  <name>mapreduce.cluster.temp.dir</name>
  <value>${hadoop.tmp.dir}/mapred/temp</value>
  <description>临时文件共享目录(可默认)</description>
</property>

4)yarn-site.xml

<property>
  <name>yarn.resourcemanager.fs.state-store.uri</name>
  <value>${hadoop.tmp.dir}/yarn/system/rmstore</value>
  <description>resourcemanager 状态存放路径(需要修改)</description>
</property>
<property>
  <name>yarn.nodemanager.local-dirs</name>
  <value>${hadoop.tmp.dir}/nm-local-dir</value>
   <description>一个Application执行时本地化文件的存放路径,本地话文件具体问题:
    ${yarn.nodemanager.local-dirs}/usercache/${user}/appcache/application_${appid}.(可默认)
 </description>
</property>

 

  • 大小: 66.8 KB
  • 大小: 102.5 KB
分享到:
评论

相关推荐

    spark-2.3.0-bin-hadoop2-without-hive

    然而,有时我们可能需要在不依赖 Hive JAR 包的情况下,使用 Spark 处理 Hive 上的数据,这就是"spark-2.3.0-bin-hadoop2-without-hive"这个软件包的目的。 Spark 2.3.0 是一个强大的分布式计算框架,其性能和灵活...

    hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz

    而hadoop-2.6.0-cdh5.16.2.tar.gz则是Cloudera公司推出的基于Hadoop 2.6.0的CDH(Cloudera Distribution Including Apache Hadoop)版本。CDH是业界广泛采用的企业级Hadoop发行版,它不仅集成了Hadoop的核心组件,还...

    hadoop-eclipse-plugin-2.3.0插件

    hadoop-eclipse-plugin-2.3.0插件 eclipse版本4.4.0,经验证win7下可以正常运行。

    hadoop-2.6.0-cdh5.15.1.tar.gz

    大数据/Linux安装包-hadoop-2.6.0-cdh5.15.1.tar.gz 大数据/Linux安装包-hadoop-2.6.0-cdh5.15.1.tar.gz 大数据/Linux安装包-hadoop-2.6.0-cdh5.15.1.tar.gz

    hadoop-2.6.0-cdh5.14.2.tar.gz

    标题中的"hadoop-2.6.0-cdh5.14.2.tar.gz"是一个针对Apache Hadoop的软件包,具体来说是CDH(Cloudera Distribution Including Apache Hadoop)5.14.2版本,它基于Hadoop 2.6.0。CDH是由Cloudera公司提供的一个开源...

    flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar

    # 解压命令 tar -zxvf flink-shaded-hadoop-2-uber-3.0.0-cdh6.2.0-7.0.jar.tar.gz # 介绍 用于CDH部署 Flink所依赖的jar包

    pentaho-hadoop-shims-cdh61-kar-9.1.2020.09.00-324.kar

    kettle 9.1 连接hadoop clusters (CDH 6.2) 驱动

    hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz

    在这个压缩包中,"hadoop-2.6.0-cdh5.14.0"可能包含以下关键组件和目录: 1. **bin**: 包含Hadoop相关的可执行脚本,如`hadoop`, `hdfs`, `yarn`等,用于操作Hadoop集群。 2. **conf**: 存放配置文件,如`core-site...

    hadoop-2.6.0-cdh5.7.0.tar.gz

    在这个“hadoop-2.6.0-cdh5.7.0.tar.gz”压缩包中,我们可以预期找到的是一个完整的Hadoop 2.6.0 CDH5.7.0安装包。这个安装包通常会包含以下几个关键部分: 1. **Hadoop Distributed File System (HDFS)**:HDFS是...

    spark-2.3.0-bin-hadoop2.7版本.zip

    综上所述,"spark-2.3.0-bin-hadoop2.7版本.zip"是一个包含了完整的Spark 2.3.0发行版,集成了Hadoop2.7的环境,可供开发者在本地或集群环境中快速搭建Spark开发和测试环境。这个版本的Spark不仅在核心功能上有所...

    hadoop-eclipse-plugin-2.3.0.jar

    hadoop-eclipse-plugin-2.3.0.jar 插件

    hadoop-2.6.0-cdh5.7.0版本.zip

    6. **Hadoop安装与配置**: 安装Hadoop-2.6.0-cdh5.7.0版本需要配置集群环境,包括设置环境变量、配置集群节点间通信、初始化HDFS和YARN等。同时,还需要考虑安全性、监控和性能优化等方面。 7. **Hadoop应用开发**:...

    编译hadoop-2.5.0-cdh5.3.6 + snappy 源码的native包

    在IT行业中,尤其是在大数据处理领域,Hadoop是一个至关重要的开源框架,它允许分布式存储和处理大规模数据集。本文将详细讲解如何在CentOS 6.5系统上编译Hadoop 2.5.0 - CDH5.3.6与Snappy的源码,以生成适用于该...

    hadoop-2.6.0-cdh5.14.2.tar

    hadoop-2.6.0-cdh5.14.2.tar.gz适用于Linux环境,centos7已测试

    hadoop-2.6.0-cdh5.16.2的压缩包.rar

    主要是因为hadoop的cdh5官网收费,项目下载不了了,上传我下载的到csdn方便各位下载

    hadoop-2.6.0-cdh5.7.0.tar.gz和jdk-7u80-linux-x64.tar.gz安装包

    在这个场景中,我们有两个安装包:`hadoop-2.6.0-cdh5.7.0.tar.gz` 和 `jdk-7u80-linux-x64.tar.gz`,分别代表了CDH5.7.0版本的Hadoop和Java 7的64位Linux版本。 首先,让我们深入了解一下Hadoop。Hadoop的核心由两...

    hadoop-2.3.0 的64位 native库

    4. **生成64位Native库**:在编译过程中,Hadoop会使用C++代码生成native库,这部分代码位于`hadoop-common-project/hadoop-nativetask`目录下。编译成功后,64位的库文件将出现在`hadoop-common/target/native`目录...

    hadoop-common-2.6.0-cdh5.8.4.jar

    hadoop-common-2.6.0-cdh5.8.4.jarhadoop-common-2.6.0-cdh5.8.4.jar

Global site tag (gtag.js) - Google Analytics