`
peigang
  • 浏览: 167307 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop单机模式配置

 
阅读更多

Hadoop单机模式调试很方便,现将配置过程作一描述:

环境准备:

JAVA环境要调试安装正常,可以在命令行执行java -version 查看结果,能正常显示版本即可。

java环境变量配置示例如下:

 

export JAVA_HOME=/home/$USER/jdk1.7
export JRE_HOME=/home/$USER/jdk1.7               
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

 

 

Hadoop安装配置:

1、首先在hadoop官网下载最新版本。这里以下载的hadoop-1.0.0.tar.gz 为例

2、将hadoop-1.0.0.tar.gz解压到指定目录。

3、配置hadoop环境变量,详细配置如下:

 

export HADOOP_HOME=/home/$USER/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

 4、配置hadoop/conf/core-site.xml 添加

 

 

<property>
	<name>fs.default.name</name>
	<value>hdfs://localhost:9000</value>
</property>

 

 

 5、配置hadoop/conf/mapred-site.xml 添加

 

<property>
	<name>mapred.job.tracker</name>
	<value>localhost:9001</value>
</property>

 

 

 6、配置hadoop/conf/hadoop-env.sh 添加

 

 export JAVA_HOME=/home/$USER/jdk1.7

 还有一个重要的文件hdfs-site.xml,这里只有分布式模式才需要配置,此处可以忽略。

 

 

以上完成后在命令行执行start-all.sh启动haoop服务。

运行jps查看进程:

如显示以下内容:

7480 SecondaryNameNode
7553 JobTracker
7926 Jps
7259 NameNode
7660 TaskTracker
7369 DataNode

 则说明单机模式hadoop配置成功。

 

分享到:
评论

相关推荐

    hadoop-2.6.0单机模式配置文件

    hadoop-2.6.0单机模式配置文件,利用该配置可以成功启动Hadoop

    Hadoop单机模式的配置与安装

    对于hadoop0.20.2的单机模式安装就需要在一个节点(一台主机)上运行5个节点。 分别是: JobTracker:负责Hadoop的Job任务分发和管理。 TaskTracker:负责在单个节点上执行MapReduce任务。 对于Hadoop里面的HDFS的...

    Hadoop环境安装设置(最简单的hadoop单机环境部署教程)

    Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK&lt;最新版&gt; - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...

    linuxhadoop搭建手册以及三种集群模式配置

    资源名称:linux hadoop搭建手册以及三种集群模式配置内容简介: linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式,分别为单机...

    hadoop的独立模式、伪分布模式、完全分布式、HA配置文件

    hadoop的独立模式、伪分布模式、完全分布式、HA配置文件

    hadoop单机配置

    继hadoop之安装!!!hadoop安装说明,ssh配置等!!!

    Hadoop完全分布式配置.txt

    单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要...

    虚拟机中hadoop2.6.0的安装与配置 (单机模式,伪分布式,完全分布式)

    虚拟机Ubuntu下hadoop2.6.0的安装与配置 (单机模式,伪分布式,完全分布式)非常详细的安装配置指南

    全球最详细的从零起步搭建Hadoop单机和伪分布式开发环境图文教程

    本文从零起步构建Hadoop单机版本和伪分布式的开发环境,涉及: 1, 开发Hadoop需要的基本软件;...3, 配置Hadoop单机模式并运行Wordcount示例; 4, 配置Hadoop伪分布式模式并运行Wordcount示例;

    搭建伪分布模式Hadoop.pdf

    1.搭建单机模式Hadoop (1)关闭防火墙(2)关闭selinux防火墙(3)设置主机名(4)映射主机名与ip地址 2.安装JDK(2)上传JDK至服务器(4)配置JAVA环境变量 3.安装Hadoop(3)配置Hadoop环境变量 2.搭建伪分布式模式...

    使用hadoop实现WordCount实验报告.docx

    使用hadoop实现WordCount详细实验报告,配有环境变量配置截图以及实验运行及结果详细过程描述与截图

    基于hadoop的云计算研究报告

    1. Hadoop的基本结构和包含部分 2. 云存储虚拟平台的搭建 3. Hadoop的环境配置 4. 建立Hadoop集群的实验 5. Hadoop单机模式 6. Hadoop伪布式模式 7. Hadoop完全分布式模式

    从裸机搭建完全分布式模式Hadoop.pdf

    1.搭建单机模式Hadoop 1.搭建准备工作 (1)关闭防火墙(2)关闭selinux防火墙 2.安装JDK (1)下载jdk (2)上传JDK至服务器 a.下载WinSCP软件 b.建立linux与windows之间文件互传 (4)配置JAVA环境变量3.安装Hadoop ...

    Hadoop实战手册

    hadoop-env.sh 环境变量13#Hadoop Common组件 配置 core-site.xml13#HDFS NameNode,DataNode组建配置 hdfs-site.xml14#配置MapReduce - JobTracker TaskTracker 启动配置15#Hadoop单机系统,启动执行和异常检查17#...

    Hadoop从入门到上手企业开发

    015 Apache Hadoop 单机(本地)模式安装部署与测试 016 Hadoop 伪分布式安装部署 017 查看Hadoop 日志以及日志的格式和命名组成 018 Hadoop 守护进程服务三种启动停止方式 019 测试环境(HDFS Shell基本命令和运行...

    ubuntu环境下hadoop环境搭建(伪分布模式)

    ubuntu环境下hadoop环境搭建(伪分布模式),是本人学习大数据以来对于hadoop环境搭建的一些经验,现在写成文档的形式分享给大家。

    《云计算实践与原理》实验报告

    每篇实验报告包含实验目的、实验环境、实验内容、实验代码、实验结果与结论以及实验心得。...实验3 分布式系统安装与配置 实验4 分布式文件系统读写 实验5 分布式并行程序设计 实验6 Spark综合实训

    Hadoop实战中文版

    2.2.2 验证SSH安装 2.2.3 生成SSH密钥对 2.2.4 将公钥分布并登录验证 2.3 运行Hadoop 2.3.1 本地(单机)模式 2.3.2 伪分布模式 2.3.3 全分布模式 2.4 基于Web 的集群用户界面 2.5 小结 第3章 Hadoop组件...

    Hadoop和HBase的安装和配置.docx

    hadoop详细安装步骤,包括单机模式/伪分布模式/完全分布模式安装过程/zookeeper安装步骤/hbase安装步骤/各种安装之后的测试

Global site tag (gtag.js) - Google Analytics