Hadoop单机模式调试很方便,现将配置过程作一描述:
环境准备:
JAVA环境要调试安装正常,可以在命令行执行java -version 查看结果,能正常显示版本即可。
java环境变量配置示例如下:
export JAVA_HOME=/home/$USER/jdk1.7 export JRE_HOME=/home/$USER/jdk1.7 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
Hadoop安装配置:
1、首先在hadoop官网下载最新版本。这里以下载的hadoop-1.0.0.tar.gz 为例
2、将hadoop-1.0.0.tar.gz解压到指定目录。
3、配置hadoop环境变量,详细配置如下:
export HADOOP_HOME=/home/$USER/hadoop export PATH=$HADOOP_HOME/bin:$PATH
4、配置hadoop/conf/core-site.xml 添加
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>
5、配置hadoop/conf/mapred-site.xml 添加
<property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property>
6、配置hadoop/conf/hadoop-env.sh 添加
export JAVA_HOME=/home/$USER/jdk1.7
还有一个重要的文件hdfs-site.xml,这里只有分布式模式才需要配置,此处可以忽略。
以上完成后在命令行执行start-all.sh启动haoop服务。
运行jps查看进程:
如显示以下内容:
7480 SecondaryNameNode 7553 JobTracker 7926 Jps 7259 NameNode 7660 TaskTracker 7369 DataNode
则说明单机模式hadoop配置成功。
相关推荐
hadoop-2.6.0单机模式配置文件,利用该配置可以成功启动Hadoop
对于hadoop0.20.2的单机模式安装就需要在一个节点(一台主机)上运行5个节点。 分别是: JobTracker:负责Hadoop的Job任务分发和管理。 TaskTracker:负责在单个节点上执行MapReduce任务。 对于Hadoop里面的HDFS的...
Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...
资源名称:linux hadoop搭建手册以及三种集群模式配置内容简介: linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式,分别为单机...
hadoop的独立模式、伪分布模式、完全分布式、HA配置文件
继hadoop之安装!!!hadoop安装说明,ssh配置等!!!
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要...
虚拟机Ubuntu下hadoop2.6.0的安装与配置 (单机模式,伪分布式,完全分布式)非常详细的安装配置指南
本文从零起步构建Hadoop单机版本和伪分布式的开发环境,涉及: 1, 开发Hadoop需要的基本软件;...3, 配置Hadoop单机模式并运行Wordcount示例; 4, 配置Hadoop伪分布式模式并运行Wordcount示例;
1.搭建单机模式Hadoop (1)关闭防火墙(2)关闭selinux防火墙(3)设置主机名(4)映射主机名与ip地址 2.安装JDK(2)上传JDK至服务器(4)配置JAVA环境变量 3.安装Hadoop(3)配置Hadoop环境变量 2.搭建伪分布式模式...
使用hadoop实现WordCount详细实验报告,配有环境变量配置截图以及实验运行及结果详细过程描述与截图
1. Hadoop的基本结构和包含部分 2. 云存储虚拟平台的搭建 3. Hadoop的环境配置 4. 建立Hadoop集群的实验 5. Hadoop单机模式 6. Hadoop伪布式模式 7. Hadoop完全分布式模式
1.搭建单机模式Hadoop 1.搭建准备工作 (1)关闭防火墙(2)关闭selinux防火墙 2.安装JDK (1)下载jdk (2)上传JDK至服务器 a.下载WinSCP软件 b.建立linux与windows之间文件互传 (4)配置JAVA环境变量3.安装Hadoop ...
hadoop-env.sh 环境变量13#Hadoop Common组件 配置 core-site.xml13#HDFS NameNode,DataNode组建配置 hdfs-site.xml14#配置MapReduce - JobTracker TaskTracker 启动配置15#Hadoop单机系统,启动执行和异常检查17#...
015 Apache Hadoop 单机(本地)模式安装部署与测试 016 Hadoop 伪分布式安装部署 017 查看Hadoop 日志以及日志的格式和命名组成 018 Hadoop 守护进程服务三种启动停止方式 019 测试环境(HDFS Shell基本命令和运行...
ubuntu环境下hadoop环境搭建(伪分布模式),是本人学习大数据以来对于hadoop环境搭建的一些经验,现在写成文档的形式分享给大家。
每篇实验报告包含实验目的、实验环境、实验内容、实验代码、实验结果与结论以及实验心得。...实验3 分布式系统安装与配置 实验4 分布式文件系统读写 实验5 分布式并行程序设计 实验6 Spark综合实训
2.2.2 验证SSH安装 2.2.3 生成SSH密钥对 2.2.4 将公钥分布并登录验证 2.3 运行Hadoop 2.3.1 本地(单机)模式 2.3.2 伪分布模式 2.3.3 全分布模式 2.4 基于Web 的集群用户界面 2.5 小结 第3章 Hadoop组件...
hadoop详细安装步骤,包括单机模式/伪分布模式/完全分布模式安装过程/zookeeper安装步骤/hbase安装步骤/各种安装之后的测试