本文根据网上资料实现基于单机的伪分布式运行模拟,并记录此过程中遇到的问题。
主要资料博客地址:http://www.cnblogs.com/panderen/archive/2011/05/17/2048651.html
一、实验环境及需要的软件:
实验环境:Windows7旗舰版 32位系统
需要的软件:
1、Jdk1.6以上 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
2、Cygwin 下载地址:http://www.cygwin.com/
3、稳定版hadoop 下载地址:http://hadoop.apache.org/common/releases.html#Download
二、实验步骤:
1、安装jdk到本机
注意:jdk安装路径不要带空格(例如:C:\Program Files),带空格会影响hadoop的运行。
2、安装Cygwin
此实验下载的版本为1.7.25,安装步骤请参见Hadoop开发者入门专刊中:“在Windows上安装Hadoop教程”
个人遇到的问题:
a、注意选择上面说的需在Cygwin中安装的包(点击所需要的包左侧的Skip);
b、上面说到的http://www.cygwin.cn链接不上了,故选择了http://mirrors.163.com/cygwin/;
c、如果没安装成功,删除安装目录文件,运行regedit.exe进入注册表,删除Cygwin文件,目录所在位置如下:HKEY_CURRENT_USER\Software\Cygwin HKEY_LOCAL_MACHINE\SOFTWARE\Cygwin
d、环境变量配置仅需把平时我们配JDK的方法配好,Cygwin仅需把bin所在目录加入,usr下的不用配;
e、可能版本的问题,安装sshd服务时比专刊中的步骤更多,仔细阅读提示信息,配置要创建两个账户(cyg_server、sshd),如无法启动服务,查看cygwin安装目录下var/log/sshd.log文件中的信息来解决问题。
f、安装好sshd后,该服务可以在装好的Cygwin中输入net start sshd命令启动或通过"控制面板-管理工具-服务-CYGWIN sshd"启动。
3、安装hadoop
a、下载稳定版本,此实验下载的是1.2.1,安装步骤请参见Hadoop开发者入门专刊中:“在Windows上安装Hadoop教程”
b、运行cygwin,进入hadoop安装目录,启动hadoop,例如:
bin/start-all.sh //启动命令
bin/stop-all.sh //停止命令
启动后浏览器访问:http://localhost:50070/ 和 http://localhost:50030/,能正常访问,说明安装成功。
分享到:
相关推荐
安装Hadoop(单机版和集群)详细步骤
Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...
Hadoop超详细介绍,详情介绍了Hadoop的安装
Hadoop:2.8.4 (hadoop-2.8.4.tar.gz) Hive:2.3.3 (apache-hive-2.3.3-bin.tar.gz)
hadoop环境配置(单机集群),图文并茂
在单机环境下,搭建hadoop的过程说明
Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是...
Cygwin+Eclipse搭建Hadoop单机开发环境 cygwin安装后文件备份
Cygwin+Eclipse搭建Hadoop单机开发环境 cygwin安装后文件备份
本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。
windows+linux双系统的安装,hadoop集群的安装配置,单机环境和多机环境的配置安装
(3)配置Hadoop环境变量 2.搭建完全分布式模式Hadoop 1.克隆出三台虚拟机 2.分别映射好三台虚拟机的IP与主机名 3.设置三台机器时钟同步 4.设置三台机器两两之间SSH密码登录 5.修改主节点配置文件...
ubuntu环境下hadoop环境搭建(伪分布模式),是本人学习大数据以来对于hadoop环境搭建的一些经验,现在写成文档的形式分享给大家。
详实的记录了搭建Hadoop云计算环境的过程,希望能帮助他人快速搭建Hadoop云计算环境,目录如下: 1引言 1 1.1 编写目的 1 2搭建过程 1 2.1 所需软件 1 2.2 VMware Workstation安装 1 2.3 Ubuntu安装 2 2.4 VMware ...
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程:全球最详细(不放过任何一个细节)的从零起步搭建Hadoop单机和伪分布式开发环境图文教程.pdf
hadoop的单机伪分布安装笔记,使用虚拟机方式、端口转发、搭建hadoop的单机环境。学习hadoop的入门文档之一。
windows下搭建hadoop开发环境(Eclipse)
hadoop环境安装文档。 包括Ubuntu14.04下安装Hadoop2.4.0 (单机模式) 及Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
截至本文撰写时(2019/9/17日),Hadoop最高版本为3.2.0,但适用于生产环境的为3.1.2(9月22日发布了可用于生产环境的3.2.1版本),本文只介绍3.1.2版本的分布式安装,不包含单机版安装。适用于Hadoop-3.1.3版本,所...