1.安装JDK
MapReduce 程序的编写和Hadoop 的编译都依赖于JDK,光JRE 是不够的。由于安装JDK对于学习Hadoop的人来说肯定不是问题,这里就不再赘述安装过程了。
2.安装Cygwin
Cygwin 是一个windows下的linux环境模拟工具,我们下载的Cygwin Setup.exe是一个在线安装程序,下载下来Setup.exe之后根据提示一步步安装,建议选择先下载然后安装,这是因为下载有时需要很长的过程,如果边下载边安装可能会出现问题。在安装Cygwin过程中其他选项默认安装,其中Base分支下要选择安装sed, Editors分支下要选择了vim,Net分支下要选择了OpenSSH,所谓选择安装上诉项目就是点击对应项目出现其版本号即可。安装sed是为了在eclipse 上编译Hadoop,安装vim,以方便在Cygwin 上直接修改配置。
3.配置Windows系统变量
需要配置的环境变量为:JAVA_HOME=jre的安装目录,Path=JDK的bin目录;Cygwin的bin目录;Cygwin的usr/bin目录。CYGWIN=ntsec tty。
4.安装sshd服务
启动Cygwin,在命令行输入ssh-host-config,出现提示Should privilege separation be used? 时候选择No。当看到Host configuration finished. Have fun! 则表示ssdh服务安装成功。
5.配置sshd服务
首先在服务中启动CYGWIN sshd 服务然后打开Cygwin输入ssh-keygen生成密钥文件,输入ssh -keygen后遇见要输入文字的地方直接按回车,一般是按三次。接下来生成authorized_keys.用cd 命令切目录到~/.ssh下执行 cp id_rsa.pub authorized_keys复制生成即可。此时执行exit退出Cygwin.重新打开Cygwin执行ssh localhost,如果是第一次根据提示输入yes.然后执行who命令,如何能查看到当前登录用户信息则表示ssh登录成功。(这里必须复制生成authorized_keys后关闭然后再打开Cygwin否则可能会出错)。
6.下载并安装Hadoop
将下载的的Hadoop安装包解压到本地目录,并修改conf文件夹下的四个配置文件分别是hadoop-env.sh、core-site.xml、hdfs-site.xml 和mapred-site.xml。
修改hadoop-env.sh
将hadoop-env.sh中的JAVA_HOME修改成自己的JDK安装路径,由于Linux和Windows环境下路径写法不一样,在复制路径后要将“\”改成“/”并且要用Cygwin的驱动,例如JDK安装目录是C:\ Java\jdk1.7.0_03则该配置文件中应该写成JAVA_HOME= /cygdrive/C/Java/jdk1.7.0_03,并将对应的export前面的#号去掉并保存。
修改core-site.xml
为简化core-site.xml 配置将\run\src\core目录下core-default.xml 文件复制\ run\conf 目录下,并将core-default.xml 文件名改成core-site.xml修改fs.default.name 的值,如下所示:
<name>fs.default.name</name>
<value>hdfs://localhost:8888</value>
其中端口号8888根据需要自行设定
修改hdfs-site.xml
为简化hdfs-site.xml 配置,将run\src\hdfs 目录下的hdfs-default.xml 文件复制到run\conf 目录下,将hdfs-default.xml 文件名改成hdfs-site.xml。改mapred.job.tracker的值,默认为3,这里修改为1,这是因为我们安装的是单机版的伪分布式,故不需要3份备份,只要一份即可,如下所示:
<name>dfs.replication</name>
<value>1</value>
修改mapred-site.xml
为简化mapred-site.xml 配置,run\src\mapred下的mapred-default.xml文件复制到run\conf 并将mapred-default.xml文件名改成mapred-site.xml修改mapred.job.tracker的值,如下所示:
<name>mapred.job.tracker</name>
<value>localhost:9999</value>
其中端口号9999根据需要自行设定.
至此Hadoop安装完毕!
7.启动Hadoop
在Cygwin 中,进入hadoop 的bin 目录,运行./start-all.sh 启动hadoop,在启动成功之后,可以执行./hadoop fs -ls /命令,查看hadoop 的根目录,至此Hadoop在Windows平台下安装成功。并可以正式启动。
(详细相关教程[url]http://v-lad.org/Tutorials/Hadoop/00 - Intro.html[/url])
分享到:
相关推荐
在Windows上使用Cygwin作为类Unix支撑环境来安装Hadoop, 网上介绍的还是比较多的。 但是我在安装过程中碰到的一些问题, 没有在任何一个可找到的网页中得到全部解决。 例如,我们一开始选择的是Hadoop 1.0.0版本,...
我自己搭建windows下的hadoop集群,并且图文记录下了安装过程,亲测,没有问题,一步步按着做可以用windows下虚拟机搭建一个hadoop集群
windows下搭建hadoop2.6开发环境详细说明,包括各种错误解决方法及参考文档;包括所需插件及测试代码
windows下搭建hadoop开发环境(Eclipse)
用了不到一个星期的时间,通过各种查阅资料终于将hadoop搞定了。 现将学习中遇到的一些问题记录了下来。 分数确实有点高,不过我相信它确实是值得的。 可能会遇到的问题,这里面应该都有所提及。 没有提及的,解决不...
在windows下搭建hadoop2开发环境小案例,使用了ant技术
windows平台下cygwin搭建hadoop,不错的资料欢迎下载
Windows下搭建Hadoop开发环境
windows-hadoop-2.6.4-bin windows下搭建eclipse+hadoop开发环境踩过的坑..
windows下搭建hadoop平台.pdf
windows下通过eclipse直接访问hdfs或者调试mapreduce程序需要用到的完整环境
Windows 搭建 hadoop2.7 环境,必备 winutils.exe + hadoop.dll,否则不能正常使用 hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常
Hadoop集群搭建!详细文档!
基于windows的hadoop集群搭建图文教程 自己写的亲测可以安装.rar
Hadoop的windows环境搭建依赖jar包,搭建方式可以参考我的博客
尽管网上有很多描述如何在windows安装hadoop,但真正能按你步骤说明能安装一个运行的环境并不多。该文档是我自己安装过程的总结。
hadoop2.7.1版本 Windows 7、Windows Server 2008 +(64位)系统,搭建dadoop环境时所学的hadoop.dll+winutils等依赖文件
Windwos下,用Cygwin模拟Linux环境,搭载Hadoop
由于资源有限,只能在本机windows环境下搭建vmware虚拟操作系统fedora上运行hadoop+hbase。 主要分为以下几个部分进行介绍: 一、环境版本要求和准备 二、Fedora服务器hadoop安装过程 三、Fedora服务器Hbase配置...