在Windows下安装Hadoop遇到的几个问题
2010年12月01日
Hdoop的荐部署环境是linux,但是我们想要在windows体验一下还是可以的,尤其是对我这样不是经常使用Linux系统的人。Windows下安装配置Hadoop的教程还是挺多的,这里可以下载。
下面我说说安装配置过程中遇到的一些问题吧,给自己以后提供借鉴。
我的操作系统是Windows 7,使用的Cygwin版本是1.7.7-1,hadoop版本是0.20.2。 1. SSH服务的安装 在安装SSH服务的过程中,如果按照网络教程上的步骤,在Win7下会有问题,安装完成后测试ssh localhost,遇到connection closed by ::1的问题,通过网上搜索,搜索到一片E文的解决方法,里面详细讲解了从卸载已经安装的服务到成功安装的各个步骤,比较详细,我也上传到了这里,其中的vista-cygwin.txt。有些不爽的是经过这些步骤,会给系统增加一个用户。当然SSH服务安装成功的就好啦。 2. SSH连接REMOTE HOST IDENTIFICATION HAS CHANGED解决方法 说到SSH连接,我想到了以前使用SSH连接时候遇到的一个问题,远程一台机器被我重装了,虽然IP地址和用户名都没有变,但是用其他客户端连接就出现上述提示,这里需要将 ~/.ssh/know-hosts文件中和该机器相关的rsa信息删除,然后再添加一下。删除命令:ssh-keygen R XXX.XXX.XXX.XXX。当然也可以手动去删除。 3. Java SDK路径配置的问题--hadoop-env.sh配置 在Hadoop的配置文件,hadoop-env.sh中,需要添加Java SDK的路径。要知道,Cygwin中并没有安装Java,那么只能使用Windows下安装的JDK。看了网上的文章,只是提到说export后面的路径需要用双引号括起来,因为一般JDK都是安装在"Program Files"下的。但是我这么添加以后,就是不行,报错"JAVA_HOME is not set"还是"…Program cannot found"来着,不太记得了,反正就是启动Hadoop的时候报错。经过研究后知道,首先Cygwin下不能使用windows的路径直接访问,需要是Linux风格的目录,如果是访问C盘下安装的JDK的话,不能使用"C:\Program Files\Java\jdk1.6.0_22",而需要使用这样"/cygdrive/c/Program Files/Java/jdk1.6.0_22";其次是hadoop好像不能识别带空格的目录路径,那怎么办呢,想到了符号链接,通过在Cygwin下创建一个符号链接,指向我的JDK安装目录,使用这样的命令:ln "C:\Program Files\Java\jdk1.6.0_22" /usr/local/jdk1.6.0_22. 这样就在/usr/local/下创建了一个Windows下JDK目录的符号链接,如果使用:cd /usr/local/jdk1.6.0_22, 然后ls下,就会发现已经在jdk的安装目录下了。然后在hadoop-env.sh中export JAVA_HOME=/usr/local/jdk1.6.0_22,这样就OK了。 4. hadoop-env.sh:line 2:$'\r':command not found错误 如果将hadoop-env.sh用Windows下的编辑软件编辑以后,再使用的话可能出现上述错误,使用dos2unix工具修正下,在conf/目录下执行"dos2unix hadoop-env.sh"就OK了。 5. Hadoop启动的问题--process information unavailable 好不容易配置好了hadoop,很兴奋,于是在赶紧启动hadoop,"start-all.sh",启动好像没有什么问题。使用jps列举下本机的java进程,发现怎么有几个进程显示"process information unavailable",这是怎么回事?突然想起为什么要安装SSH呢,于是SSH连接到本机,然后再启动hadoop,在jps,OK这下所有进程信息都列举出来了。具体是什么原因,我现在还不太清楚。 6. Hadoop启动的问题--Server at localhost/127.0.0.1:8888 not available yet 经过上面的步骤,好像Hadoop运行没有问题了,TaskTracker、JobTrack、DataNode、NameNode都启动了,好像没有问题了,但是执行"./hadoop fs ls /"命令是,会出现"Retrying connect to server: localhost/127.0.0.1:8888. Already tried X time(s). … Server at localhost/127.0.0.1:8888 not available yet",这又是为什么呢?查找后发现原来是HDFS在第一次用的时候需要初始化,安装完后就直接启动了,使用命令:./hadoop namenode format, 进行文件系统的格式化,然后再"./start-all.sh",再执行"./hadoop fs ls /",看到"Found 1 items
drwxr-xr-x - huangzhtao-pc\cyg_server supergroup 0 2010-11-27 17:26 /tmp",总算成功了。 7. 浏览器访问的说明
浏览器下查看Hadoop系统情况的地址。 配置hadoop真是一个充满挑战的过程,遇到了很多问题,记录下来,供以后参考。
附件:附件是一份Windows上安装hadoop的教程和Vista/Win7上安装sshd服务的说明。
发表评论
-
visual studio 2008开发windows mobile应用程序之环境篇
2012-01-20 09:31 716visual studio 2008开发windows mob ... -
安装Phoenix-SDK-June-2008-RC1
2012-01-20 09:31 632安装Phoenix-SDK-June-2008-RC1 20 ... -
Windows编程中的错误处理
2012-01-20 09:30 601Windows编程中的错误处理 2010年07月09日 ... -
Windows 7完美安装VC6和Delphi7
2012-01-20 09:30 765Windows 7完美安装VC6和Delp ... -
花木兰
2012-01-19 14:33 633花木兰 2011年12月28日 《旗袍》一句台词:“我宁 ... -
浅析春秋与战国儒家思想的不同
2012-01-19 14:33 674浅析春秋与战国儒家思 ... -
省级文化旅游古镇名单
2012-01-19 14:32 643省级文化旅游古镇名单 2011年12月24日 附件2: ... -
浙江大学:排名第一
2012-01-19 14:32 516浙江大学:排名第一 2011 ... -
汉服宣传资料
2012-01-19 14:32 690汉服宣传资料 2011年12月28日 什么是汉服? ... -
引用 javascript基础知识
2012-01-17 04:20 570引用 javascript基础知识 ... -
JavaScript高级程序设计 学习笔记
2012-01-17 04:19 532JavaScript高级程序设计 ... -
程序员书库actionscript3.0入门与精通讲义整理 第六章 数组
2012-01-17 04:19 656程序员书库actionscript3.0 ... -
javascript
2012-01-17 04:19 516javascript 2011年04月11日 ... -
AS3.0 中root和parent的用法
2012-01-17 04:19 577AS3.0 中root和parent的用法 ... -
节选王延广《超级赞美之不露痕迹》实战训练
2012-01-16 03:09 610节选王延广《超级赞美之不露痕迹》实战训练 2011年06月0 ... -
男人应享有动听词汇的权利
2012-01-16 03:09 623男人应享有动听词汇的权利 2009年08月26日 在 ... -
服装销售中,你的导购会赞美吗?
2012-01-16 03:09 514服装销售中,你的导购会 ... -
有一种语言是最能够打动人心,那就是 赞美
2012-01-16 03:09 748有一种语言是最能够打 ... -
《对于妻子的赞美不要吝啬词汇和语言,让她感受到丈夫在欣赏她!》 李伦 写于2011,5,30 河南安阳。
2012-01-16 03:09 977《对于妻子的赞美不要 ...
相关推荐
windows上安装hadoop教程,详细介绍了安装规则。
windows下安装hadoop的依赖库文件 hadoop2.6.5 --- hadoop3.2.1
在Windows上安装Hadoop 使用cygwin模拟使用linux环境 体验hadoop的分布式计算优势
windows下安装hadoop的依赖库文件,将bin和etc文件夹里面的内容替换hadoop解压目录的文件即可!大家好好学习!
Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop
这是本人经过实践总结出来的一套及其详尽的windows下安装hadoop教程,绝对好用!如果配置上有什么问题的话,可以随时联系我。
windows安装需要的Hadoop库文件,windows安装需要的Hadoop库文件.
本文档主要讲述的是RedHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试;感兴趣的朋友可以过来看看。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 资源太大,传百度网盘了,...
详细讲述了在windows环境下,如何成功安装Hadoop分布式处理环境,值得学习。
在Windows上安装Hadoop教程-在Windows上安装Hadoop教程
一份Windows上安装hadoop的教程和Vista/Win7上安装sshd服务的说明
windows环境下的hadoop3.1.0依赖,winutils
在windows环境下进行hadoop的安装
Win本地执行Hadoop所需文件,本人博客(邵奈一CSDN)有配套教程:Windows本地安装Hadoop,请自行搜索,谢谢。
windows下hadoop2.7.3环境问题的解决,亲测win10、win7皆可使用
在Windows上安装Hadoop教程.pdf 在Windows上安装Hadoop教程.pdf
在Windows上安装Hadoop1
在Windows环境下直接安装和配置Apache Hadoop的过程相对复杂,因为Hadoop原生设计是面向Linux/Unix环境的。尽管如此,仍然可以在Windows上搭建一个用于学习和开发的单节点Hadoop环境。以下是简化版的在Windows上安装...
在Windows环境下直接安装和配置Apache Hadoop的过程相对复杂,因为Hadoop原生设计是面向Linux/Unix环境的。尽管如此,仍然可以在Windows上搭建一个用于学习和开发的单节点Hadoop环境。以下是简化版的在Windows上安装...
分布式,Windows下安装Cygwin,安装Hadoop,运行实例。