`

Hadoop碰到的问题

 
阅读更多

1.cygwin的安装:  

  网上有很多相关的资料,有一篇讲得特别详细!这里先记下了!方便以后查!
  地址:http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4% A8/blog/item/8832551c7598551f314e15c2.html 

2. hadoop的入门实例:

  下一面的博文讲得也十分详细,几乎是一步一步的讲解,特别适合入!

  地址:http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4%A8/blog/item/a0ebb1db953a772033fa1c9a.html

 

3. 在安装的过过程中还是遇到了两个问题:

 第一个:在安装cygwin的时候,win7系统是要设置密码的。在对cygwin进行ssh配置时,老是提示要输入密码,我刚开始时没注意,总是回车忽略,结果总是失败!后来再详细了看了第一篇博文时,才知道win7系统要设置密码。

 

 第二个问题:Java jdk路径有空格的问题。

 本人的电脑上的jdk路径:D:\Program Files\Java\jdk1.6.0_26,根据上面第二篇博文说的,要对Program Files改成 'Program Files' ,在实验时被证明是不行的。改成双引号也不行。网上有说用转义字符,貌似也不行,至少在我的电脑上是不行的。

 解决方法:

  方法一:重新安装JDK,设置成没有空格的路径。个人觉得这个很麻烦!没有尝试,但是应该可以行得通。

  方法二:Windows下的JDK映射到Cygwin中,命令如下:

     LN  -s  /cygdrive/c/Program\ Files/Java/<jre name>  /usr/local/<jre name>

     其中,

     /cygdrive/c/Program\ Files/Java/<jre name>表示在Windows中的JDK路径,

     /usr/local/<jre name>表示你想映射到的Cygwin路径。

    然后在把JAVA_HOME配置成 export  JAVA_HOME="/usr/local/<jre name>"

   我的设置是:

          在cygwin下面执行:

    LN  -s  /cygdrive/d/Program\ Files/Java/jdk1.6.0_26  /usr/local/jdk

   然后在hadoop-env.sh里面对应的选项修成:

     # The java implementation to use.  Required.
     export JAVA_HOME="/usr/local/jdk"

   就可以了。

分享到:
评论

相关推荐

    Hadoop使用常见问题以及解决方法

    Hadoop使用常见问题以及解决方法,简单实用

    hadoop常见问题及解决方法

    安装hadoop的时候或者使用的时候,会出现hadoop常见问题及解决方法

    hadoop集群遇到的问题及其解决方法

    hadoop安装时,会遇到不同问题,这里只是列举我自己遇到的问题

    hadoop使用distcp问题解决

    hadoop使用distcp问题解决 然后用distcp从1.0.3的集群拷数据到2.0.1的集群中。 遇到问题处理

    hadoop2.7.7对应的hadoop.dll,winutils.exe

    支持windows下安装hadoop2.7.7后,将这两个文件放在bin目录下,可以解决windows下安装hadoop遇到的问题

    hadoop2.2+spark集群搭建手记之hadoop集群遇到的各种问题

    hadoop2.2集群搭建遇到的各种问题。

    HADOOP硬实战2

    亚历克斯·霍姆斯 (Alex Holmes)、 梁李印 需要下载了1和2之后,...你将会学习到每个技术的细节,以及当遇到一个具体问题时能够给出对应的解决方案。本书提供了结构良好且易于理解的例子,可用于应对你所遇到的问题。

    Hadoop.chm HadoopAPI Hadoop英文版最新API

    从零开始构建一个网络搜索引擎是一个很大的计划,并且往往会遇到很多的问题。不仅是因为编写一个爬虫并索引页面的软件比较复杂,而且,一个这样的项目需要一个专门的团队来实现。项目中也包含许多随时都需要修改的...

    Hadoop2.6.0 winutils 与 hadoop.dll

    在window连接虚拟机Hadoop集群时遇到如下问题: Unable to load native-hadoop library for your platform… using builtin-Java classes where applicable 即缺少 winutils.exe 与 hadoop.dll

    hadoop-2.6.0-cdh5.14.0 hadoop.dll winutils

    一开始使用的是原生的hadoop2.6.0编译的hadoop.dll,但是一直遇到这个问题Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String...

    HADOOP硬实战1

    《Hadoop硬实战》收集了85个问题场景以及解决方案的实战演练。在关键问题领域对基础概念和实战方法做了权衡,例如导入导出、序列化,以及LZO压缩。你将会学习到每个技术的细节,以及当遇到一个具体问题时能够给出...

    hadoop3.x笔记.docx

    大数据Hadoop的一些配置与底层原理,里面详细介绍了从0到1搭建集群以及搭建过程中遇到的问题解决方案,并且由图去更好的理解Hadoop的用处。

    Hadoop原理与技术MapReduce实验

    (1)熟悉Hadoop开发包 (2)编写MepReduce程序 (3)调试和运行MepReduce程序 (4)完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验...

    Windows上Hadoop环境搭建简介

    但是我在安装过程中碰到的一些问题, 没有在任何一个可找到的网页中得到全部解决。 例如,我们一开始选择的是Hadoop 1.0.0版本, 这个版本我让课题组的学生在Linux环境上搭建过(0.22.0版本也搭建过), 也是伪分布...

    hadoop-3.1.0-winUtils.rar

    如果本机操作系统是 Windows,在程序中使用了 Hadoop 相关的东西,比如写入文件到HDFS,则会遇到如下异常:could not locate executable null\bin\winutils.exe ,使用这个包,设置一个 HADOOP_HOME 环境变量,即可...

    Hadoop环境搭建、配置及通过执行计算来验证的示例

    Hadoop从存储上来说,是类似于冗余磁盘阵列(RAID)的存储方式,将数据分散存储并...本文将从使用的角度上谈了如何搭建Hadoop、如何配置Hadoop、如何验证Hadoop及在Hadoop上面执行计算,以及可能会遇到些什么样的问题。

    hadoop运行wordcount实例

    包含配置hadoop过程中遇到的一些问题的解决办法和成功运行wordcount实例的步骤

    Ubuntu20.04配置Hadoop.txt

    本教程是根据个人在UBUNTU虚拟机上安装配置Hadoop2.7.3的实际操作步骤一步步记录下来的,大部分指令操作的目的都加了注释以方便理解。(本教程很详细,如果还是遇到问题可以直接咨询楼主,不会让你的积分百花的)

    hadoop 中文手册

    hadoop 中文手册 ...如果遇到了问题,你可以向邮件列表求助或者浏览一下存档邮件。 Hadoop快速入门 Hadoop集群搭建 Hadoop分布式文件系统 Hadoop Map-Reduce教程 Hadoop本地库 API参考 维基 常见问题

    Hadoop_2.7.2安装包.rar

    资源中是Hadoop2.7.2版本安装包,安装配置说明可参考我的博客,如果安装过程中遇到问题可与我联系解决。

Global site tag (gtag.js) - Google Analytics