`
szgaea
  • 浏览: 213337 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Hadoop Windows下开发配置需要注意的地方

阅读更多
    今天在windows下使用FSShell访问hadoop服务器时,提示whoami无法执行,程序抛异常.由于客户端用户身份是通过宿主操作系统给出,则客户端在访问hadoop的时候,需要执行whoami命令,而windows下没有这个命令,所以程序无法执行。解决的办法:安装cygwin,在Path环境变量中配置cygwin的bin目录,借用cygwin的whoami实现登陆。

    无法执行的错误提示是:
2008-12-04 09:10:34,328 WARN  fs.FileSystem (FileSystem.java:<init>(1412)) - uri=file:///
javax.security.auth.login.LoginException: Login failed: Cannot run program "whoami": CreateProcess error=2, ϵͳÕҲ»µ½ָ¶
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:251)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:276)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:258)
at org.apache.hadoop.security.UserGroupInformation.login(UserGroupInformation.java:67)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:1410)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1348)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:213)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:118)
at org.apache.hadoop.fs.FsShell.init(FsShell.java:89)
at org.apache.hadoop.fs.FsShell.run(FsShell.java:1777)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at org.apache.hadoop.fs.FsShell.main(FsShell.java:1928)
2008-12-04 09:10:34,375 WARN  fs.FileSystem (FileSystem.java:<init>(1412)) - uri=file:///
javax.security.auth.login.LoginException: Login failed: Cannot run program "whoami": CreateProcess error=2, ϵͳÕҲ»µ½ָ¶
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:251)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:276)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:258)
at org.apache.hadoop.security.UserGroupInformation.login(UserGroupInformation.java:67)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:1410)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1348)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:213)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:118)
at org.apache.hadoop.fs.Trash.<init>(Trash.java:62)
at org.apache.hadoop.fs.FsShell.init(FsShell.java:92)
at org.apache.hadoop.fs.FsShell.run(FsShell.java:1777)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at org.apache.hadoop.fs.FsShell.main(FsShell.java:1928)
2008-12-04 09:10:34,375 WARN  fs.FileSystem (FileSystem.java:<init>(1412)) - uri=file:///C:/Documents%20and%20Settings/Administrator
javax.security.auth.login.LoginException: Login failed: Cannot run program "whoami": CreateProcess error=2, ϵͳÕҲ»µ½ָ¶
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:251)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:276)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:258)
at org.apache.hadoop.security.UserGroupInformation.login(UserGroupInformation.java:67)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:1410)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1348)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:213)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175)
at org.apache.hadoop.fs.Trash.<init>(Trash.java:68)
at org.apache.hadoop.fs.Trash.<init>(Trash.java:62)
at org.apache.hadoop.fs.FsShell.init(FsShell.java:92)
at org.apache.hadoop.fs.FsShell.run(FsShell.java:1777)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at org.apache.hadoop.fs.FsShell.main(FsShell.java:1928)
2008-12-04 09:10:34,390 WARN  fs.FileSystem (FileSystem.java:<init>(1412)) - uri=hdfs://NN:9000/testdir
javax.security.auth.login.LoginException: Login failed: Cannot run program "whoami": CreateProcess error=2, ϵͳÕҲ»µ½ָ¶
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:251)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:276)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:258)
at org.apache.hadoop.security.UserGroupInformation.login(UserGroupInformation.java:67)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:1410)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1348)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:213)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175)
at org.apache.hadoop.fs.FsShell.ls(FsShell.java:606)
at org.apache.hadoop.fs.FsShell.doall(FsShell.java:1601)
at org.apache.hadoop.fs.FsShell.run(FsShell.java:1820)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at org.apache.hadoop.fs.FsShell.main(FsShell.java:1928)
ls: null
            
分享到:
评论

相关推荐

    hadoop本地windows开发环境配置

    文档针对使用spark做分布式数据处理的windows环境下本地必要配置。

    windows环境下的hadoop3.1.0依赖,winutils

    windows环境下的hadoop3.1.0依赖,winutils

    开发hadoop配置

    3、Windows下开发hadoop需要导入hadoop下bin的文件--hadoop-common-2.2.0-bin-master 4、新建包org.apache.hadoop.io.nativeio其修改后类--NativeIO.java Linux和Win下配置eclipse开发hadoop步骤详解

    windows下hadoop2.7.3环境问题的解决(含说明)

    windows下hadoop2.7.3环境问题的解决,亲测win10、win7皆可使用

    hadoop2.7.3 hadoop.dll

    在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....

    Windows环境安装Hadoop.docx

    在Windows环境下直接安装和配置Apache Hadoop的过程相对复杂,因为Hadoop原生设计是面向Linux/Unix环境的。尽管如此,仍然可以在Windows上搭建一个用于学习和开发的单节点Hadoop环境。以下是简化版的在Windows上安装...

    Windows环境安装Hadoop.7z

    在Windows环境下直接安装和配置Apache Hadoop的过程相对复杂,因为Hadoop原生设计是面向Linux/Unix环境的。尽管如此,仍然可以在Windows上搭建一个用于学习和开发的单节点Hadoop环境。以下是简化版的在Windows上安装...

    python 零基础学习篇-12.在windows环境中开发hadoop程序需要配置的本地环境.mp4

    python 零基础学习篇-12.在windows环境中开发hadoop程序需要配置的本地环境.mp4

    hadoop3.3.3-winutils

    hadoop基于linux开发和布署运行,故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录...

    hadoop搭建与eclipse开发环境设置

    目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个...2.在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试 3.只需要在eclipse中“Run on Hadoop",不需要自己打包上传运行。

    windows下搭建hadoop开发环境(Eclipse)

    介绍windows下安装hadoop的过程,包括,安装JDK,在cygwin下安装SSH,hadoop配置,eclipse插件的配置等。

    hadoop-windows.zip

    windows开发hadoop所需文件 解压至指定目录,将目录配置环境变量中,如: HADOOP_HOME = D:\Program Files\hadoop-2.2.0 Path 追加:%HADOOP_HOME%\bin

    Hadoop开发环境配置

    本文档为自己的实践过程描述,windows+eclipse+hadoop plugin连接远程主机环境搭建

    Windows环境下Hadoop开发环境配置.docx

    欢迎下载!

    Windows环境下Hadoop开发环境配置.pdf

    欢迎下载!

    winutils.exe hadoop.dll下载配置

    windows环境下,IntelliJ IDEA开发Spark程序报错: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 解压上述压缩包在C盘(根据个人喜好) 配置系统环境变量, 变量名:HADOOP_HOME,...

    Eclipse连接hadoop开发.doc

    Eclipse连接hadoop开发,主要是在windows环境下开发hadoop时的连接配置文档,有详细的配置过程,值得拥有!!

    hadoop-common.2.7.4.rar

    在开发工具中(例如Eclipse)使用Java语言开发Hadoop程序,调用API,可以在Windows环境运行。配置步骤大致是1 解压缩,2 配置Windows的环境变量HADOOP_HOME,添加bin目录到path中。3 把hadoop文件夹bin中的hadoop....

    hadoop-3.3.4 版本(最新版)

    Apache Hadoop (hadoop-3.3.4.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程...

    大数据云计算技术系列 hadoop搭建与eclipse开发环境设置-已验证通过(共13页).pdf

    需要注意的是插件版本(及后面开发导入的所有jar包)与运行的hadoop一致,否则可能会出现EOFException异常。 重启eclipse,打开windows-&gt;open perspective-&gt;other-&gt;map/reduce 可以看到map/reduce开发视图。 1.2 ...

Global site tag (gtag.js) - Google Analytics