本文参考eclipse连接远程hadoop集群开发时0700问题解决方案整理得来。
在window 下的eclipse开发map reduce时连接远程hadoop集群环境时会报错
错误信息:
Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700
解决方案(CentOS 6.4 + hadoop1.2.1 + jdk1.7编译成功,并复制到window下,成功生成eclipse plugin文件)。
1、
1.首先到官网上把该版本hadoop的tar包下载下来,并解压到$HADOOP_HOME目录下
2.修改hadoop-1.2.0\src\core\org\apache\hadoop\fs下的FileUtil.java类
private static void checkReturnValue(boolean rv, File p, FsPermission permission ) throws IOException { if (!rv) { throw new IOException("Failed to set permissions of path: " + p + " to " + String.format("%04o", permission.toShort())); } }将这个抛异常操作注释掉或者把throw new IOException改为LOG.warn
我是改为LOG.warn:
private static void checkReturnValue(boolean rv, File p, FsPermission permission ) throws IOException { if (!rv) { //throw new IOException("Failed to set permissions of path: " + p + // " to " + // String.format("%04o", permission.toShort())); LOG.warn("Failed to set permissions of path: " + p + " to " + String.format("%04o", permission.toShort())); } }
3.进入到$HADOOP_HOME/src目录中,修改saveVersion.sh文件,因为原saveVersion.sh生成的package-info.java有问题。更正内容为:
user=`whoami` #此处修改成固定值,如user=jialin
3、修改$HADOOP_HOME\build.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置 ,如: <exec executable="autoreconf"
dir="${c++.task-controller.src}"
searchpath="yes" failonerror="yes">
<arg value="-i"/>
</exec>
共有6处,将该语言块删除
4、 修改hadoop安装目录下的\build.xml 指定java版本<property name="javac.version" value="1.6"/> 如是1.7就改为1.7
5、在命令行切换到$HADOOP_HOME,执行ant
6、用新生成的$HADOOP_HOME\build\hadoop-core-1.*.*-SNAPSHOT.jar替换$HADOOP_HOME目录下的hadoop-core-*.*.*.jar
user=`whoami` #此处修改成固定值,如user=jialin
3、修改$HADOOP_HOME\build.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置 ,如: <exec executable="autoreconf"
dir="${c++.task-controller.src}"
searchpath="yes" failonerror="yes">
<arg value="-i"/>
</exec>
共有6处,将该语言块删除
4、 修改hadoop安装目录下的\build.xml 指定java版本<property name="javac.version" value="1.6"/> 如是1.7就改为1.7
5、在命令行切换到$HADOOP_HOME,执行ant
6、用新生成的$HADOOP_HOME\build\hadoop-core-1.*.*-SNAPSHOT.jar替换$HADOOP_HOME目录下的hadoop-core-*.*.*.jar
7、然后把CentOS 6.4环境下编译好的hadoop-core-1.*.*-SNAPSHOT.jar复制到window环境下并覆盖window环境下的%HADOOP_HOME%\hadoop-core-*.*.*.jar
相关推荐
资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以...
Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理
Hadoop技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) 原版书籍,非扫描版,使用kindle可以打开,也可以转换为epub使用ibooks打开
赠送jar包:parquet-hadoop-1.8.2.jar; 赠送原API文档:parquet-hadoop-1.8.2-javadoc.jar; 赠送源代码:parquet-hadoop-1.8.2-sources.jar; 赠送Maven依赖信息文件:parquet-hadoop-1.8.2.pom; 包含翻译后的API...
计算Hadoop:快速部署Hadoop集群 详细的Hadoop集群部署文档,对您绝对有用~
hadoop2.8.1+eclipse+hadoop+winutils编译包 直接放到hadoop安装目录下的bin文件下
《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》由腾讯数据平台的资深Hadoop专家、X-RIME的作者亲自执笔,对Common和HDFS的源代码进行了分析,旨在为Hadoop的优化、定制和扩展提供原理性的指导。...
hadoop 核心jar;希望你能下载,大数据需要的jar包
《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》还从源代码实现中对分布式技术的精髓、分布式系统设计的优秀思想和方法,以及Java语言的编码技巧、编程规范和对设计模式的精妙运用进行了总结和...
本人用7个多小时成功编译 hadoop 2.7.1 64位编译包(JDK1.8 64),由于文件太大,分3卷压缩。 hadoop 2.7.1 相对于2.7.0修复了上百个Bug,是可用于生产环境的版本了。
win10下编译过的hadoop2.7.2 jar包,配置hadoop客户端环境必备
win 7 64上编译 Hadoop 2.7.3 源码 的真实经历。
编译Hadoop需要的包相对比较杂和多,现在一次打包共享给大家。
win7下编译过的hadoop jar包 hadoop1.1.2 hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件,需要自己用ant编译。
第6讲:eclipse与Hadoop集群连接
1.已经编译好的 hadoop2.4.1 x64 用法:将hadoop-2.4.1/lib/native下所有文件删除,然后将包中的文件放入 2.自己安装搜索“编译64位的hadoop 2.4.1”参考:...
大数据时代:高性能Hadoop集群与应用案例
linux下的hadoop jar包--hadoop-2.7.2.zip,用于在linux环境学习测试使用。
赠送jar包:parquet-hadoop-1.10.0.jar; 赠送原API文档:parquet-hadoop-1.10.0-javadoc.jar; 赠送源代码:parquet-hadoop-1.10.0-sources.jar; 赠送Maven依赖信息文件:parquet-hadoop-1.10.0.pom; 包含翻译后...
赠送jar包:hbase-hadoop-compat-1.1.3.jar; 赠送原API文档:hbase-hadoop-compat-1.1.3-javadoc.jar; 赠送源代码:hbase-hadoop-compat-1.1.3-sources.jar; 赠送Maven依赖信息文件:hbase-hadoop-compat-1.1.3....