由于我用的hadoop是1.0.4,网上大部分教程都是0.2.0的,有一些地方不能借鉴。
eclipse的hadoop的插件可以从网上下载,或者自己从下载的hadoop包里边编译而来(具体方法搜下即可)。
拿到插件后放到eclipse安装目录下的plugins目录下即可。然后重启eclipse。
用eclipse建立 DFS Locations后,发现不能连接到HDFS。
仔细检查了配置,没有错。
环境是:
虚拟机下的ubuntu 作为hadoop的伪分布式环境,ip 192.168.0.111。
win7下的eclipse 去连接HDFS,各种不能连上。
无奈在ubuntu下安装了eclipse,安装了插件。在创建Hadoop Location时,Map/Reduce Master 和 DFS Master的Host 设为localhost (127.0.0.1也可),成功连上。
然后修改了conf/core-site.xml
将<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
的value配置改为<value>hdfs://192.168.0.111:9000</value>。
然后重启hadoop,win7下的eclipse 可以连接虚拟机下的HDFS。
但是此时虚拟机下的eclipse不能连接HDFS,再次将虚拟机的 Map/Reduce Master 和 DFS Master的Host 设为192.168.0.111,可以连上。
瞬间无语...
平时我认为绑定了localhost 或者127.0.0.1会默认绑定本机的对外ip地址(也就是说本文中的192.168.0.111)。但是hadoop并没有这样做.
不知道是我理解有偏差还是hadoop真的做错了?
=========
处理掉上个问题之后,在虚拟机下的eclipse能成功执行操作hdfs的程序。但是在win7下的运行程序会报org.apache.hadoop.security.AccessControlException
解决方法参见
http://39382728.blog.163.com/blog/static/353600692011101051217731/
分享到:
相关推荐
是windows下eclipse连接hadoop的操作文档,注意系统环境变量一定要配置
NULL 博文链接:https://dacoolbaby.iteye.com/blog/1730321
用于eclipse连接hadoop使用到的插件包,这里有几个版本的,不同的eclipse版本可以使用的插件包不一样,需要注意。
eclipse连接hadoop所需要的hadoop.ddl和eclipse插件和hadoop运行案例
里面的eclipse连接hadoop的插件z哎windows和linux是通用的
Eclipse连接hadoop开发,主要是在windows环境下开发hadoop时的连接配置文档,有详细的配置过程,值得拥有!!
用于windows下eclipse连接hadoop2.2.0的插件以及eclipse版本,亲测可用
hadoop-eclipse-plugin-2.7.3.jar,hadoop.dll,winutils.exe,需要问题关注:https://blog.csdn.net/qq_40374604
包含几个源编译中漏掉的包,servlet-api,commons-io,更新了htrace-core-3.1.0-incubating.jar
Linux和Win下配置eclipse开发hadoop
成功在windows的eclipse连接hadoop 具体步骤如下: 1.使用对应版本的Hadoop jar包 2.错误:winutils.exe not found 解压hadoop-common-2.2.0-bin-master.zip和hadoop_dll2.6.0.7z 。因为是Hadoop2.6环境,所以后者...
Eclipse连接Hadoop集群及WordCount实践-附件资源
Win10的eclipse连接CentOS的Hadoop集群 首先你得现在Windows上安装好eclipse 1.下载eclipse连接hadoop的插件 ,去下载符合你hadoop版本的插件,然后放入eclipse安装目录下的plugins目录下
windows下 eclipse操作hadoop集群 插件
eclipse连接hadoop-2.7.5插件,刚做出来,亲测centos系统完美使用。
eclipse连接hadoop所需的配置文件和jar包。 使用说明: 参考博文:https://www.cnblogs.com/supiaopiao/p/7240308.html Tips: 上面网站中的第六步,打开eclipse的右上角有个田字格,选择Map/Reduce。 可能存在没有...
第6讲:eclipse与Hadoop集群连接