- 浏览: 2151302 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (682)
- 软件思想 (7)
- Lucene(修真篇) (17)
- Lucene(仙界篇) (20)
- Lucene(神界篇) (11)
- Solr (48)
- Hadoop (77)
- Spark (38)
- Hbase (26)
- Hive (19)
- Pig (25)
- ELK (64)
- Zookeeper (12)
- JAVA (119)
- Linux (59)
- 多线程 (8)
- Nutch (5)
- JAVA EE (21)
- Oracle (7)
- Python (32)
- Xml (5)
- Gson (1)
- Cygwin (1)
- JavaScript (4)
- MySQL (9)
- Lucene/Solr(转) (5)
- 缓存 (2)
- Github/Git (1)
- 开源爬虫 (1)
- Hadoop运维 (7)
- shell命令 (9)
- 生活感悟 (42)
- shell编程 (23)
- Scala (11)
- MongoDB (3)
- docker (2)
- Nodejs (3)
- Neo4j (5)
- storm (3)
- opencv (1)
最新评论
-
qindongliang1922:
粟谷_sugu 写道不太理解“分词字段存储docvalue是没 ...
浅谈Lucene中的DocValues -
粟谷_sugu:
不太理解“分词字段存储docvalue是没有意义的”,这句话, ...
浅谈Lucene中的DocValues -
yin_bp:
高性能elasticsearch ORM开发库使用文档http ...
为什么说Elasticsearch搜索是近实时的? -
hackWang:
请问博主,有用solr做电商的搜索项目?
Solr中Group和Facet的用法 -
章司nana:
遇到的问题同楼上 为什么会返回null
Lucene4.3开发之第八步之渡劫初期(八)
Hadoop2.x之后,已经发布了稳定的版本hadoop2.2.0.但是由于没有eclipse插件工具,辅助,开发调试相对起来,会稍显麻烦,特别是基于Java开发的工程师们,虽然写完MR任务后,也可以采用打成jar包的方式,上传调试,但是这种方式,也有点繁琐,不过网上也好像有一些,使用程序能够自动打包任务的程序,散仙没具体用过,在这里,就不多涉及了,有知道的朋友们,欢迎分享。
下面开始进入正题,散仙来详细介绍下,怎么编译hadoop2.x的eclipse插件,在这里首先,你得具备如下几个条件,Ant工具,hadoop2.2.0的压缩包,eclipse插件的压缩包(散仙在后面已经上传),散仙建议最好在Linux平台下进行编译,Windows可能效果不是太好,出一点小的问题都有可能导致编译失败。
具体的步骤如下:
下面附上几张过程截图:
编译成功后的截图:
jar包生成的位置截图:
至此,我们的生成插件的过程,就讲解完毕了,其实搞起来是非常简单的,这个相比1.x的eclipse插件的编译过程,要简单很多了。
最后,感谢各位道友光临散仙博客!
进这个群, 376932160 讨论下,我当时用的是hadoop2.2,hadoop2.3可能某些地方变了
加我QQ吧,951514291,详聊
搞好了没,有可能是网速原因
还是卡在那,这一步是要下JAR包吗?还是干啥。我是用你的文件+eclipse standard版本+JDK7运行的
搞好了没,有可能是网速原因
下面开始进入正题,散仙来详细介绍下,怎么编译hadoop2.x的eclipse插件,在这里首先,你得具备如下几个条件,Ant工具,hadoop2.2.0的压缩包,eclipse插件的压缩包(散仙在后面已经上传),散仙建议最好在Linux平台下进行编译,Windows可能效果不是太好,出一点小的问题都有可能导致编译失败。
具体的步骤如下:
序号 | 描述 |
1 | 确保你的ant已经安装完成,并输入ant -version测试可以正常工作 |
2 | 进入到eclipse插件包的eclipse-plugin的根目录下,散仙的路径是/root/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin |
3 | 执行命令ant jar -Dversion=2.2.0 -Declipse.home=/root/eclipse -Dhadoop.home=/root/hadoop-2.2.0。注意这两个路径,分别是eclipse的根路径,和hadoop2.2.0的根路径 |
4 | 最终的生成jar的路径在,/root/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin目录下 |
5 | OK,至此已经成功完成,把此插件拷贝eclipse的插件目录下,重新启动eclipse即可。 |
下面附上几张过程截图:
编译成功后的截图:
jar包生成的位置截图:
至此,我们的生成插件的过程,就讲解完毕了,其实搞起来是非常简单的,这个相比1.x的eclipse插件的编译过程,要简单很多了。
最后,感谢各位道友光临散仙博客!
- hadoop2x-eclipse-plugin-master.zip (352.9 KB)
- 下载次数: 611
评论
8 楼
qindongliang1922
2014-08-13
nanjihuoyan 写道
请教博主,我要编译的hadoop-2.3.0,报错信息如下
BUILD FAILED
/home/ubuntu/hadoop2x-eclipse-plugin-master/src/contrib/build-contrib.xml:466: java.net.UnknownHostException: repo2.maven.org
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:178)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
at sun.net.www.http.HttpClient.New(HttpClient.java:308)
at sun.net.www.http.HttpClient.New(HttpClient.java:326)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:996)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:932)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:850)
at org.apache.tools.ant.taskdefs.Get$GetThread.openConnection(Get.java:690)
at org.apache.tools.ant.taskdefs.Get$GetThread.get(Get.java:606)
at org.apache.tools.ant.taskdefs.Get$GetThread.run(Get.java:596)
Total time: 26 seconds
BUILD FAILED
/home/ubuntu/hadoop2x-eclipse-plugin-master/src/contrib/build-contrib.xml:466: java.net.UnknownHostException: repo2.maven.org
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:178)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
at sun.net.www.http.HttpClient.New(HttpClient.java:308)
at sun.net.www.http.HttpClient.New(HttpClient.java:326)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:996)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:932)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:850)
at org.apache.tools.ant.taskdefs.Get$GetThread.openConnection(Get.java:690)
at org.apache.tools.ant.taskdefs.Get$GetThread.get(Get.java:606)
at org.apache.tools.ant.taskdefs.Get$GetThread.run(Get.java:596)
Total time: 26 seconds
进这个群, 376932160 讨论下,我当时用的是hadoop2.2,hadoop2.3可能某些地方变了
7 楼
nanjihuoyan
2014-08-12
请教博主,我要编译的hadoop-2.3.0,报错信息如下
BUILD FAILED
/home/ubuntu/hadoop2x-eclipse-plugin-master/src/contrib/build-contrib.xml:466: java.net.UnknownHostException: repo2.maven.org
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:178)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
at sun.net.www.http.HttpClient.New(HttpClient.java:308)
at sun.net.www.http.HttpClient.New(HttpClient.java:326)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:996)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:932)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:850)
at org.apache.tools.ant.taskdefs.Get$GetThread.openConnection(Get.java:690)
at org.apache.tools.ant.taskdefs.Get$GetThread.get(Get.java:606)
at org.apache.tools.ant.taskdefs.Get$GetThread.run(Get.java:596)
Total time: 26 seconds
BUILD FAILED
/home/ubuntu/hadoop2x-eclipse-plugin-master/src/contrib/build-contrib.xml:466: java.net.UnknownHostException: repo2.maven.org
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:178)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
at sun.net.www.http.HttpClient.New(HttpClient.java:308)
at sun.net.www.http.HttpClient.New(HttpClient.java:326)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:996)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:932)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:850)
at org.apache.tools.ant.taskdefs.Get$GetThread.openConnection(Get.java:690)
at org.apache.tools.ant.taskdefs.Get$GetThread.get(Get.java:606)
at org.apache.tools.ant.taskdefs.Get$GetThread.run(Get.java:596)
Total time: 26 seconds
6 楼
minzhenhua
2014-02-20
compile:
[echo] contrib: eclipse-plugin
[javac] /usr/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:76: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds
[javac] Compiling 45 source files to /usr/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/classes
BUILD FAILED
/usr/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:76: /usr/local/jdk1.6.0_45/plugins does not exist.
总是报错?
[echo] contrib: eclipse-plugin
[javac] /usr/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:76: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds
[javac] Compiling 45 source files to /usr/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/classes
BUILD FAILED
/usr/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/build.xml:76: /usr/local/jdk1.6.0_45/plugins does not exist.
总是报错?
5 楼
qindongliang1922
2013-12-29
傲世凡尘 写道
换了个地方,网上好了,可以编译了。成功,谢谢了找了好久了。
还有一事不明啊,你这个hadoop2x-eclipse-plugin-master.zip (352.9 KB)是怎么来的能指教下吗?我本来也想自己的编译的,但是不知道咋弄
还有一事不明啊,你这个hadoop2x-eclipse-plugin-master.zip (352.9 KB)是怎么来的能指教下吗?我本来也想自己的编译的,但是不知道咋弄
加我QQ吧,951514291,详聊
4 楼
傲世凡尘
2013-12-28
换了个地方,网上好了,可以编译了。成功,谢谢了找了好久了。
还有一事不明啊,你这个hadoop2x-eclipse-plugin-master.zip (352.9 KB)是怎么来的能指教下吗?我本来也想自己的编译的,但是不知道咋弄
还有一事不明啊,你这个hadoop2x-eclipse-plugin-master.zip (352.9 KB)是怎么来的能指教下吗?我本来也想自己的编译的,但是不知道咋弄
3 楼
傲世凡尘
2013-12-28
qindongliang1922 写道
傲世凡尘 写道
我的卡在了[ivy:configure] :: loading settings :: file = /home/hduser/Desktop/hadoop2x-eclipse-plugin-master/ivy/ivysettings.xml
ivy-resolve-common:
求解
ivy-resolve-common:
求解
搞好了没,有可能是网速原因
还是卡在那,这一步是要下JAR包吗?还是干啥。我是用你的文件+eclipse standard版本+JDK7运行的
2 楼
qindongliang1922
2013-12-27
傲世凡尘 写道
我的卡在了[ivy:configure] :: loading settings :: file = /home/hduser/Desktop/hadoop2x-eclipse-plugin-master/ivy/ivysettings.xml
ivy-resolve-common:
求解
ivy-resolve-common:
求解
搞好了没,有可能是网速原因
1 楼
傲世凡尘
2013-12-26
我的卡在了[ivy:configure] :: loading settings :: file = /home/hduser/Desktop/hadoop2x-eclipse-plugin-master/ivy/ivysettings.xml
ivy-resolve-common:
求解
ivy-resolve-common:
求解
发表评论
-
Apache Flink在阿里的使用(译)
2019-02-21 21:18 1060Flink是未来大数据实时 ... -
计算机图形处理的一些知识
2018-04-25 17:46 1195最近在搞opencv来做一些 ... -
如何在kylin中构建一个cube
2017-07-11 19:06 1214前面的文章介绍了Apache Kylin的安装及数据仓 ... -
Apache Kylin的入门安装
2017-06-27 21:27 2113Apache Kylin™是一个开源的分布式分析引擎,提供 ... -
ES-Hadoop插件介绍
2017-04-27 18:07 1951上篇文章,写了使用spark集成es框架,并向es写入数据,虽 ... -
如何在Scala中读取Hadoop集群上的gz压缩文件
2017-04-05 18:51 2094存在Hadoop集群上的文件,大部分都会经过压缩,如果是压缩 ... -
如何收集项目日志统一发送到kafka中?
2017-02-07 19:07 2752上一篇(http://qindongliang.iteye. ... -
Hue+Hive临时目录权限不够解决方案
2016-06-14 10:40 4642安装Hue后,可能会分配多个账户给一些业务部门操作hive,虽 ... -
Hadoop的8088页面失效问题
2016-03-31 11:21 4387前两天重启了测试的hadoop集群,今天访问集群的8088任 ... -
Hadoop+Hbase集群数据迁移问题
2016-03-23 21:00 2483数据迁移或备份是任何 ... -
如何监控你的Hadoop+Hbase集群?
2016-03-21 16:10 4842前言 监控hadoop的框架 ... -
Logstash与Kafka集成
2016-02-24 18:44 11517在ELKK的架构中,各个框架的角色分工如下: Elastic ... -
Kakfa集群搭建
2016-02-23 15:36 2596先来整体熟悉下Kafka的一些概念和架构 (一)什么是Ka ... -
大数据日志收集框架之Flume入门
2016-02-02 14:25 4148Flume是Cloudrea公司开源的一款优秀的日志收集框架 ... -
Apache Tez0.7编译笔记
2016-01-15 16:33 2435目前最新的Tez版本是0.8,但还不是稳定版,所以大家还 ... -
Bug死磕之hue集成的oozie+pig出现资源任务死锁问题
2016-01-14 15:52 3763这两天,打算给现有的 ... -
Hadoop2.7.1和Hbase0.98添加LZO压缩
2016-01-04 17:46 25551,执行命令安装一些依赖组件 yum install -y ... -
Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析
2015-11-11 19:51 3135关于NameNode高可靠需要配置的文件有core-site ... -
设置Hadoop+Hbase集群pid文件存储位置
2015-10-20 13:40 2791有时候,我们对运行几 ... -
Hadoop+Maven项目打包异常
2015-08-11 19:36 1510先简单说下业务:有一个单独的模块,可以在远程下载Hadoop上 ...
相关推荐
hadoop2.2.0 eclipse插件-重新编译过。hadoop用的是hadoop2.2.0版本,eclipse用的是 eclipse-kepler。 插件 eclipse-kepler
hadoop2.2.0 eclipse插件 eclipse-jee-indigo-SR1-win32-x86_64 eclipse indigo版本的eclipse可用。。
自己编译的hadoop-eclipse-plugin-2.2.0.jar插件:hadoop版本hadoop-2.2.0、eclipse版本:Eclipse Standard 4.3.1
hadoop Eclipse插件Linux版本,编译环境hadoop2.2.0
hadoop2.2.0 eclipse indigo 插件,亲测可用 直接放进eclipse的plugins文件夹中,重启eclipse就可用了。
用于windows下eclipse连接hadoop2.2.0的插件以及eclipse版本,亲测可用
hadoop2.2.0下的eclipse插件,已经编译好的,直接可以使用哦。
hadoop 2.2.0 eclipse plugin
hadoop版本2.7.7 Eclipse 版本4.5.1,dfs location插件,自己编译成功,使用有效,将该jar包放到eclipse的plugins目录下
Hadoop 2.2.0版本中在64为linux系统上运行所需要的native库文件。需要时用此native文件夹覆盖Hadoop 2.2.0中native文件夹即可。
hadoop-eclipse插件各版本合集,包括有:2.2.0, 2.4.1, 2.6.0, 2.7.1, 2.7.2, 2.7.3, 2.7.6等。
hadoop-eclipse-plugin-2.2.0插件 windows/linux用的eclpse插件 支持hadoop-2.2.0
hadoop2.9.2 eclipse插件,里面有说明。1、使用hadoop-eclipse-plugin-2.9.2.jar该eclipse插件,可以访问远程的hdfs 2、使用hadoop-eclipse-plugin-2.9.2-local.jar,访问本地的文件系统 3、wintuils_hadoop.zip本地...
Hadoop 2.2.0 配置文件 在4台CentOs 6.4版本下运行成功
自己配了一遍hadoop2.2.0,写给新手,绝对详细,后面还有一个配好了的测试文档,在我的资源里找
本文档主要详细介绍了Hadoop 2.2.0版本的编译安装过程。
Hadoop官网上下载的hadoop-2.2.0安装包是32位的,直接运行在64位的linux系统上会有问题,所以需要自己将hadoop-2.2.0安装包编译为64位。
hadoop 2.6.0 eclipse 插件 测试可用
hadoop-eclipse-plugin-2.2.0.jar hadoop安装eclipse必备插件,亲测可用,欢迎大家下载,交换下载币,谢谢!
hadoop2.7.1的eclipse插件,编译环境,eclipse 4.4(luna) ,jdk1.7,ant1.9.6,maven3.3,hadoop2.7.1,centos6.7,jdk1.7 要注意的是开发黄金下jdk版本必须是jdk1.7及以上,否则无法使用