第一步:eclipse的配置
在浏览器输入网址:http://www.eclipse.org/downloads/
由于我用的是mac os 64位的,所以我下载了Mac OS X 64 Bit
将hadoop的插件hadoop-eclipse-plugin-1.0.3.jar(可在附件中下载)放置到eclipse\plugins目录下,重新启动eclipse。
第二步:建立Hadoop Location
在Windows->Open Perspective中,选择Other,在弹出框中选择Map/Reduce,点击OK。进入Map/Reduce视图,如下图:
如上图,点击红色框中的添加,新建一个Location,如下图:
点击Finish,完成后,在左边的Project Explore视图中,即可看到已经建立后的目录结构。如下图:
如上图,可以在hadoop-zhangosufei上,通过右键,新建目录和上传、下载文件。
第三步:创建hadoop project
新建一个Map/Reduce的项目,步骤如下:
点击next
如上图,配置完hadoop路径后,点击ok,点击Finish。
第四步:测试单词统计的例子
1、在hadoop-zhangosufei目录上右键,新建两个子目录,分别是input01和output01,如下图:
2、在本地新建文本文件file01,内容为:Hello World Bye World
新建文本文件file02,内容为:Hello Hadoop Goodbye Hadoop
在input01目录上,右键,上传file01和file02到dfs,如下图:
3、从路径hadoop-1.0.3/src/examples/org/apache/hadoop/examples下拷贝WordCount.java文件,到HelloHadoop的src下。
在WordCount.java文件上,右键选择Run As->Run Configurations,在弹出的窗口中,进行参数配置,如下图:
如上图,在Java Application目录上右键,选择New,弹出窗口如下:
在弹出的窗口中,Name输入WordCount
在Arguments标签中输入以下信息:
hdfs://localhost:9000/tmp/hadoop-zhangosufei/input01 hdfs://localhost:9000/tmp/hadoop-zhangosufei/output01
点击Run,待运行结束后,点击Project Explore中的output01,双击打开_SUCCESS文件,即可看到统计结果。
- 大小: 23.9 KB
- 大小: 88.1 KB
- 大小: 70.2 KB
- 大小: 24 KB
- 大小: 60.2 KB
- 大小: 125.6 KB
- 大小: 38.8 KB
- 大小: 115.9 KB
- 大小: 114.1 KB
分享到:
相关推荐
必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包版本都不同,需要一个个调整 - `hadoop2x-eclipse-plugin-master/ivy/library.properties` - `hadoop2x-eclipse-plugin-...
hadoop-eclipse-plugin-3.1.3,eclipse版本为eclipse-jee-2020-03
hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1
eclipse-hadoop3x-master如题eclipse-hadoop3x-master,eclipse-hadoop3x-master,eclipse-hadoop3x-master
hadoop-eclipse-plugin-3.1.1, hadoop eclipse 插件 3.1.1
hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包
hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jarhadoop-eclipse-plugin-0.20.3-SNAPSHOT.jarhadoop-eclipse-plugin-0.20.3-SNAPSHOT.jarhadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
hadoop-eclipse-plugin-2.7.4.jar和hadoop-eclipse-plugin-2.7.3.jar还有hadoop-eclipse-plugin-2.6.0.jar的插件都在这打包了,都可以用。
用Windows下的Eclipse远程连接Hadoop的插件,适用于64位操作系统,hadoop2.6.0版本
用来配置myeclipse或eclipse对应的hadoop 插件,方便开发
最新的hadoop-eclipse-plugin-2.7.4.jar 很好用的hadoop的eclipse插件。自己编译的。 经过测试,使用没有任何问题。 请各位放心使用
eclipse hadoop插件 ,基于hadoop2.8.2,亲测可用,不想用分下载的可以直接到这位大大的地盘去下载编译:https://github.com/jiaoyilun/hadoop2x-eclipse-plugin
在eclipse中搭建hadoop环境,需要安装hadoop-eclipse-pulgin的插件,根据hadoop的版本对应jar包的版本,此为hadoop3.1.2版本的插件。
找不到与hadoop-2.9.2版本对应的插件,手动生成的hadoop-eclipse-plugin-2.9.2版本,
eclipse hadoop 环境插件,hadoop-eclipse-plugin-2.8.0
该文档是hadoop-eclipse-plugin-2.7.6的下载地址及提取码
hadoop-eclipse-plugin-...将插件hadoop-eclipse-plugin-2.6.0.jar,从/data/hadoop3目录下,拷贝到/apps/eclipse/plugins的插件目录下。 cp /data/hadoop3/hadoop-eclipse-plugin-2.6.0.jar /apps/eclipse/plugins/
网上没找到2.8.1的版本,自己编译,经测试可用。
将此jar包拷贝到eclipse的plugins目录下,然后重启Eclipse,即可在eclipse中查看那到hadoop选择项. 将此jar包拷贝到eclipse的plugins目录下,然后重启Eclipse,即可在eclipse中查看那到hadoop选择项
hadoop-eclipse-plugin-2.7.2.rar