- 浏览: 470480 次
- 性别:
- 来自: 西安
文章分类
最新评论
-
752258:
...
Java文件操作(FIle类) [转] -
darrendu:
帮我解决了问题
启动出了问题:unexpected inconsistency;RUN fsck MANUALLY -
_lostman:
怎么反着来?
如果我现有一个第三方的库,如何在JAVA中调用? ...
java中JNI调用c++的dll -
caoruntao:
brother涛,你太牛了。博客访问量竟然有6W多。不得了呀
java clone -
passlicense:
好文章!顶~
unicode和ISO 8859-1
一、环境说明
linux:redhat enterprise linux 5
hadoop:0.20.2
eclipse:3.4.2
jdk:1.6.21
ant:1.8.2
二、安装hadoop伪分布式
三、安装eclipse
把eclipse-SDK-3.4.2-linux-gtk.tar.gz解压到/home/hadoop/eclipse3.4.2
四、安装ant 1.8.2
1、把apache-ant-1.8.2-bin.tar.gz解压到/usr/apache-ant-1.8.2
2、设置/etc/profile:
export ANT_HOME=/usr/apache-ant-1.8.2
export PATH=$PATH:$ANT_HOME/bin
五、生成hadoop eclipse plugin
1、修改/usr/local/hadoop/hadoop-0.20.2/build.xml:
修改 <property name="version" value="0.20.2"/>
2、修改/usr/local/hadoop/hadoop-0.20.2/src/contrib/build-contrib.xml:
添加 <property name="eclipse.home" location="/home/hadoop/eclipse3.4.2"/>
3、修改 /usr/local/hadoop/hadoop-0.20.2/src/contrib/eclipse-plugin/src/java/org/apache/hadoop/eclipse/launch/HadoopApplicationLaunchShortcut.java
注释掉原来的//import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;
改为import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;
4、下载jdk-1_5_0_22-linux-i586.bin,安装到/home/hadoop/jdk1.5.0_22,不用设置环境变量。
5、下载apache-forrest-0.8.tar.gz,解压到/home/hadoop/apache-forrest-0.8。
6、编译并打包
$ cd /usr/local/haoop/hdoop-0.20.2
$ ant compile
$ ln -sf /usr/local/hadoop/hadoop-0.20.2/docs /usr/local/hadoop/hadoop-0.20.2/build/docs
$ ant package
如果成功的话,会在/usr/local/hadoop/hadoop-0.20.2/build/contrib/eclipse-plugin
下生成hadoop-0.20.2-eclipse-plugin.jar。
六、设置eclipse
1、把hadoop-0.20.2-eclipse-plugin.jar复制到/home/hadoop/eclipse3.4.2/plugins下。
2、打开eclipse。
3、在eclipse中设置Window->Open Perspective->Other->Map/Reduce
4、新建project
File->New->Project->Map/Reduce Project
输入Project name:icas
Configure Hadoop install directory...
右键icas->properties
mapper类
package Sample; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class mapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } }
reducer类
package Sample; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class reducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } }
mapreduce driver类
package Sample; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args) .getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(mapper.class); job.setCombinerClass(reducer.class); job.setReducerClass(reducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
Run As—>Run Configurations->Arguments中输入:/user/hadoop/input/f1 /user/hadoop/output
Run As—>Java Application
Run As—>Run on Hadoop
结果:
发表评论
-
FQDN
2011-06-07 15:28 755全域名(FQDN,Fully Qualified Domain ... -
Nagle's Algorithm
2011-06-07 14:51 978Nagle算法是以他的发明人John Nagle的名字命名的, ... -
运行Hadoop权威指南中的例子:3.5.3:FileCopyWithProgress
2011-04-10 17:46 16151、编写代码: package crt.hadoop.tes ... -
运行Hadoop权威指南中的例子:3.5.2:FileSystemCat
2011-04-10 16:35 18991、编写代码: package crt.hadoop.tes ... -
运行Hadoop权威指南中的例子:3.5.1:URLCat
2011-04-10 15:50 34371、编写代码: package crt.hadoop.tes ... -
在Hadoop平台上运行程序时,导入第三方类库的方法
2011-04-10 14:01 2278【转】http://yixiaohuamax.iteye.co ... -
xen
2011-04-07 15:35 1019Xen 是一个开放源代码虚拟机监视器,由剑桥大学开发。它打算在 ... -
KB,MB,GB,TB,PB,EB,ZB,YB
2011-03-31 09:29 1150KB ,2 的 10 次方 : 1024 BYTE.MB ... -
JMX
2011-03-30 22:13 1371Java管理扩展(也叫做JMX规范)在Java编程语言中定义了 ... -
AspectJ
2011-03-30 19:08 1060AspectJ是一个面向切面的框架,它扩展了Java语言。As ... -
AOP
2011-03-30 19:07 1120面向切面编程(也叫面向方面):Aspect Oriented ... -
LDAP
2011-03-30 16:15 1903LDAP简介 简单说 ... -
wget和curl
2011-03-30 16:14 991wget是一个从网络上自动下载文件的自由工具,支持通过HTTP ... -
https和ssl
2011-03-30 16:00 1355HTTPS(全称:Hypertext Transfer Pro ... -
sftp
2011-03-30 15:50 1378sftp是Secure File Transfer Proto ... -
SASL
2011-03-29 17:19 1022SASL全称Simple Authentication and ... -
Ganglia
2011-03-29 17:18 1049Ganglia Ganglia是UC Berkeley发 ... -
Bloom Filter
2011-03-28 19:23 875转:http://blog.csdn.net/jiaomeng ... -
谷歌技术“三宝”之一的Google文件系统和Kosmos 文件系统
2011-03-28 17:09 1851转:http://www.cppblog.com/jack-w ... -
Avro
2011-03-28 17:07 1765Avro是一个数据序列化的系统,它可以提供: 1 丰富 ...
相关推荐
window下eclipse中运行mapreduce程序所需要的Hadoop全部jar包
该文档的目录如下: 1.1实验目的 1.2实验环境 V 1.3实验步骤 1.3.1安装eclipse 1.3.2安装Hadoop- Eclipse Plugin ...1.3.5在Eclipse 中创建MapReduce项目 附:查看HDFS文件系统数据的三种方法
使用eclipse不能直接運行mapreduce的代碼,安裝此插件可運行mr框架的代碼
介绍使用mapreduce tools for Eclipse 插件在Eclipse下开发部署Hadoop应用程序的文档
本人亲手操作搭建Hadoop集群成功,并通过Eclipse进行MapReduce程序的开发,步骤详细完整,在相关过程中配有完整代码和解释,全程无误,只需复制粘贴即可,小白新手按步骤一步一步来也能搭建Hadoop集群成功并进行...
最近学习hadoop,发现Hadoop不提供编译后的hadoop-eclipse插件,于是就自己动手编译了hadoop-eclipse-plugin-1.1.0.rar插件 Hadoop1.1.0是beta版本,有兴趣的朋友可以下载装装,感受下MapReduce编程框架
2. 在 Hadoop 集群主节点上搭建 MapReduce 开发环境 Eclipse。 3. 查看 Hadoop 自带的 MR-App 单词计数源代码 WordCount.java,在 Eclipse 项目 MapReduceExample 下建立新包 com.xijing.mapreduce,模仿内置的 ...
插件: hadoop-0.20.1-eclipse-plugin,hadoop-eclipse-plugin-1.0.0这两个插件,需要的可以下载。
适用用hadoop2 ,eclipse 集成插件。!可用在eclipse 开发hadoop程序
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
hadoop eclipse mapreduce 下开发所有需要用到的 JAR 包。 hadoop eclipse 下进行mapreduce开发所有需要用到的JAR包 mapreduce
} } }}(2)将Hadoop配置文件添加到“WordCount” MapReduce项目将log4j.properties 复制到 WordCount 项目
eclipse运行MapReduce架包~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
hadoop eclipse 下进行mapreduce开发所有需要用到的JAR包
Windows下Eclispe远程开发Mapreduce程序
连接hadoop的文件系统,HDFS
本文将详细介绍如何在Eclipse中配置Hadoop插件,包括安装插件、配置MapReduce环境、使用Eclipse对HDFS内容进行修改、创建MapReduce工程、在Eclipse中运行WordCount程序等步骤。 一、安装插件 要在Eclipse中配置...
Hadoop学习过程中的记录笔记:如何在Eclipse下写第一个MapReduce程序