MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算
通俗的说就是将一个大任务分成多个小任务并行完成,然后合并小任务的结果,得到最终结果。
1)打包注意:
一定要选择一个MAIN,不然不会运行。
2)
3)输出目录是HADOOP自己创建的。如果有这个目录,一定要删除。如下:
4)测试命令:
java -jar WordCount.jar hdfs://station1:9000/input/ hdfs://station1:9000/out
5)核心代码如下:
import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { /** * @param args * @throws Exception */ public static void main(String[] args) throws Exception { Job job = new Job(); job.setJarByClass(WordCount.class); job.setJobName("WordCount"); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.setMapperClass(Map.class); job.setReducerClass(MyReduce.class); job.setOutputKeyClass(Text .class); job.setOutputValueClass(IntWritable.class); System.exit(job.waitForCompletion(true) ? 0 : 1);// JOB运行完程序才退出 }
/** * LongWritable, IntWritable, Text 均是 Hadoop 中实现的用于封装 Java * 数据类型的类,这些类实现了WritableComparable接口, * 都能够被串行化从而便于在分布式环境中进行数据交换,你可以将它们分别视为long,int,String 的替代品 */ public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text();; /** * Mapper接口中的map方法: void map(K1 key, V1 value, OutputCollector<K2,V2> * output, Reporter reporter) 映射一个单个的输入k/v对到一个中间的k/v对 * 输出对不需要和输入对是相同的类型,输入对可以映射到0个或多个输出对。 * OutputCollector接口:收集Mapper和Reducer输出的<k,v>对。 * OutputCollector接口的collect(k, v)方法:增加一个(k,v)对到output * * * lwWritable 每行的行号 vlaue 每行的内容 * * * */ public void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException { String line = value.toString().toLowerCase(); // 全部转为小写字母 StringTokenizer tokenizer = new StringTokenizer(line); // StringTokenizer tokenizer = new StringTokenizer(line); // StringTokenizer是一个用来分隔String的应用类,相当于VB的split函数。 while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); // 输出这个单词 context.write(word, one); // 这个单词出现了一次 } }; } public static class MyReduce extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); }; } }
6)效果:
与原来的统计结果一样。没有任何问题
[hadoop@station1 bin]$ grep the stop-all.sh |wc
10 107 639
相关推荐
阿里云E-MapReduce-快速入门.pdf
阿里云E-MapReduce-快速入门-D.docx
云帆大数据--hadoop-1.2.1 PPT--04 MapReduce入门编程、框架原理、
Hadoop-MapReduce,入门篇
高级软件人才培训专家_Hadoop课程资料_3-第三章 - MapReduce & YARN入门
Hadoop-0.20.0-HDFS+MapReduce+Hive+HBase十分钟快速入门
Hadoop及Mapreduce入门,简单易懂,让你快速进入hadoop的世界
入门 这个插件需要 Grunt >=0.4.0 如果您以前没有使用过 ,请务必查看指南,因为它解释了如何创建以及安装和使用 Grunt 插件。 熟悉该过程后,您可以使用以下命令安装此插件: npm install grunt-json-mapreduce -...
整理了MapRduce的几个入门案例,提供源数据 案例分为: 1、统计单词的个数 2、设置分区 3、统计json数据 4、统计并排序 5、mapReducer找朋友的使用
6.1 一种并行编程模型-MapReduce-之一 6.2 一种并行编程模型-MapReduce-之二 6.3 一种并行编程模型-MapReduce-之三 6.4 一种并行编程模型-MapReduce-之四 6.5 ApacheSpark之一 6.6 ApacheSpark之二 6.7 ApacheSpark...
Google MapReduce,Google分布式计算文献中文翻译版,学习大数据必备入门资料
hadoop hive 数据仓库 入门 hive是一个基于hadoop的数据仓库。使用hadoop-hdfs作为数据存储层;提供类似SQL的语言(HQL),通过hadoop-mapreduce完成数据计算;通过HQL语言提供使用者部分传统RDBMS一样的表格查询...
hadoop 第三版-权威指南-从入门到精通-中文pdf版本。介绍hadoop分布式文件系统,MapReduce的工作原理,并手把手教你如何构建hadoop集群,同时附带介绍了pig,hive,hbase,zookeeper,sqoop等hadoop家族的开源软件。
Hadoop MapReduce 入门
1.什么是mapreduce 2.编写mapreduce典型demo 3.理解mapreduce核心思想 4.熟练编写mapreduce典型demo
本文作为Hadoop MapReduce的入门篇,首先对MapReduce原理进行简单介绍,然后以一个简单的例子说明如何编写一个简单的MapReuce程序。
MapReduce 大数据 入门 学习
大数据云计算技术 优酷网Hadoop及Mapreduce入门教程(共35页).rar
1.2 MapReduce 优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce 核心思想
《hadoop-HDFS+MapReduce+Hive+Hbase快速入门》,一门入门hadoop的经典书籍,相信能够给学习云计算的大家带来帮助。