例子为100W 条数据 取出前十个最值(纯本人看完课程后的手写,没有参考网上,结果应该没问题的,也没找到标准答案写法。。)
首先,由于值都是double,默认的排序方式是升序,这里面我们取得是降序,所以自定义hadoop对象,并实现WritableComparable接口,然后覆盖compareTo方法。
class MySuperKey implements WritableComparable<MySuperKey>{
Long mykey;
public MySuperKey(){
}
public MySuperKey(long mykey){
this.mykey=mykey;
}
@Override
public void readFields(DataInput in) throws IOException {
this.mykey=in.readLong();
}
@Override
public void write(DataOutput out) throws IOException {
out.writeLong(this.mykey);
}
@Override
public int hashCode() {
// TODO Auto-generated method stub
return this.mykey.hashCode();
}
@Override
public boolean equals(Object obj) {
if(! (obj instanceof LongWritable)){
return false;
}
LongWritable lvv=(LongWritable)obj;
return (this.mykey==lvv.get());
}
@Override
public int compareTo(MySuperKey o) {
return ((int)(o.mykey-this.mykey));
}
}
由于在map函数中执行后 需要对相同的key值进行分组,但对于自己创建的对象,无法判断是否是相同的,hadoop基础类型是可以的,此时,需要实现RawComparator接口,并覆盖compare方法,并在job执行的时候,加上
job.setGroupingComparatorClass(MyGroupingComparator.class);
下面是自定义的分组对象
class MyGroupingComparator implements RawComparator<MySuperKey>{
@Override
public int compare(MySuperKey o1, MySuperKey o2) {
return (int)(o1.mykey-o2.mykey);
}
@Override
public int compare(byte[] arg0, int arg1, int arg2, byte[] arg3, int arg4,
int arg5) {
return WritableComparator.compareBytes(arg0, arg1, 8, arg3, arg4, 8);
}
}
下面覆盖map和reduce方法
class mysuperMap extends Mapper<LongWritable,Text,MySuperKey,NullWritable>{
protected void map(LongWritable key, Text value, org.apache.hadoop.mapreduce.Mapper<LongWritable,Text,MySuperKey,NullWritable>.Context context) throws IOException ,InterruptedException {
long sdsd=Long.parseLong(value.toString());
MySuperKey my=new MySuperKey(sdsd);
context.write(my,NullWritable.get());
};
}
class mysupderreduace extends Reducer<MySuperKey, NullWritable, LongWritable, NullWritable>{
int i=0;
protected void reduce(MySuperKey key, java.lang.Iterable<NullWritable> value, org.apache.hadoop.mapreduce.Reducer<MySuperKey,NullWritable,LongWritable,NullWritable>.Context arg2) throws IOException ,InterruptedException {
i=i+1;
if(i<11){
arg2.write(new LongWritable(key.mykey), NullWritable.get());
}
};
}
下面写main函数 ,执行job
public static void main(String[] args) throws Exception {
final String INPUT_PATHs = "hdfs://chaoren:9000/seq100w.txt";
final String OUT_PATHs = "hdfs://chaoren:9000/out";
Job job=new Job(new Configuration(),MySuper.class.getSimpleName());
FileInputFormat.setInputPaths(job, INPUT_PATHs);
job.setInputFormatClass(TextInputFormat.class);
job.setMapperClass(mysuperMap.class);
job.setMapOutputKeyClass(MySuperKey.class);
job.setMapOutputValueClass(NullWritable.class);
//1.3 指定分区类
job.setPartitionerClass(HashPartitioner.class);
job.setNumReduceTasks(1);
//指定分组
job.setGroupingComparatorClass(MyGroupingComparator.class);
job.setReducerClass(mysupderreduace.class);
job.setOutputKeyClass(LongWritable.class);
job.setOutputValueClass(NullWritable.class);
FileOutputFormat.setOutputPath(job,new Path(OUT_PATHs));
job.setOutputFormatClass(TextOutputFormat.class);
job.waitForCompletion(true);
}
分享到:
相关推荐
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...
《Hadoop大数据处理》共10章涉及的主题包括大数据处理概论、基于Hadoop的大数据处理框架、MapReduce计算模式、使用HDFS存储大数据、HBase大数据库、大数据的分析处理、Hadoop环境下的数据整合、Hadoop集群的管理与...
第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式...
基于物联网服务平台的海量传感信息Hadoop处理方法和系统设计
Hadoop海量文本处理2
安装hadoop的时候或者使用的时候,会出现hadoop常见问题及解决方法
hadoop_tutorial hadoop入门经典 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。...
本书介绍了Hadoop技术的相关知识,并将理论知识与实际项目相结合。全书共分为三个部分:基础篇、应用篇和总结篇。
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
本书结合丰富的案例来展示如何用hadoop解决特殊问题,它将帮助您: ·使用hadoop分布式文件系统(hdfs)来存储海量数据集, 通过mapreduce对这些数据集运行分布式计算 ·熟悉hadoop的数据和ilo构件,用于压缩...
7./hadoop/etc/slaves这个文件里必须把所有的slaves的主机名写进去。 8.mast的/etc/hosts slave1的/etc/hosts slave2 的/etc/hosts (localhost: 127.0.0.1可以去掉,只写主机名对应的IP地址)如下 1)以下是...
第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大...
Hadoop使用常见问题以及解决方法,简单实用
Hadoop大数据处理实战
Hadoop 架构是一个开源的、基于 Java 的编程框架,设计用于跨电脑集群来 处理大数据。Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台,能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 ...
Hadoop海量文本处理1
Hadoop海量数据处理 Hadoop海量数据处理 Hadoop海量数据处理
1. 本书以大数据处理系统的三大关键要素---“存储”、“计算”、“容错”为起点,深入浅出的介绍了如何使用Hadoop这一高性能分布式技术完成大数据处理任务 2. 本书不仅包含了使用Hadoop进行大数据处理的实践性知识和...