`
sunasheng
  • 浏览: 119193 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

mapreduce中用户自定义数据类型

阅读更多

该博客已经完全转移到http://sunhs.me

 

中并增加更多新的技术内容(hadoop为

 

 

主),欢迎访问!

 

mapreduce中用户自定义数据类型

hadoop内置的数据类型:
BooleanWritable
ByteWritable
DoubleWritable
FloatWritable
IntWritable
LongWritable
Text
NullWritable
自定义数据类型时第一个基本的要求是实现Writable接口,如果该数据要被作为主键key使用的话还必须实现WritableComparable接口

public class Point3D implemants WritableComparable<Point3D>{
	private float x,y,z;
	public float getX(){return x;}
	public float getY(){return y;}
	public float getZ(){return z;}

	public void readFields(DataInput in)throws IOException{
		x = in.readFloat();
		y = in.readFloat();
		z = in.readFloat();
	}
	public void write(DataOutput out)throws IOException{
		out.writeFloat(x);
		out.writeFloat(y);
		out.writeFloat(z);
	}
	public int compareTo(Point3D p){
		//具体实现比较当前的空间坐标点this(x,y,z)与指定的点p(x,y,z)的大小
		//并输出-1(小于),0(等于),1(大于)
	}
}

 

分享到:
评论

相关推荐

    MapReduce模型--自定义数据类型

    通过自定义数据类型,可以使用Hadoop处理单表数据查询以及多表相互关联的应用场景。

    08.mapreduce编程案例--流量统计求和--自定义数据类型.mp4

    08.mapreduce编程案例--流量统计求和--自定义数据类型.mp4

    网站案例分析及Hadoop分布式集群环境(全套视频+课件+代码+讲义+工具)

    03_MapReduce数据类型及自定义数据类型 04_案例:网站基本指标分析(一) 05_案例:网站基本指标分析(二) 06_分布式安装部署:克隆虚拟机及配置网络 07_分布式安装部署:集群基本配置及服务运行规划 08_分布式安装...

    Hadoop大数据实训,求最高温度最低温度实验报告

    (1)统计全球每年的最高气温和最低气温。 (2)MapReduce输出结果包含年份、最高气温、...(4)结合Combiner和自定义数据类型完成全球每年最高气温和最低气温的统计。 (5)应用ToolRunner的使用和Eclipse提交MapReduce任务。

    mapreduce高级特性2

    mr各种应用场景的例子,1.1 内存排序1.2 mr数据类型1.3 自定义mr数据类型1.4 使用自定义数据实现内存排序1.5 二次排序1.6 使用自定义mr数据类型实现二次排序1.7 内存排序找出每一组中的最大值1.8 排序找出每一组中的...

    Hadoop实训求最高温度和最低温度的数据集

    (1)统计全球每年的最高气温和最低气温。 (2)MapReduce输出结果包含年份、最高气温、...(4)结合Combiner和自定义数据类型完成全球每年最高气温和最低气温的统计。 (5)应用ToolRunner的使用和Eclipse提交MapReduce任务。

    Hadoop:Hadoop编程

    您还可以找到如何在Map Reduce中编写自定义数据类型和自定义分区程序。 #trendfinder文件夹:在Trendfinder文件夹中,您将发现如何使用多个Mappers和Reducers。 在这里,我们根据推文的出现来处理推特数据。 #...

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    11.1.4 数据类型 11.1.5 操作符和函数 11.1.6 交互式和非交互式的Pig 11.2 使用Pig 在日志数据中发现恶意行为者 11.2.1 加载数据 技术点67 加载Apache 日志文件 11.2.2 过滤和投影 技术点68 ...

    Hadoop权威指南(中文版)2015上传.rar

    1.5.1 数据类型 1.5.2 操作和函数 1.6 表 1.6.1 托管表(Managed Tables)和外部表(External Tables) 1.6.2 分区(Partitions)和桶(Buckets) 1.6.3 存储格式 1.6.4 导入数据 1.6.5 表的修改 1.6.6 表的丢弃 1.7...

    Hadoop权威指南 第二版(中文版)

     1.5.1 数据类型  1.5.2 操作和函数  1.6 表  1.6.1 托管表(Managed Tables)和外部表(External Tables)  1.6.2 分区(Partitions)和桶(Buckets)  1.6.3 存储格式  1.6.4 导入数据  1.6.5 表的修改  1.6.6 表...

    大数据之运维.pptx

    同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。 大数据之运维全文共12页,当前为第7页。 Hive使用场景 Hive 构建在基于...

    Hadoop实战(第2版)

    10.2.1 序列化和反序列化技术点64 载入日志文件10.2.2 UDF、分区、分桶和压缩技术点65 编写UDF ...数据类型11.1.5 操作符和函数11.1.6 交互式和非交互式的Pig11.2 使用Pig 在日志数据中发现恶意行为者...

    Hadoop-Streaming:Hadoop2.6 MapReduce2 Python3.5的一些经典入门程序:词频统计、好友推荐、PageRank

    Hadoop MapReduce Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架。...2.Mapper的输入数据是KV对的形式(KV的类型可自定义) 3.Mapper的输出数据是KV对的形式(K

    ngrams:NGram Map Reduce 算法

    模块自定义数据类型映射减少程序以计算语料库中的实例简单的 bash 脚本来编译 java 类并创建一个 jar (tgc.jar) 数据类型的一些基本单元测试映射器的 Python 原型用法假设 Hadoop 已正确安装和配置:编译和创建 Jar ...

    16_尚硅谷大数据之MapReduce_Hadoop序列化1

    2.1 序列化概述 2.2 常用数据序列化类型 2.3 自定义 bean 对象实现序列化接口(Writable) 2.4 序列化案例实操

    sif:Sif是在mapreduce范式中进行快速,可预测的通用分布式计算的框架

    自定义数据源 自定义解析器 执照 为什么是Sif? Sif主要是作为Apache Spark的一种更简单的替代品提供的,并牢记以下目标: 可预测性:强调固定宽度的数据和就地操作,使其更容易根据特定作业的计算和内存需求进行...

    Spark自定义累加器的使用实例详解

    累加器(accumulator)是Spark中提供的一种分布式的变量机制,其原理类似于mapreduce,即分布式的改变,然后聚合这些改变。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。 累加器简单使用 Spark...

    Hbase 二级索引方案

    用户自定义的抽取,转换规则来索引 HBase 列数据。Solr 搜索结果会包含用户自定义的 columnfamily:qualifier 字段结果,这样应用程序就可以直接访问 HBase 的列数据。而且 Indexer 索引和搜索不会影响 HBase 运行的...

    大数据视频_Hive视频教程(上)

    在本课程中,你将学习到,Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级调优、以及结合谷粒影音项目需求,把整个Hive的核心知识点贯穿...

Global site tag (gtag.js) - Google Analytics