`
乡里伢崽
  • 浏览: 108800 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

hbase 自定义filter

阅读更多
base自带的filter已经很多了,按照RK,CF,CQ过滤的都有

我最常用的PrefixFilter,按照rk前缀

RowFilter,按照rk比较

ColumnPrefixFilter,按照cq前缀

QualifierFilter,按照cq比较



hbase还有一堆WritableByteArrayComparable,可以满足各种比较

比如RegexStringComparator可以使用正则



但是在实际业务中,因为需求对数据要求是多样,对维度的,且数据是冗余,残缺,不可靠,不能枚举的。

所以自定义的Filter还是有用的,而且选择正确的方法继承,查询效率也可以很高



自定义filter继承的接口Filter,或是FilterBase

以下是重写的方法:
filterRowKey根据RK决定行是否被过滤,ex Profix

filterKeyValue根据KV决定行或列(ReturnCode)是否被过滤,

ex ColumnProfix ColumnCompare

filterRow(keyvalues)根据制定列值决定行是否过滤,

ex DependentColumnFilter

filterRow在之前Filter结束后,进行过滤,ex PageFilter

reset当一行读完,为了读下一行,清空当前行数据

filterAllRemainning当返回true,停止scan



为了提高自定义filter的执行效率,需要知道过滤器的执行流程图
  • 大小: 104.2 KB
分享到:
评论

相关推荐

    hbase自定义Comparator进行数值比较

    hbase 自带的Comparator只能进行字符串的比较,不能进行数值比较,通过自定义代码实现该功能。 具体使用请参考 http://blog.csdn.net/mtj66/article/details/52574739

    hbase自定义数值型比较器

    hbase自定义数值型比较器,使用maven生成jar使用jar包;或者直接将生成的两个类复制到你的工程下用。

    hbasesink 自定义序列化类

    hbasesink 自定义序列化类 ,可实现自定义rowkey及去除字段两边索引,具体请看下代码。 hbasesink 自定义序列化类 ,可实现自定义rowkey及去除字段两边索引,具体请看下代码。

    spring-boot-starter-hbase自定义的spring-boot的hbasestarter

    自定义的spring-boot的hbase starter,为hbase的query和更新等操作提供简易的api并集成spring-boot的auto configuration

    hbase shell常用命令汇总

    总结常用的hbase shell操作命令。

    HbaseTemplate 操作hbase

    java 利用 sping-data-hadoop HbaseTemplate 操作hbase find get execute 等方法 可以直接运行

    pinpoint的hbase初始化脚本hbase-create.hbase

    搭建pinpoint需要的hbase初始化脚本hbase-create.hbase

    hbase-2.3.5单机一键部署工具

    说明:使用外部zookeeper3.4.13之hbase2.3.5一键部署工具,支持部署、启动、停止、清除、连接,支持自定义服务端口,数据存储目录等功能,已在生产环境使用。 Options: deploy.sh build single 构建并启动一个hbase...

    HBase数据库设计.doc

    1. HBase有哪些基本的特征? 1 HBase特征: 1 2. HBase相对于关系数据库能解决的问题是什么? 2 HBase与关系数据的区别? 2 HBase与RDBMS的区别? 2 3. HBase的数据模式是怎么样的?即有哪些元素?如何存储?等 3 1...

    HBase(hbase-2.4.9-bin.tar.gz)

    HBase(hbase-2.4.9-bin.tar.gz)是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System...

    HBase轻量级中间件simplehbase.zip

     hbase query封装:封装了hbase的filter,可以使用sql-like的方式操作hbase。  动态query封装:类似于myibatis,可以使用xml配置动态语句查询hbase。    insert,update支持: 建立在hbase的checkAndPut之上。  ...

    基于spring boot 的spring-boot-starter-hbase自动注解实现

    基于spring boot 的spring-boot-starter-hbase自动注解实现,HbaseTemplate的直接使用

    hbase orm simplehbase v1.0

    hbase query封装:封装了hbase的filter,可以使用sql-like的方式操作hbase。 动态query封装:类似于myibatis,可以使用xml配置动态语句查询hbase。 insert,update支持: 建立在hbase的checkAndPut之上。 hbase多版本...

    hbase-sdk是基于hbase-client和hbase-thrift的原生API封装的一款轻量级的HBase ORM框架

    hbase-sdk是基于hbase-client和hbase-thrift的原生API封装的一款轻量级的HBase ORM框架。 针对HBase各版本API(1.x~2.x)间的差异,在其上剥离出了一层统一的抽象。并提供了以类SQL的方式来读写HBase表中的数据。对...

    HBase学习利器:HBase实战

    HBase开发实战,HBase学习利器:HBase实战

    HBase视频教程下载|基于微博数据应用的HBase实战开发

    课时8:过滤器实战之专用过滤器与FilterList 课时9:过滤器实战之自定义过滤器 课时10:Observer协处理器实战之Master级别原理剖析 课时11:Observer协处理器实战之Region级别原理剖析 课时12:Observer协处理器...

    Hbase资源整理集合

    HBase 官方文档.pdf HBase的操作和编程.pdf HBase Cpressr优化与实验 郭磊涛.pdf null【HBase】Data Migratin frm Gri t Clu Cmputing - Natural Sienes .pdf 分布式数据库HBase快照的设计与实现.pdf 【HBase】...

    java大数据作业_3HBase

    1. 请用java集合的代码描述HBase的表结构 2. 请简述HBase中数据写入最后导致Region分裂的全过程 3. 如果设计一个笔记的表,表中要求有笔记的属性和笔记的内容,怎么做 4. HBase部署时如何指定多个zookeeper 5. HBase...

    HBase开启审计日志

    HBase开启审计日志

    面向HBase的大规模数据加载研究

    基于Hadoop分布式平台搭建HBase环境,并优化自定义数据加载算法.首先,分析HBase底层数据存储,实验得出HBase自带数据加载方式在效率和灵活性方面存在不足;进而,提出了自定义并行数据加载算法,并针对集群进行优化.实验...

Global site tag (gtag.js) - Google Analytics