`
lookqlp
  • 浏览: 341759 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

HBase数据查询之常规查询

阅读更多
简述

订单常规查询用到的字段可能有:店铺id、订单创建时间(不变量)、订单id、订单状态等等。

如下设计适用场景:a.dp_id+created段查询(+状态或者其他filter条件)

                            b.tid查询

表设计

分两张表:

1.用于常规查询表,rowkey:dp_id+created+tid   cf:status:value  cf:buyer_nick:value...。查询条件的必须输入项有:created开始时间和结束时间。可有可无项:cf(列簇)中的字段,用于filter过滤。该表属于长表,字段数不多,占存储不大。

   当dp_id不均衡时,可使用hash(dp_id)%regions的方法解决rowkey:hash(dp_id)%regions+dp_id+created+tid。

   建议输入的created时间段不要跨度太大,防止hbase scan的数据太多而影响查询效率。

2.订单详情表,rowkey:tid反转  cf:data:...。反转的目的是均衡region。



其他

建议使用spring for hadoop框架,该框架管理了hbase client资源,很多操作可以省略。参见http://projects.spring.io/spring-hadoop/Spring for Apache Hadoop
分享到:
评论

相关推荐

    Hbase_v1.0.1.1API (CHM 格式)

    就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非...

    Hbase v1.1.5_API CHM格式

    就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非...

    HBase_0.94.5_API (CHM格式)

    就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非...

    延云YDB安装与使用说明书

    常规查询毫秒级响应 常规统计秒级响应。 4. 实时搜索 长文本字段可以根据关键词进行全文检索模糊匹配,并且有较高的性能。 5. 多维钻取 支持上万个维度,任意组合查询,任意维度组合过滤、分组,统计、排序。 6. ...

    延云YDB-运行程序v1.0.1

    常规查询毫秒级响应 常规统计秒级响应。 4. 实时搜索 长文本字段可以根据关键词进行全文检索模糊匹配,并且有较高的性能。 5. 多维钻取 支持上万个维度,任意组合查询,任意维度组合过滤、分组,统计、排序。 6. ...

    延云YDB安装与使用说明书v0.21.

    查询快-高性能 常规查询毫秒级响应 常规统计秒级响应。 4. 实时搜索 长文本字段可以根据关键词进行全文检索模糊匹配,并且有较高的性能。 5. 多维钻取 支持上万个维度,任意组合查询,任意维度组合过滤、分组,统计...

    【旅游大数据分析平台展示方案】-大数据展示方案.doc

    它具有强大的数据读取能力,可支持各类数据 库的数据读取,包括:MySQL、Hive、Hbase、oracle等。丰富的数据处理方式,可以通 过拖拉拽的方式实现数据的预处理,而无需精通数据库语言。提供图形化的数据探索方 式,...

    大数据的基础知识.pdf

    ⼤数据的基础知识 1、⼤数据的基础知识 ⼤数据的概念 ⼤数据(big data),IT⾏业术语,是指⽆法在⼀定时间范围内⽤常规软件⼯具进⾏捕捉、管理和处理的数据集合,是需要新处理模式才能 具有更强的决策⼒、洞察发现...

    大数据发展历史.pdf

    4、⼤数据的概念 、⼤数据的概念 概念:难以⽤常规的数据库⼯具获取、存储、管理、分析的数据集合。 特征: 1、数据量⼤:起始单位是PB级的。 1KB=1024B 1MB=1024KB 1GB=1024MB 1TB=1024GB 1PB=1024TB 1EB=1024PB 1...

    大数据资料(Hadoop、spark,hbase、hive、hue等)

    大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    大数据驱动的医学科学研究

    1、大数据(Big Data)——是指无法在一定 时间范围内用常规软件工具进行采集、管理和处理的 数据集合,是需要新处理模式才能具有更强决策力、 洞察力和优化能力的海量、多样化的信息资产。 大数据是指不用随机分析...

    BI与大数据区别.docx

    理等技术解决海量的结构化、非结构化数据的ETL问题,用Hadoop、MPP等技术计算海量数据的计算问题,用redis、HBASE等方式解决高效读的问题,用Impala等技术实现在线分析等问题。因此是个全新的行业。 BI与大数据区别...

    分布式协调工具-ZooKeeper实现动态负载均衡

    1、层次化的目录结构,命名符合常规文件系统规范(类似文件系统)    2、每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识  3、节点Znode可以包含数据和子节点(但是EPHEMERAL类型的节点不能...

    bigtable:附带的TypeScript Bigtable Client

    使用Bigtable时,我们几乎总是想包装API来增加一些便利,并实现一种更高效地获取TTL(按单元为基础)以及元数据信息(例如简单计数)的方法。 该客户端自动管理您通过它管理的每个表的metadata表和ttl jobs 。 此外...

Global site tag (gtag.js) - Google Analytics