关于预分区:
http://www.csdn123.com/html/topnews201408/3/2603.htm 建议看看
1. 1.设置合理的memstore大小
数据写入到WAL和memstore中。
memstore中的数据flush到HDFS中。
数据存放在内存中,一般存放在jvm中的新生代、老生代区域。
memstore一般设置大小为128MB。
设置合理的memstore的值,可以提高数据装载到HBase中的速度。
2.对列簇启用压缩
比如GZIP、LZO、Zippy、Snappy 看下面表 默认下COMPRESSION => 'NONE' 都是非压缩方式
压缩的好处就是 在 hbase ----> hdfs IO操作时候 速度回更快
hbase(main):007:0> describe 'stu' Table stu is ENABLED COLUMN FAMILIES DESCRIPTION {NAME => 'base', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATIO N_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'} {NAME => 'more', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATIO N_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}
3.对region进行预拆分 一定程度实现负载均衡
在hbase执行如下命令,创建表aaa 列簇 cf 使用 HexStringSplitter 方式切分region,切分为10分region
这样数据在入到hbase的时候,就会均衡存储
bin/hbase org.apache.hadoop.hbase.util.RegionSplitter -c 10 aaa -f cf HexStringSplitter
4.当数据进行匀速的批量装载的时候,当region达到指定的阈值时,就会进行分裂,形成分裂风暴。
在分裂风暴下是不能对外提供访问服务,因此需要人工手工分裂。
相关推荐
Hbase 性能 优化,Hbase 数据查询 插入参考
里面是Hbase相关参数的优化
本文档主要对hbase的优化进行了总结,对项目中使用hbase的调优具有一定的指导意义
hbase优化基础入门,便于初学者及高级程序员快速学习hbase优化
HBase优化思维导图,便捷整理思路,protobuffer、书写.proto文件、编译 .proto 文件、MapReduce整合、HBase优化设计:1、表设计、2、写表操作、3、读表操作
HBase写性能优化策略HBase写性能优化策略HBase写性能优化策略
Hbase性能优化百科全书(csdn)————程序
卢亿雷-HBase应用与优化分析.pdf 卢亿雷-HBase应用与优化分析.pdf
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。1. 表的设计2. 写表操作3. 读表操作4. 数据计算
HBase最佳实践-读性能优化策略,HBase最佳实践-读性能优化策略
Hbase有着先天的优势和先天的劣势,而劣势就是其较差的数据定位能力,也就是数据查询能力。因为面向列的特点,Hbase只能单单地以rowkey为主键作查询,而无法对表进行多维查询和join操作,并且查询通常都是全表扫描,耗费...
HBase优化参数及优化方式汇总。 详细的描述了进行HBase性能优化的各种手段和涉及的参数
——HBase性能优化 1、从配置角度优化 1.1 修改Linux配置 Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个HBase不可运行,你...
网易视频云技术分享_HBase优化实战.pdf
在hbtc2012上的发言,介绍hbase coprocessor的优化。hbase的cp是其自带的分布式并行计算框架。
HBase性能调,从架构方面的调优。
Cloudera-HBase最佳实践及优化.zip Cloudera 对 HBase最佳实践及优化介绍,权威出品,值得信赖。
本文档详细的描述了HBASE数据库优化思路及其一些配置优化,有详细的例子去演示如何优化
NULL 博文链接:https://aperise.iteye.com/blog/2282670