HBase compaction come in two varieties: minor and major.
for the minor:
将最新的几个小文件合成一个大文件。
何时合并行为发生?
当文件满足下面所有条件时,合并行为将发生:
1> 参与合并的文件个数 >= hbase.hstore.compaction.min (default is 3), 但最多不超过hbase.hstore.compaction.max(default is 10)
2> 参与合并的文件需满足的条件:
文件大小 < hbase.hstore.compaction.max.size (default is Long.MAX_VALUE)
且,文件大小 < 所有创建日期比该文件大(新)的文件大小之和*1.2
文件大小 < hbase.hstore.compactoin.min.size(memstore flush size)
3> 文件选择的优先级
优先考虑老文件。
for the major:
将所有文件合并
Which compaction type is run is automatically determined when the compaction
check is executed。 The check is triggered either after a memstore has been flushed to
disk, after the compact or major_compact shell commands or corresponding API calls
have been invoked, or by a background thread.
相关推荐
将HBase作为研究对象,分析其存储架构,针对HBase存储机制进行深入研究
│ Day15[Hbase 基本使用及存储设计].pdf │ ├─02_视频 │ Day1501_Hbase的介绍及其发展.mp4 │ Day1502_Hbase中的特殊概念.mp4 │ Day1503_Hbase与MYSQL的存储比较.mp4 │ Day1504_Hbase部署环境准备.mp4 │ Day...
Cloudera-HBase最佳实践及优化.zip Cloudera 对 HBase最佳实践及优化介绍,权威出品,值得信赖。
HBase原理及实例
藏经阁-HBase In-Memory Compaction.pdf
课后作业 1. 请用java集合的代码描述...6. HBase shell如何写过滤条件 7. 如何删除HBase中的表 8. 简述HBase的表操作对象 9. HBase中为了提升并行插入数据的速度,如何进行表的预先切分 10. 如何添加backup的master
java 利用 sping-data-hadoop HbaseTemplate 操作hbase find get execute 等方法 可以直接运行
搭建pinpoint需要的hbase初始化脚本hbase-create.hbase
HBASE技术架构及应用介绍.pdf
NIIT HBase期末考试 题库
1. HBase有哪些基本的特征? 1 HBase特征: 1 2. HBase相对于关系数据库能解决的问题是什么? 2 HBase与关系数据的区别? 2 HBase与RDBMS的区别? 2 3. HBase的数据模式是怎么样的?即有哪些元素?如何存储?等 3 1...
Hbase初探
HBase的特性与生态:自动分区、LSM Tree、存储...全新的HBase2.0版本新功能:小对象存储MOB、读写链路Off-heap 、Region Replica 、In Memory Compaction 、Assignment MangerV2 、其他;HBase未来规划。 主要章节:
HBASE技术架构及应用介绍.pptx
HBase(hbase-2.4.9-bin.tar.gz)是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System...
HBase开发实战,HBase学习利器:HBase实战
注意:zookeeper3.4.13和hbase2.3.5都是采用docker-compose方式部署 ...说明:使用外部zookeeper3.4.13之hbase2.3.5一键部署工具,支持部署、启动、... deploy.sh clear single *危险操作* 清除hbase-single容器及所有数据
HBase 官方文档.pdf HBase的操作和编程.pdf HBase Cpressr优化与实验 郭磊涛.pdf null【HBase】Data Migratin frm Gri t Clu Cmputing - Natural Sienes .pdf 分布式数据库HBase快照的设计与实现.pdf 【HBase】...
Hbase应用开发实验报告及代码;(1) 列出HBase所有的表的相关信息,例如表名、创建时间等;(2) 在终端打印出指定的表的所有记录数据;(3) 向已经创建好的表添加和删除指定的列族或列;(4) 清空指定的表的所有...
来自一位老学姐的Hbase安装详细教程(清华大学镜像下)及基本操作,希望能带给你们些许帮助。主要包含Hbase的下载过程及其遇到的小问题,后续会继续完善该文档!