HBase 0.94 版本最近发布了,距上次的0.92 版本发布又四个月了,下面我们就来看一下这个版本中丰富的功能增强。
性能相关
-
读缓存改进: HDFS 将图片和checksum存储在不同的block中的,所以每次我们进行读操作,都需要进行两次磁盘操作(一次读数据文件,一次读checksum所在的文件)。在
HBASE-5074 这个提案中,提出了将checksum存到block 缓存中的想法。在0.94 版本中,这一特性已经是默认开启的了。
-
读文件优化: 在0.94 版本之前,如果一个column family对应了多个StoreFile,那么HBase 会从各个StoreFile中读取数据进行合并,即使我们需要的数据在最近的数据文件中存在,也会进行这样的操作。在
HBASE-4465 这个提案中提出了一个叫Lazy Seek的优化,通过先在最近的StoreFile中先读取数据,再看其它StoreFile是否在这个数据操作时间后有操作,如果没有,就不对这个StoreFile进行读取了。这大大减少了对StoreFile的读操作,这一特性也已经是默认开启了。
-
WAL文件优化: WAL是Write Ahead Log的意思,HBase在每次写操作都会先写WAL文件,通常WAL文件的写入速度直接影响到HBase的整体数据吞吐。而且WAL文件还会根据配置同步到多个数据节点上。在提案
HBASE-4608 中,提到了对Hlog数据进行压缩的想法,同步后的日志文件更小,能够更快地在数据节点间的同步,从而实现更高的数据吞吐。目前这一优化也是默认开启。
新特性
-
急求箱工具增强: 对原来的HBck工具进行了增强,提供了对孤儿region、region空洞、重叠region的修复。见提案
HBASE-5128: “Uber hbck”。
-
简化Region Size设置: 通常我们要设置一个region size是很难的,需要考虑很多其它因素。在0.94版本中,按提案
HBASE-4365 的方法,通过动态算法对region size进行制定。
-
更完整的事务支持: 之前Hbase提供行级的事务,不过每次事务只能执行一个写操作,比如连续地执行一系列Put,Delete操作,那么这些操作是单独一个个的事务,其整体并不是原子性执行的。而在0.94版本中,可以实现Put、Delete在同一个事务中一起原子性执行。见提案 HBASE-3584。
实际上上面不过是一些比较大的改进,这一版本共做了140个功能增强,修复了180个bug。这里可以看到更详细的更新。
分享到:
相关推荐
hbase0.94java源代码 希望对大家有帮助
文件包括 hadoop1.0.2安装 编译hadoop-eclipse插件 MapReduce开发 hbase0.94安装
从官网api中经处理后生成的一个离线版本,解压后,点击index.html即可使用。
NULL 博文链接:https://winseclone.iteye.com/blog/1734818
使用github中最新的nutch-2.x源码,奋战10天拿下的Hadoop-2.4.0+Hbase-0.94.18+Nutch-2.3配置攻略,在ubuntu14.04上成功运行本地和分布式爬虫。文档详细描述了三者版本不兼容问题的解决方案以及各个配置文件的详细...
HBase api
介绍如何hbase-0.94.1手动进行数据迁移
官方网站上已经绝版的 hbase-0.94.18,限量发行。
文档详细介绍了在hadoop安装hbase的详细步骤
HBase 0.94.4.tar.gz,官网上只有新版本,0.94.4稳定版本,请下载使用。
hbase-0.94.13.rar 包括jar包和源码,需要的就用吧
hbase-0.94.27.tar.gz
企业内部实际 hadoop zookeeper hbase搭建步骤明细
本书以HBase0.94为基础,不仅深入探讨HBase的原理框架和数据模型,更重要的是通过实际案例教诲读者如何运用HBase框架来设计、搭建及运行大数据系统,同时结合生产案例剖析HBase系统运维和性能调优的技巧。
当前状态:完全通过 HBase 0.94 和 0.94.16Java hbase-client支持 HBase 服务器的版本[√] 0.94.x[√] 0.94.0[√] 0.94.160.95.x0.96.x安装$ npm install hbase-client使用 CRUD:通过 zookeeper 创建 HBase ...
09.hbase的核心特性--基于hdfs-分布式数据管理--表结构.mp4
曹龙(封神) 阿里云技术专家、架构师 专注在大数据领域,有6年分布式引擎研发经验 先后研发上万台Hadoop、...云HBase服务. 阿里大数据三大组件 • 云 最佳实践 • 云 部署模式 • 云 真实案例 • 云 内核特性 • 云 未来
ella-hbase-0.96.2 根据ella hbase-0.94修改,取消部分jmx数据获取方式,使用标准hbase java api进行数据获取. 源码来自
MapReduce生成HFile入库到HBase 可能需要的jar包,一共有3个 可以直接放在每台机器的${HADOOP_HOME}/lib下 hadoopHadoop 1.1.2 + hbase 0.94.6.1