hbase在一个regionServer死掉后,即使重启了这个server,deadlist中也不会去掉原先死去的deadserver。
例如:
hbase shell
>status
5 servers, 0 dead, 6.2000 average load
停掉其中一个节点
hbase-daemon.sh stop regionserver
然后
hbase shell
>status
4 servers, 1 dead, 6.2000 average load
再立即重启该节点:
hbase-daemon.sh start regionserver
此时回到shell中
hbase shell
>status
5 servers, 1 dead, 6.2000 average load
根本原因是在ServerManager中处理时只有add而没有remove,当然deadlist值有一个上限由hbase.master.maxdeadservers决定,默认为100:
public synchronized boolean add(String e) {
this.numProcessing++;
// Check to see if we are at capacity for dead servers
if (deadServerList.size() == this.maxDeadServers) {
deadServers.remove(deadServerList.remove(0));
}
deadServerList.add(e);
return deadServers.add(e);
}
这一点会对用户造成很大的困扰,因此前几天诞生了这个patch,预期在0.90.2中加上
https://issues.apache.org/jira/browse/HBASE-3580
注:这个patch没赶上0.90.2,己延期到0.90.3了
分享到:
相关推荐
本科毕业设计项目,基于spark streaming+flume+kafka+hbase的实时日志处理分析系统 基于spark streaming+flume+kafka+hbase的实时日志处理分析系统 本科毕业设计项目,基于spark streaming+flume+kafka+hbase的...
该文档是介绍hbase的rowkey设计与hbase的协处理器运用,与大家分享!
2. 请简述HBase中数据写入最后导致Region分裂的全过程 3. 如果设计一个笔记的表,表中要求有笔记的属性和笔记的内容,怎么做 4. HBase部署时如何指定多个zookeeper 5. HBase shell是基于哪种JVM运行的语言实现的 6. ...
HDFS(HadoopDistributedFileSystem)分布式文件管理系统、是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。...
根据mysql中数据库配置表信息查询mysql中数据,将部分处理为json格式,上传到hbase中。
java操作Hbase之从Hbase中读取数据写入hdfs中源码,附带全部所需jar包,欢迎下载学习。
使用Apache Beam和HBase进行高效数据处理
hbase中文官方文档,非常不错,值得推荐
HBase 中文参考指南
讲师:陈杨——快手大数据高级研发工程师 ...内容概要:(1)讲解hbase coprocessor的原理以及使用场景,(2) coprocessor整个流程实战,包括开发,加载,运行以及管理(3)结合1,2分析coprocessor在rsgroup中的具体使用
Hbase中文文档。想0分分享,结果不能设置0分了;坑爹了。
基于spark streaming+flume+kafka+hbase的实时日志处理分析系统源码(分控制台版本和Web UI可视化版本).zip基于spark streaming+flume+kafka+hbase的实时日志处理分析系统源码(分控制台版本和Web UI可视化版本).zip...
HBase 0.97 中文文档 HBase 0.97 中文文档 HBase 0.97 中文文档
java 利用 sping-data-hadoop HbaseTemplate 操作hbase find get execute 等方法 可以直接运行
介绍hbase和hadoop数据块损坏如何处理
HBase即Hadoop Database,是一个... Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务,HBase利用Zookeeper作为对应。
Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库(往hbase的表中批量插入数据)
3.1. 从HBase 0.20.x or 0.89.x 升级到 HBase 0.90.x 3.2. 从 0.90.x 到 0.92.x 4. The HBase Shell 4.1. 使用脚本 4.2. Shell 技巧 5. 数据模型 5.1. 概念视图 5.2. 物理视图 5.3. 表 5.4. 行 5.5. 列族 5.6. Cells...
搭建pinpoint需要的hbase初始化脚本hbase-create.hbase
HBase中文教程