`

hbase rs启动的内存要求

阅读更多

hbase rs启动的内存要求

 

1-hbase.regionserver.global.memstore.upperLimit-hfile.block.cache.size<=(HBASE_CLUSTER_MINIMUM_MEMORY_THRESHOLD = 0.2f)

也就是memstore和blockcache要小于等于heap的80%

private static void checkForClusterFreeMemoryLimit(Configuration conf) {
      float globalMemstoreLimit = conf.getFloat("hbase.regionserver.global.memstore.upperLimit", 0.4f);
      int gml = (int)(globalMemstoreLimit * CONVERT_TO_PERCENTAGE);
      float blockCacheUpperLimit =
        conf.getFloat(HConstants.HFILE_BLOCK_CACHE_SIZE_KEY,
          HConstants.HFILE_BLOCK_CACHE_SIZE_DEFAULT);
      int bcul = (int)(blockCacheUpperLimit * CONVERT_TO_PERCENTAGE);
      if (CONVERT_TO_PERCENTAGE - (gml + bcul)
              < (int)(CONVERT_TO_PERCENTAGE *
                      HConstants.HBASE_CLUSTER_MINIMUM_MEMORY_THRESHOLD)) {//1-0.4-0.4<0.2 设置的刚好在边缘,呵~
          throw new RuntimeException(
            "Current heap configuration for MemStore and BlockCache exceeds " +
            "the threshold required for successful cluster operation. " +
            "The combined value cannot exceed 0.8. Please check " +
            "the settings for hbase.regionserver.global.memstore.upperLimit and " +
            "hfile.block.cache.size in your configuration. " +
            "hbase.regionserver.global.memstore.upperLimit is " +
            globalMemstoreLimit +
            " hfile.block.cache.size is " + blockCacheUpperLimit);
      }
  }

 

分享到:
评论

相关推荐

    HBase堆外内存测试

    介绍HBase堆外内存测试

    安装HBase,并启动运行

    传HBase安装包 将准备好的HBase安装包上传到hadoop0结点的/opt/modules/softwares路径下 二.解压HBase安装包 tar -zxvf hbase-1.2.6-bin.tar.gz 三.配置HBase环境变量 vi /etc/profile文件末追加HBase环境变量信息...

    生产环境里的堆外内存HBase读路径——阿里巴巴的故事

    Yu Li explains how Alibaba met the challenge of tens of millions requests per second to its Alibaba-Search HBase cluster on 2016 Singles' Day. With read-path off-heaping, Alibaba improved the ...

    hbase-shell批量命令执行脚本的方法

    批量执行hbase shell 命令 #!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase shell &lt;&lt;EOF truncate 'tracker_total_apk_fact_zyt' major_compact('t_abc') disable 't_abc' drop 't_abc' create...

    hbase启动说明和python脚本

    hbase启动说明和python脚本,配合另外两个资源文件hbase和hadoop使用,亲测可用

    HbaseTemplate 操作hbase

    java 利用 sping-data-hadoop HbaseTemplate 操作hbase find get execute 等方法 可以直接运行

    pinpoint的hbase初始化脚本hbase-create.hbase

    搭建pinpoint需要的hbase初始化脚本hbase-create.hbase

    huaweicloudDocs#mrs#HBase-version文件损坏导致启动失败1

    问题背景HBase启动失败。原因分析HBase启动时会读取hbase.version文件,但是日志显示读取存在异常。通过hadoop fs -cat /hbas

    hbase配置内置的zookeeper

    hbase配置内置的zookeeper;hbase配置内置的zookeeper;

    hbase-2.3.5单机一键部署工具

    说明:使用外部zookeeper3.4.13之hbase2.3.5一键部署工具,支持部署、启动、停止、清除、连接,支持自定义服务端口,数据存储目录等功能,已在生产环境使用。 Options: deploy.sh build single 构建并启动一个hbase...

    hbase zk异常启动不了.docx

    hbase zk异常启动不了

    Hadoop与HBase自学笔记

    Hadoop与HBase自学笔记 1、 安装jdk 2、 安装Cygwin以及相关...4.4 启动hbase 4.5 进入shell 4.6 建表与插数据 5、HBase数据库 5.1 数据类型 5.2 HBase语法教程 6、eclipse下开发hbase 7、集群下开发HBase

    HBase数据库设计.doc

    1. HBase有哪些基本的特征? 1 HBase特征: 1 2. HBase相对于关系数据库能解决的问题是什么? 2 HBase与关系数据的区别? 2 HBase与RDBMS的区别? 2 3. HBase的数据模式是怎么样的?即有哪些元素?如何存储?等 3 1...

    HBase(hbase-2.4.9-bin.tar.gz)

    HBase(hbase-2.4.9-bin.tar.gz)是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System...

    HBase学习利器:HBase实战

    HBase开发实战,HBase学习利器:HBase实战

    hbase-2.2.2单机一键部署工具

    说明:使用外部zookeeper之hbase2.2.2一键部署工具,支持部署、启动、停止、清除、连接等功能 Options: deploy.sh build single 构建并启动一个hbase单实例 deploy.sh start single 启动hbase实例 deploy.sh stop...

    java大数据作业_3HBase

    3. 如果设计一个笔记的表,表中要求有笔记的属性和笔记的内容,怎么做 4. HBase部署时如何指定多个zookeeper 5. HBase shell是基于哪种JVM运行的语言实现的 6. HBase shell如何写过滤条件 7. 如何删除HBase中的表 8....

    Hbase资源整理集合

    HBase 官方文档.pdf HBase的操作和编程.pdf HBase Cpressr优化与实验 郭磊涛.pdf null【HBase】Data Migratin frm Gri t Clu Cmputing - Natural Sienes .pdf 分布式数据库HBase快照的设计与实现.pdf 【HBase】...

    基于协处理器的HBase内存索引机制的研究.pdf

    "基于协处理器的HBase内存索引机制的研究" 本文研究了基于协处理器的HBase内存索引机制,以提高HBase的多条件查询速度。在大数据时代,传统的关系型数据库难以处理无规范模式的数据集,于是NoSQL数据库如HBase、...

    hbase资料api

    HBASE

Global site tag (gtag.js) - Google Analytics