`
jianzong2000
  • 浏览: 54674 次
  • 性别: Icon_minigender_1
  • 来自: 南京
文章分类
社区版块
存档分类
最新评论

一个region server的region个数问题

 
阅读更多

一个Region Server的region个数少点比较好,一般从20到几百个。0.90.x中upper-bound of regionsize是4GB,0.92.x中因为HFile v2,可以支持到更大,如20GB。一个Region Server保持较小的Region Server原因如下:

 

1MSLAB每个memstore需要2mb。如果有2 families1000 regions则需要3.9GB of heap

 

2、如果在region上写入的量差不多,region server整体的内存使用会导致tiny flush,然后会产生compactions。数据会被重写多次。

 

例如有1000regions,每个有一个family,内存总量为5GB。当内存使用到5GB时,大概会有5MB数据被flush

 

3master对于大量的regions比较过敏,会花费很多时间分配和移动regions。因为对zk的大量使用。

       4、在旧版本的HBase里面,大量的regions可能导致store file索引加大内存的使用量。

分享到:
评论

相关推荐

    remote-region eureka-server.rar

    remote-region eureka-server

    zwc233#LargeScaleSystem#region_server通信格式1

    创建表​ Master 发送命令给 RegionServer​ @后面的ip为127.0.0.1 则表示暂时不创建副本create table [tableNa

    region_3级.sql

    最新全国城市数据库 sql导入语句 Microsoft SQL Server格式,十分方便,下载建表, 无需修改

    region:rregion是一款网络游戏,您可以每分钟放置1个像素的16种颜色

    r / region是一个网络游戏,您可以在每分钟放置1个像素的16种颜色。 为什么? 我想比其他副本更忠实地重新创建r / place(2017年4月在Reddit上的愚弄社交实验)。 怎么样? 该项目是开源的,可以在这里查看代码。 ...

    aws-name-server, 允许你按实例名称查找ec2实例的DNS服务器.zip

    aws-name-server, 允许你按实例名称查找ec2实例的DNS服务器 一个DNS服务器,它按名称提供你的。用法aws-name-server --domain aws.bugsnag.com --aws-region us-east-1 --aws-access-key-id &l

    docker-minio-server:Docker上的Minio Server,Minio Server Docker容器

    Docker上的Minio Server Docker上的Minio Server,Minio Server Docker容器。 此容器用于本地PC开发。 当您开发使用AWS S3进行不带AWS服务的消息传递的应用程序时,可以使用此容器。 看。 入门启动Docker容器。 $ ...

    Sql Server 存储过程调用存储过程接收输出参数返回值

    创建存储过程: ALTER PROCEDURE [dbo].[GetCustomers] (@rowcount INT OUTPUT) ... ,[Region] ,[PostalCode] ,[Country] ,[Phone] ,[Fax] FROM [Northwind].[dbo].[Customers] SET @rowcount=@@rowcount

    C# 数据库访问类 SQLServer 和 Access

    #region 打开数据库连接 /// /// 打开数据库连接. /// private void Open() { // 打开数据库连接 if (con == null) { con = new SqlConnection("Data Source = . ;Database = CET ;Integrated Security ...

    CSGO-Region-Selector:让您选择哪个cs

    CSGO-区域选择器 让您选择要在bash上的GNU / Linux上排队的cs:go区域。 地区代码 NAN =北NAE =东北部NAW = NA西SA =南美EUN =欧盟北部EUE =欧盟东部EUW =欧盟西部POL =波兰SPA =西班牙AS =亚洲JP =日本香港=香港ME...

    03开源NewSql数据库TiDB-Deep Dive into TiDB

    这两点是一个数据库软件的基础功能,作为业务的基石,任何一点抖动或者错误都可能对业务造成巨大的影响。目前已经有大量的用户在线上使用 TiDB,这些用户的数据量在不断增加、业务也在不断演进。 提升 TiDB 在大...

    sql server 交集,差集的用法详解

    需要注意的是:如果一个行在任何一个输入集合中出现,它也会在UNION运算的结果中出现。T-SQL支持以下两种选项: (1)UNION ALL:不会删除重复行 -- union allselect country, region, city from hr.Employees ...

    SqlHelper帮助类

    /// 一个有效的数据库连接字符串 /// /// <returns></returns> public static string GetConnSting() { return ConfigurationManager.ConnectionStrings["MyBankConnectionString"].ConnectionString; } /...

    一个C#处理XML的类

    #region 读取xml文档并返回一个节点 /// <summary> /// 读取xml文档并返回一个节点:适用于一级节点 /// /// 适应用Xml:<?xml version="1.0" encoding="utf-8" ?> /// <root> /// <dns1>ns1.everdns....

    c# 流断点上传

    /// 如果是第一次上传,则当前指针为0,代码执行与续传一样,只不过指针没有偏移 /// /// 文件名 /// 当前指针偏移 /// <returns></returns> public int SaveUpLoadFile(string fileName, long npos)...

    c#操作数据库类-sql

    protected static string ConnectionStr = "Server=127.0.0.1;DataBase=Gdd005;User ID=sa;PWD="; SqlConnection Conn = new SqlConnection(ConnectionStr); #endregion //打开数据库 #region public static ...

    sqlserver 批量数据替换助手V1.0版发布

    于萌发了要写一个小程序的念头,经过两天时间的折腾这个小软件终于和各位见面了,希望各位童鞋多给点意见。说了这么些之后还是先上界面吧,^..^ 现在就来说说这个小程序的开发思路吧。第一步:通过 sp_helpdb系统...

    simple-image-server:基于MongoDB,Azure Blob存储或Google Drive托管自己的图像服务器

    基于MongoDB,Azure Blob存储或Google云端硬盘托管自己的映像... 转到“凭据”菜单并创建一个新的“服务帐户”凭据。 它可能被命名为[PROJECT_ALIAS]-xxxx-xxxxxxx.json 。 下载它并重命名为gcloud-image-server-c

    手机wifi传文件的一简单代码

    1.手机先建立一个wifi网络 ssid随便写一个就ok 选中设备到设备 在填写个ip地址,跟子网掩码跟笔记本一个网段就行了 2.vs写个Server段程序,服务端负责接受客户端传过来的文件名,跟文件数据 接收文件名的代码如下 ...

    ORACLE、MYSQL、SQLSERVER数据分页查询

    看过此博文后Oracle、MySql、SQLServer 数据分页查询,在... ,rr.nRegID AS region_id ,rr.strChanName AS channel_name ,rr.nChanNum AS channel ,rr.nSortID AS sort_id ,rr.nCamType AS camera_type ,rr

Global site tag (gtag.js) - Google Analytics