OpenTSDB是一个架构在Hbase系统之上的实时监控信息收集和展示平台。
它在海量数据的压力下,仍然保证了存储的效率,那么它背后有什么值得借鉴的地方呢?
1)使用AsyncHbase而非HBase自带的HTable。使用线程安全、非阻塞、异步、多线程并发的HBase API,在高并发和高吞吐时,可以获得更好的效果。建议在使用AsyncHBase时,在CPU core有保证的前提下,可以设置16或者24。
2)采用固定长度的Rowkey,让Rowkey包含尽可能多的检索信息。这一点的话,OpenTSDB存储的数据要包含大量的metrics和tag信息,这些信息的长度是变长的,因此,在实现上设置了一个表格uid-tsdb存储这些信息,作为一个全局唯一的编号,并把编号与TimeStamp合并作为Rowkey。
3)每一行要存储尽可能多的信息,这一点在OpenTSDB被发挥到了极致。例如,把某个时间段的分散采集的数据合并在一起,按照一个Row来提交给hbase。这种方案,会减少整个表格Rowkey的个数,从而提高检索Row的速度,但是该方法并没有节省存储空间。
在这个基础上,OpenTSDB又推动了一步,让一个column记录多条内容,从而降低存储空间的浪费。
4)按照时间的Boundary来存储,仍采用无状态的存储方案,从而提供系统的容错能力。
附录:OpenTSDB中一个KeyValue的存储结构如下:
From Binospace, post OpenTSDB的设计之道
文章的脚注信息由WordPress的wp-posturl插件自动生成
相关推荐
OpenTSDB 2.3 中文文档 OpenTSDB 2.3 中文文档 OpenTSDB 2.3 中文文档
openTSDB openTSDB openTSDB openTSDB openTSDB openTSDB openTSDB openTSDB openTSDB openTSDB openTSDB openTSDB openTSDB
基于postman的OpenTSDB HTTP 写入,自己编写,值得下载
OpenTSDB是一个时列数据库。时间序列是一段特定metric随时间变化的一系列数字数据点。每个时间序列都包含一个metric加上与该metric相关的一个或多个tags(我们将覆盖一些标记)。metric是您希望随时间跟踪的任何特定...
OpenTSDB操作手册,调用方法等.
此页面列出了一些常见的OpenTSDB问题以及提高性能的步骤。 高速缓存 此时,OpenTSDB没有内置缓存(除了内置GUI,将缓存PNG图像文件60秒)。因此,我们依赖于底层数据库的缓存。在HBase(最常见的OpenTSDB后端)中...
opentsdb,用于测试hbase性能,官方地址下载不了。包1,需要同时下载另一个
opentsdb踩坑记录: 1. Int 类型溢出问题 2. tagv超出了最大值 3.不要在compaction时重启OpenTSDB服务 4. 分配UID时行锁问题,导致分配性能很低
opentsdb默认使用ISO8859-1编码格式,导致使用过程中无法使用汉字,本资源通过整理wordsplit.java类,修改编码格式及字串解析过程并重编译,完美支持汉字。
opentsdb,用于测试hbase性能,官方地址下载不了。包2,需要同时下载另一个
附件是Opentsdb docker-compose 部署脚本
您或许想直接进入openTSDB并开始将数据写入你的TSD,但要要真正使用OpenTSDB的强大功能优势和灵活性,您可能需要暂停(先停下来)并思考您的命名模式(方式)。完成下面的操作后,您就可以继续通过Telnet或HTTP API...
OpenTSDB描述文档 open time serial database
Opentsdb踩过的坑,亲自参与,并且修改过opentsdb的源码,希望对使用过的人有些帮助!
hbase的插件,大数据metrics监控的界面显示,与mysql类似
opentsdb的源码,可以直接导入到eclipse,在学习opentsdb的利器。 备注,源代码是不能直接导入到eclipse,代码路径是不对的。
例如,假设温度传感器每秒向OpenTSDB系统发送数据。如果用户在一小时的时间跨度内查询数据,他们将收到3,600个数据点,这些数据点可以很容易地绘制出来。但是现在,如果用户要求整整一周的数据,他们将收到604,800个...
CentOS安装基于 HBase 安装 OpenTSDB时序数据库安装文档
随着OpenTSDB 2.2版本的出现,我们现在可以围绕查询提供大量细节,因为我们专注于提高灵活性和性能。查询详细信息包括发出请求的人(通过标头和套接字),响应是什么(HTTP状态代码和/或异常)以及TSD采取的各种进程...
开源监控系统OpenTSDB,用hbase存储所有的时序(无须 采样)来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics,支持永久存储,可以做容量规划;Grafana是一个跨平台的开源的度量分析和可视...