采集数据(通过TT的client API):
APP直接写
tailfile
dbsync
dfswriter向HDFS写数据--向云梯写数据格式固定,sequence file,基于key-value
storm从TT读数据,进行实时计算。
TT可以认为是“持久化的队列”,持续的流处理。
TT与datax的比较:
如果把datax做持续的导数据,效果可以与TT等同。
两者各有侧重点,一般可以让datax做一次全量,然后由TT进行增量,最后进行merge。
TT比较关注吞吐量,TPS不高,受限于带宽。
发送给TT的数据,在client端进行进行了压缩,目前用的压缩算法为gzip(大概4倍的压缩比)
TT的接入:
1,需要在日志服务器上安装TT的agent(agent是TT的监控程序),与TT服务器有心跳检测。
2,在TT的配置中心配置日志路径等配置
3,agent启动时,会与中心进行连接读取配置信息。如果本机没有采集进程,则会去下载安装。启动采集程序,读取配置,通过client api与TT进行数据传输,保持长连接。
4,client从router获取broker后,进行直接通信,协议为thrift。broker充当proxy的作用,向hbase写数据,以后存储可以改换成其他的。
5,broker从多个partition读数据,然后merge,返回给client。当然了,client也可以在API中指定访问的具体partition,参数上有控制。
topic对应一张表,多个queue,可以并发写,提高吞吐量。
一张表中可以存储多个应用的数据,通过属性来区分属于哪个应用,可以通过hbase的filter进行查询。
队列对应到分区。
考虑到性能,可以针对表预先建region,减少split提高写的性能。
Rowkey的设计:
sequence:一秒内的计数,后续会将rowkey用字符串的方式来表示,目前是bytes不太可读和维护
目前TT上的表数据会保留三天,以免业务上需要重新读取。
分享到:
相关推荐
淘宝开源timetunnel入门文档, 学习日志处理的很好文档~!
互联⽹企业的海量数据采集⼯具,有Facebook开源的Scribe、LinkedIn开源的 Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等,均可以满⾜每秒数百MB的⽇志数据采集和传输需求,并将这些数据上载到Hadoop 中央系统上。...
为何需要link-local:在一个接口可以配置很多IPv6地址,所以学习路由就有可能出现很多下一跳。 所以出现Link Local地址唯一标识一个节点。在本地链路看到下一跳都是对端的Link Local地址。 在网络重新编址过程中,...
想要学习IPv6的,这本书我觉得真的很好,希望大家都可以看看。 先贴一个目录给大家看看: Chapter 1: Introduction Overview, Why IPv6, Why a new address scheme, Best Effort: is it enough, Requisites to be ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...
本书适合作为计算机专业学生学习网络的教材和教师参考书。也适用于研究网络的技术人员。 目 录 译者序 前言 第1章 概述 1 1.1 引言 1 1.2 分层 1 1.3 TCP/IP的分层 4 1.4 互联网的地址 5 1.5 域名系统 6 1.6 封装 ...