邢邢色色
- 浏览: 226079 次
- 性别:
- 来自: 广州
-
最新评论
-
tss0823：
感谢，解决困惑我的编译问题。
手把手教你用jpcap抓包 -
xueyuan4315：
太酷了
ZooKeeper学习之运维工具zkweb -
NASa_CJ：
“合法的值为sync，表示异步发送；sync表示同步发送。”这 ...
Kafka学习之producer配置(0.8.1版) -
邢邢色色：
lv12312 写道楼主，canary是测试的意思， 金丝雀版 ...
【Netty官方文档翻译】引用计数对象（reference counted objects） -
lv12312：
楼主，canary是测试的意思， 金丝雀版本，就是还没有做好发 ...
【Netty官方文档翻译】引用计数对象（reference counted objects）
文章列表
经过对百度&友盟&极光&AVOS这几家的iOS推送的文档研读，demo试用，综合上述四者整理出一份简洁的功能需求要点。
添加应用页面
页面上应有上传p12证书和设置密码的功能。（分别为开发环境和正式环境）
AVOS和百度要求证书必须不设密码，但因为使用到的开源库的要求，还是应该要求设置密码。
其中友盟支持的证书格式为pem和p12两种，其他都只支持p12，为简单起见我们只支持p12。
页面上应该有链接来提示用户如何生成证书，这样显得比较友好。
应用设置&详情页面
展示了应用的一些数据，如AppKey，创建时间等。并能重新上传证书和设置密 ...
电子书
《Getting Started With Storm》
介绍了Storm基础API，并发编程网有整本书的翻译 ，此书使用的storm的版本为0.6，虽然从版本上看有些过时，但基础的思想还是没有变的。其中并没有Trident的介绍。有英文电子版。
《Storm Real-Time Processing Cookbook》
cookbook的形式，介绍得比较泛，补充着看看就好。
有中文翻译版本：
其实这些介绍就是第三方使用者写的，比如我是一个使用者，在公司大规模运用Storm后，把使用情况邮件到官方，官方觉得OK了，就搬运过来。
原创翻译，如有错误请指出，谢谢。
原文链接
下面选择一些国内的公司的情况进行介绍(原创翻译，持续更新ing..)
淘宝网
我们使用Storm来做一些实时的日志统计，从日志中抽取有用的信息。
日志是存在一个类似Kafka的持久化消息队列中(MetaQ，是一个淘宝在Kafka基础上研发的消息队列系统)，然后读到拓扑中的spout中。
接着在拓扑进行处理和分发最后得到想要的计算结果。
最终存储到分布式数据库中，等待
刊载于程序员杂志2013年2月号
大数据处理：批量数据处理和流数据处理
Hadoop家族在大数据处理方面的能力已经得到业界认可，但它更适用于对集群上的大数据进行批量处理，并不使用于实时处理大规模流数据。
包括雅虎在内的互联网公司都在尝试建立适用于大规模流数据处理的系统，Twitter的Storm就是其中之一。本文将主要介绍Storm Trident以及雅虎如何基于Storm Trident构建一个流数据处理系统。
Storm基本概念先介绍本文会涉及到的几个Storm术语。
Storm应用通过Spout从外部数据源读取数据，并将数据以流(stream)的方式发送给Storm节点。用户 ...
我们的架构设计的思路跟美团大同小异，也是分为agent层，collector层和store层。
具体可参考美团架构1，美团架构2，下面只是一些补充：
下面是我们自己的架构图：
总体架构
数据流图
下面的图描述一条日志消息从客户端产生，经过了怎样的过程最终被消费的。
这是近期参与的一个云推送项目调研的一点东西，贴上来做个备份：）
如需转载，请注明出处：）
综述
所谓的心跳机制，就是周期性的给服务器发送一个数据包，避免该连接上长期没有数据传送，被传输网络中的防火墙或者NAT等设备中断，就是当一个TCP会话的两个连续报文到达防火墙的时间间隔大于该会话的保持时间时，为了保证网络的安全性，防火墙会从会话表中删除相应的会话信息，后续报文到达防火墙后，防火墙根据自身的转发机制，丢弃该报文，导致通讯中断，必须重新建立连接。
为了保持这个长连接不被防火墙删除，需要在没有数据传送时，通过周期的发送心跳信息来保持会话连续。即心跳的目的：
保活链接。
检测设备网 ...
本文原创，转载请注明出处~
在工作中经常需要抓包进行分析，我们可以使用各种工具来抓包，比如常用的tcpdump和wireshark。但有时候我们想用程序来进行控制，比如把抓到的包存储到数据库中，以后可以进行查询等等。我在工作中用的是Java，那么就用它来做示范吧。
本教程在centos和ubuntu上测试通过。
1）安装libpcap库
先安装底层使用的库吧，我们用到了libpcap库，tcpdump也是用的这个库，所以先去http://www.tcpdump.org/#old-releases
下载源码进行编译安装，不需要用太新的库吧，因为jpcap挺老的。这里 ...
github地址：https://github.com/jiorry/ssdbAdmin，感谢作者的贡献：）
最近在用ssdb，用来替换一部分redis的需求，从而节省服务器成本，效果不错，非常推荐。
如果有一个后台来给开发人员管理ssdb上的数据是再好不过了，所以就找到了ssdbAdmin，下面是部署的步骤：
1，安装Go语言环境
此项目用Go语言实现的，所以先得安装Go语言的环境。
下载地址：http://golang.org/dl/
选择适合自己环境的版本，我这里选择1.3版本的go1.3.linux-amd64.tar.gz，解压到合适的目录。
2，配置环境变量
...
参考文档：https://kafka.apache.org/documentation.html#monitoring
Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来，比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters中提到的ganglia和Graphite等。默认使用的是JMX，最简单的观察方式是使用jconsole连接你的server或者client，就可以看到所有可用的metric。我自己是使用Zabbix跟 ...
主要参考：https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup#DeveloperSetup-Eclipsesetup
下面是我自己的步骤：
1，安装Eclipse，略过，我的版本是：
2，安装scale插件，注意要跟你的eclipse版本对应，访问http://scala-ide.org/download/current.html获取下载地址，我用的是：http://download.scala-ide.org/sdk/helium/e38/scala29/stable/site
3， ...
原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-7.StateChangeLogMergerTool
此工具能做啥 ?
此工具的目标是从集群中的各个broker中收集数据并格式化最后合并成一个文件来帮助我们查看state changes，查明问题。集群中的每一个broker会打日志到一个state-change.log文件，记录了broker接收的每一个state change的生命周期。有时候，选举一个leader会出现一些问题，为了回答这些问题，我 ...
原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool
此工具能做啥?
此工具的作用跟Referred Replica Leader Election工具类似，都是为了平衡集群的负载。但工具不仅为某一个partition从assigned replica中选举一个新的leader，还改变partition的assigned replica，回忆一下，follower需要从leader上fetch数据为了保持 ...
原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool
此工具能做啥?
Kafka的partition表示并发度的单元：一个topic的消息可以分布到多个partition上，并存储在多个server上。一旦创建了一个topic，就要指定这个topic的partition数。在topic的数据量增加时需要增加更多的partition，此工具帮助我们为某个指定的topic增加更多的partition，并可以手动的为增加的partit ...
原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool
此工具能干啥？
如果设置auto.create.topics.enable为true，则Kafka会默认自动创建topic。会使用默认的partition数量，replication factor和Kafka的默认schema来做replica assignment。有时候我们想自定义一下，此工具帮助我们使用指定的partition数量，replication factor和re ...