博客首页 → kafka

最新文章列表

消息系统Kafka介绍

1、  概述 Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站 ...
hadoopKafkaRocketMQ 
wbj0110 评论(0) 有1152人浏览 2013-11-18 08:34

RabbitMQ和kafka从几个角度简单的对比

业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比， 在应用场景方面， RabbitMQ,遵循AMQP协议， ...
RabbitMQkafkaMetaQRocketMQJavav 
wbj0110 评论(1) 有8949人浏览 2013-11-15 09:25

Kafka集群搭建

1、环境CentOS6.8 + jdk1.8.0_151+zookeeper-3.4.11       jdk安装请参考CentOS 搭建JDK环境        Zookeeper安装请参考Zookeeper集群搭建 2、下载 kafka_2.12-0.11.0.2.tgz，下载地址： http://kafka.apache.org/downloads 3、安装  3.1、上传kaf ...
kafkalinuxcentos 
tzz6 评论(0) 有3671人浏览 2013-07-18 09:52

meta之前辈kafka

原写于2012-05-21   原文：kafka设计原则 http://incubator.apache.org/kafka/design.html   1.why we built this asd（activity stream data）数据是任何网站的一部分，反映网站使用情况，如：那些内容被搜索、展示。通常，此部分数据被以log方式记录在文件，然后定期的整合和分析。od（ope ...
metakafka消息中间件 
fatmind 评论(0) 有1019人浏览 2013-07-06 11:20

大数据处理点滴笔记

自我头脑风暴，说得对与错都请指点，后续补充。   当下三大技术热点：高并发、分布式、大数据（也许，还有很多，这只是自我修炼的三个目标）。 大数据处理系统有几点要求： 低延迟 高性能 分布式 可扩展（更多的要求是可横向扩展） 容错 现在用的比较多的就是Hadoop、Storm。   Hadoop 依赖于HDFS磁盘 延时较高（可精确到小时） 统计结果存在HBas ...
KafkaStormHadoop 
snowolf 评论(0) 有5059人浏览 2013-04-16 13:00

[metaq]Broker

Broker是metaq的核心组件，负责消息的物理存储，分区指定等。例子配置文件 [system] #broker编号，集群唯一 brokerId=0 #这个broker指定的分区数 numPartitions=2 #nio port serverPort=8123 #异步刷盘策略，为0表示同步刷盘 unflushThreshold=0 #同上，刷盘间隔 unflushInt ...
metaqmq.brokerkafka 
iwinit 评论(0) 有3343人浏览 2013-03-26 17:38

[metaq]Consumer

Metaq是一个类是kafka的消息系统，开源地址https://github.com/killme2008/Metamorphosis。 基于Pull的消息系统，consumer端保持了很多逻辑，比如当前拉取消息的offset，loadbalance等，使用zookeeper作为coordination。 简单类图 核心类ZKLoadRebalanceListener，负责集群感知，当 ...
metaqpullconsumerkafka 
iwinit 评论(0) 有2939人浏览 2013-03-22 16:01

kafka 的network

好了 ， 接着上一章 ， 我们回到kafka的 kafkaserver 这个重量级的类。   val handlers = new KafkaRequestHandlers(logManager) socketServer = new SocketServer(config.port, config ...
kafkanioscala 
sharp-fcc 评论(0) 有1671人浏览 2013-02-18 21:37

拨开kafka 的羊毛衫

好的， 上篇把 kafka.kafka 干的事情解析了一遍， 什么都看不出来， 是的， 什么都看不出来他干了什么。那么这章来电干货。   在kafka中， 主要资源的协调，开始运行时在 class KafkaServer(val config: KafkaConfig) extends Logging 这个类中进行的。   在初始化这个类的时候，他做了一件事情。 val sch ...
kafka磁盘io 
sharp-fcc 评论(0) 有1623人浏览 2013-02-17 22:01

拨开kafka 的外套

最近闲来无聊，研究了一下 消息队列 kafka，拜读了其源代码。   阅读源代码的准备： 1.  由于kafka 使用scala 这种语言编写，所以想要看的更人性化一些，请安装 scala ide 自己谷歌一下， 建议到官网上下, 这是一个scala 的 eclipse 插件，一定注意下载跟自己eclipse 版本配套的插件， 如果你确定能用记事本看， 可以无视这一点。 2.  下载kaf ...
kafka源码解析 
sharp-fcc 评论(0) 有2311人浏览 2013-02-17 16:07

分布式日志系统类比

背景 Google、Facebook、Amazon等互联网巨头对于数据的创造性使用，创造出了很多辉煌的商业产品。如Amazon创造出的新的推荐模式：”查询此商品的顾客也查询了。。。。。”、“看过此商品的后的顾客买的其他商品有。。。。。。”、“购买了您最近浏览过的商品的顾客同时购买了。。。。。。”，还有LinkedIn公司创造的“你可能认识的人”。这些机制无不是建立在大量数据分析的基础上。 分 ...
日志kafkaFlumeChuwaScribe 
huoyanxueren 评论(0) 有8646人浏览 2013-02-06 16:55

kafka 设计概论

翻译自: http://kafka.apache.org/design.html 核心设计: 1. 整体设计(特色) (1) 默认使用持久化 (2) 优先考虑 吞吐率 (3) 信息的消费状态在 consumer 端记录 而不是 server 端. (4) kafka 完全是 分布式的, produces  broker  consumer 都认为是分布式的. 2.
kafka设计概要区别mq 
sharp-fcc 评论(0) 有2727人浏览 2013-01-25 12:48

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics