kafka热门博客列表 - ITeye博客频道 - 第3页

博客专栏推荐

本月博客排行

年度博客排行

kafka消费堆积时如何减少消息丢失

使用kafka(0.8.2.1)高级API消费消息时，有时会因各种原因，导致消息堆积。如果请求offset对应消息已过期，则会抛出下面异常： Current offset 789380 for partition [test,3] out of range; reset offset to 799380" 抛出该异常的同时，会把该topic和分区下次请求的offset重置为一个新的值 ...

kafka 消费堆积

dujian.gu 评论(0) 有5277人浏览 2018-07-09 15:05

互联网系统架构方案

互联网目前的问题 1、暴涨的人力成本与过低的投入产出中架构师要做什么。 2、大流量对系统的压力的解决方案 3、大数据检索难度解决方案 4、我们是� ...

互联网电商 kafka rpc redis

yxk790302 评论(0) 有311人浏览 2018-06-08 11:28

包： chill_2.11-0.8.0.jar commons-collections-3.2.2.jar commons-configuration-1.6.jar commons-lang-2.6.jar commons-lang3-3.5.jar commons-logging-1.1.3.jar guava-14.0.1.jar hadoop-auth-2.6.4.jar hadoop-co ...

kafka spark

jybbh 评论(0) 有1065人浏览 2018-05-25 17:36

Kafka设计原理

转载： Kafka设计原理一、入门 1.简介 Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log)，之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。分区，可复制和可容错都是其不 ...

kafka

wujt 评论(0) 有494人浏览 2018-05-22 18:37

Linux搭建Kafka开发环境

Linux搭建Kafka开发环境 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消 ...

大数据 Kafka

马智霖评论(0) 有573人浏览 2018-04-30 00:45

Kafka详细原理总结

Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，L ...

kafka

stupider 评论(0) 有410人浏览 2018-04-24 13:32

Logstash详解之——filter模块

Logstash三个组件的第二个组件，也是真个Logstash工具中最复杂，最蛋疼的一个组件，当然，也是最有作用的一个组件。 1、grok插件 grok插件有非常强大的功能，他能匹配一切数据，但是他的性能和对资源的损耗同样让人诟病。 filter{ grok{ #只说一个match属性，他的作用是从message 字段中吧时间给抠出来，并且赋值给另 ...

logstash kafka

fhuan123 评论(0) 有2670人浏览 2018-03-30 10:07

Logstash详解之——output模块

Logstash的output模块,相比于input模块来说是一个输出模块,output模块集成了大量的输出插件,可以输出到指定文件,也可输出到指定的网络端口,当然也可以输出数据到ES.在这里我只介绍如何输出到ES,至于如何输出到端口和指定文件,有很多的文档资料可查找. elasticsearch{ hosts=>["172.132.12.3:9200"] ...

logstash kafka

fhuan123 评论(0) 有1137人浏览 2018-03-30 09:57

使用logstash的logstash-input-kafka插件读取kafka中的数据

logstash版本为5.5.3，kafka版本为2.11，此版本默认内置了kafka插件，可直接配置使用，不需要重新安装插件；注意logstash5.x版本前后配置不太一样，注意甄别，必要时可去elasticsearch官网查看最新版配置参数的变化，例如logstash5.x版本以前kafka插件配置的是zookeeper地址，5.x以后配置的是kafka实例地址。 input{ ...

logstash kafka ES

fhuan123 评论(0) 有7054人浏览 2018-03-30 09:42

Kafka 文章大全

https://blog.csdn.net/u013573133/article/details/48142677

Kafka

商人shang 评论(0) 有645人浏览 2018-03-28 14:11

Kafka OffsetMonitor：监控消费者和延迟的队列

一个小应用程序来监视kafka消费者的进度和它们的延迟的队列。 KafkaOffsetMonitor是用来实时监控Kafka集群中的consumer以及在队列中的位置（偏移量）。你可 ...

Kafka OffsetMonitor Kafka 加米谷大数据

加米谷大数据评论(0) 有39人浏览 2018-03-26 16:26

kafka-manager

附件是我自己编译的kafka-manager.有由于网络等原因，sbt编译特别久。提供给有需要的人,附件大小有限，请到云盘下载链接: https://pan.baidu.com/s/1qZNLVcg 密码: hmm6 下面简单写一下安装配置步骤(由于是后来补的笔记，大概就是这样，不一定准确) 1 下载 kafka-manager 2 下载sbt配置sbt环境 2.1 在sbt的config目 ...

kafka

lixiaoxin 评论(0) 有880人浏览 2018-03-01 16:15

kafka的配置与运行

kafka 的下载.https://archive.apache.org/dist/kafka/0.10.2.0/kafka_2.10-0.10.2.0.tgz 解压后。就可以执行批处理了。报错了。 D:\es\kafka_2.10-0.10.2.0\kafka_2.10-0.10.2.0\bin\windows>kafka-server-start.bat ./config/se ...

kafka

arpenker 评论(0) 有1022人浏览 2018-02-03 16:56

kafka集群操作命令

1.修改kafka配置文件 broker.id=0 zookeeper.connect=192.168.1.10:2181,192.168.1.12:2181,192.168.1.13:2181/kafka 说明：默认Kafka会使用ZooKeeper默认的/路径，这样有关Kafka的ZooKeeper配置就会散落在根路径下面，如果你有其他的应用也在使用ZooKeep ...

kafka 命令

welcome66 评论(0) 有2363人浏览 2018-01-29 18:02

消息队列之 Kafka

本文引自我的博客：https://juejin.im/post/5a67f7e7f265da3e3c6c4f8b Kafka 特点 Kafka 最早是由 LinkedIn 公司开发一种分布式的基于发布/订阅的消息系统，之后成� ...

Kafka MQ 消息队列

Tyrion 评论(0) 有3814人浏览 2018-01-20 15:54

kafka和mqtt

两者虽然都是从传统的Pub/Sub消息系统演化出来的，但是进化的方向不一样，以下是几个比较突出的点：Kafka是为了数据集成的场景，与以往Pub/Sub消息总线不一样，通过分布式架构提供了海量消息处理、高容错的方式存储海量数据流、保证数据流的顺序等特性。可以参考云上的卡夫卡 - 数据工会。MQTT是为了物联网场景而优化，不但提供多个QoS选项（exact once、at least once、at ...