- 浏览: 709317 次
- 性别:
- 来自: 天津
文章分类
- 全部博客 (442)
- 中间件 (20)
- hibernate (13)
- spring (20)
- 数据库 (78)
- struts (8)
- ibatis (4)
- 前端 (61)
- linux,windows (21)
- it大环境 (32)
- IDE工具 (36)
- 感悟 (6)
- java基础 (40)
- 经典面试题 (10)
- exception总结 (14)
- 软件设计 (8)
- 工具类应用及新技术 (48)
- php (2)
- 微信 (1)
- 设计模式 (2)
- 重构 (3)
- 管理 (2)
- 工作笔记 (1)
- jmx (1)
- 算法 (4)
- 多线程同步 (2)
- 代码管理工具 (5)
- 代码检测及测试 (2)
- 缓存服务 (1)
- SOA及ROA (5)
- groovy (1)
- 网络编程 (2)
- 大数据 (6)
最新评论
-
love398146779:
我当然不能全写上面了,这只是其中一部分https连接。
java 建立 https连接 -
yuenkin:
大哥,这是双向认证吗?
java 建立 https连接 -
issu:
例如以下代码能遍历字符串"Tom:M ...
<c:forTokens>标签delims截取字符 -
love398146779:
2*3*5=30,是30个以上的请求才拒绝呀。
tomcat的maxThreads、acceptCount(最大线程数、最大排队数) -
love398146779:
2台跟1台一样的效果。
zookeeper与activemq最新存储replicatedLevelDB整合
自已测试通过的
上面上单线程的处理端,但是在实际的应用中,只有多线程的处理才能够提高性能。
import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties; import kafka.consumer.ConsumerConfig; import kafka.consumer.ConsumerIterator; import kafka.consumer.KafkaStream; import kafka.javaapi.consumer.ConsumerConnector; import kafka.serializer.StringDecoder; import kafka.utils.VerifiableProperties; public class KafkaConsumer { private final ConsumerConnector consumer; private KafkaConsumer() { Properties props = new Properties(); //zookeeper 配置 //props.put("zookeeper.connect", "103.29.134.193:2181"); props.put("zookeeper.connect", "103.7.221.141:2181"); //group 代表一个消费组 props.put("group.id", "jd-group"); //zk连接超时 props.put("zookeeper.session.timeout.ms", "4000"); props.put("zookeeper.sync.time.ms", "200"); props.put("auto.commit.interval.ms", "1000"); props.put("auto.offset.reset", "smallest"); //序列化类 props.put("serializer.class", "kafka.serializer.StringEncoder"); ConsumerConfig config = new ConsumerConfig(props); consumer = kafka.consumer.Consumer.createJavaConsumerConnector(config); } void consume() { Map<String, Integer> topicCountMap = new HashMap<String, Integer>(); topicCountMap.put("srp_word", new Integer(1)); StringDecoder keyDecoder = new StringDecoder(new VerifiableProperties()); StringDecoder valueDecoder = new StringDecoder(new VerifiableProperties()); Map<String, List<KafkaStream<String, String>>> consumerMap = consumer.createMessageStreams(topicCountMap,keyDecoder,valueDecoder); KafkaStream<String, String> stream = consumerMap.get("srp_word").get(0); ConsumerIterator<String, String> it = stream.iterator(); //进行入库操作 while (it.hasNext()) { System.out.println("=====标示:" + it.next().message()); } } public static void main(String[] args) { new KafkaConsumer().consume(); } }
上面上单线程的处理端,但是在实际的应用中,只有多线程的处理才能够提高性能。
void consume() { Map<String, Integer> topicCountMap = new HashMap<String, Integer>(); //传入参数,为分区数量,多线程取多分区 topicCountMap.put("srp_word", paritonsNum); StringDecoder keyDecoder = new StringDecoder(new VerifiableProperties()); StringDecoder valueDecoder = new StringDecoder(new VerifiableProperties()); Map<String, List<KafkaStream<String, String>>> consumerMap = consumer.createMessageStreams(topicCountMap,keyDecoder,valueDecoder); List<KafkaStream<String, String>> streamList = consumerMap.get("srp_word"); //启动多个线程来处理list ExecutorService threadpool = Executors.newFixedThreadPool(paritonsNum); for(KafkaStream<String, String> partition : streamList){ threadPool.execute(new MessageRunner(partition)); }
发表评论
-
Elasticsearch、MongoDB跟Hadoop比较
2016-07-28 10:38 853Elasticsearch应用场景: 1. ... -
Dubbo超时和重连机制
2016-07-19 10:49 6325[color=violet][/color]dubbo启动时默 ... -
kafka Failed to send messages after 3 tries 问题解决
2016-06-23 13:53 2423在向服务器发起连接后,在kafka的服务器配置中有zookee ... -
websphere应用必看配置(spring jndi的配置)
2016-03-31 12:06 909websphere配置困扰我好找时间,配置的不对,websph ... -
实时计算系统---Storm
2015-08-29 16:28 709转自http://blog.csdn.net/hljlzc2 ... -
session在集群间的共享问题
2015-03-26 17:21 523会话跟踪 我们知道在单机条件下session机制的通过cook ... -
Eclipse下tomcat配置直接访问root
2014-12-22 17:28 637在tomcat C:\Program Files\Apach ... -
增加tomcat并发量
2014-12-19 11:46 852tomcat默认的连接是线程阻塞的,即protocol配置为& ... -
java.lang.IllegalStateException: Web app root system property already set to dif
2014-12-11 10:49 2798想在TOMCAT下边放多个项目应用,有时会报一些错,上面的错 ... -
JUDDI安装完整版
2014-10-22 16:50 379最近初学JUDDI,迷惑了一阵子,今天终于成功安装JUDDI, ... -
设置Tomcat编码
2014-09-26 12:00 556<Connector port=&q ... -
Tomcat -- 安全认证 About</security-constraint>
2014-08-10 16:23 682做过WEB项目的都知道,一但涉及用户,我们不得不为用户登录写一 ... -
zookeeper与activemq最新存储replicatedLevelDB整合
2014-08-01 19:57 6983测试环境:三台VM虚拟机centos6.4 64位 mini版 ... -
tomcat集群和负载均衡的实现(session同步
2014-07-15 16:20 555(一)环境说明 (1)服务器有4台,一台安装apache,三 ... -
java内存溢出详解
2013-07-08 17:46 639java内存溢出详解 一、常见的Java内存溢出有以下 ... -
又说tomcat内存配置
2013-07-08 17:20 945网上东西太多,有的可信,有的真信了,就吃大亏了。 只有自己的经 ... -
tomcat的maxThreads、acceptCount(最大线程数、最大排队数)
2012-11-27 15:06 10703tomcat 6的Connector配置如 ... -
tomcatl通过jspservlet引擎转jsp为java
2011-12-02 22:46 736是啊,选转把jsp转成java,再编译java为class,你 ... -
Tomcat性能调优方案
2011-11-12 12:17 708Tomcat性能调优方案 一、操作系统调优 对于操作系统优 ... -
tomcat假死
2011-08-26 15:18 4922有个JAVA WEB项目运行在 TOMCAT 5.5 + ...
相关推荐
kafka java 生产消费程序 demo 示例 kafka 是吞吐量巨大的一个消息系统,它是用 scala 写的,和普通的消息的生产消费还有所不同,写了个 demo 程序供大家参考。kafka 的安装请参考官方文档。 首先我们需要新建一个 ...
主要介绍了Java实现Kafka生产者消费者代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
可以将kafka整合到nginx中,便于web项目中前端页面埋点数据的收集,如前端页面设置了埋点,即可将用户的一些访问和请求数据通过http请求直接发送到消息中间件kafka中,后端可以通过程序消费kafka中的消息来进行实时...
Kafka 0.9 API的样例程序该项目提供了一个简单但现实的卡夫卡生产者和消费者的例子。 这些程序以一种样式和一个比例尺编写,使您可以对其进行调整以使它们接近生产样式。 带有0.9.0的新Kafka API缺少大量示例,这很...
kafka-例子此应用程序包含一个用 Java 编写的 Apache Kafka 消费者/生产者控制器的简短示例Gzip压缩生产者能够使用 gzip 压缩发送数据,从而显着减少发送到代理的数据量。 集群中不需要进一步的配置,只需指定您将在...
page_type 语言 产品 ... 生产者-消费者:这包含使用名为test的Kafka主题的生产者和消费者。 流:包含使用Kafka流API(在Kafka 0.10.0或更高版本中)的应用程序,该API从test主题读取数据,将数据拆
与Kafka主题交互的示例Vert.X应用程序。 项目简介 用于测试Vert.X-Kafka集成的示例项目。 主要组成部分有: 一个Vert.X网络服务器,它公开了一个会触发Kafka生产者的REST端点。 消费者正在监听队列并处理消息。 ...
生成应用程序映像 docker build --no-cache -t sample_kafka:0.0.1 . -f docker\Dockerfile 创建主题: bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic...
构建 Reactor Kafka jars ./gradlew jar运行单元测试 ./gradlew test构建IDE项目 ./gradlew eclipse./gradlew idea样本生产者和消费者有关示例React式生产者,请参阅 。 有关示例React性消费者,请参阅 。设置 Kafka...
Kafka游戏机消费者 控制台应用程序,用于从给定的时间戳读取事件。 要求 Java> = 8 建造 ./mvn install 用法示例 配置 您需要在与工具配置相同目录中的application.properties文件中进行特定设置,才能与kafka连接...
该存储库包含使用Apache Kafka Java API编写的Apache Kafka客户端示例: 消息产生器,它定期将消息产生为主题 流应用程序,该应用程序从一个主题读取消息,对其进行转换(反转消息有效负载)并将其发送到另一个主题...
框架的主要优势之一就是其细分架构,分层架构允许您选择使用哪一个组件,同时为J2EE应用程序开发提供集成的框架。 1.1 SpringAOP AOP面向切面编程,也是面试当中经常会被问到的一环,实际上是
使用springboot和rest的简单示例Apache Kafka 下载并安装Kafka,请参阅的官方指南。 使用maven运行该应用程序。 从终端转到应用程序根目录,即“ mykafka-simple-rest”,然后使用mvn spring-boot:运行 正在从...
编译并运行 reactor.kafka.samples.SampleProducer(例如,从 IDE 作为 Java 应用程序)) 运行示例消费者: 如果需要,更新 SampleConsumer.java 中的 BOOTSTRAP_SERVERS 和 TOPIC 更多详情、使用方法,请下载后...
微服务Kafka示例 这是一个示例,展示了如何将Kafka用于微服务之间的通信。 该项目将创建Docker容器。 它使用三种微服务: 订单创建订单。 该服务将消息发送到Kafka。 它使用KafkaTemplate 。 发货接收订单并提取...
通过服务器发送事件实时发布Kafka主题此示例将向您展示如何轻松扩展 dropwizard-kafka-consumer 以构建一个微服务,该...卡夫卡SSE应用程序这是主类,它将: 创建一个 MessageSender 实例作为内置 Kafka 消费者调用
kmodel:概念证明Kafka物化视图 随附博客文章: : 此演示项目展示了如何使用从事件流创建物化视图。...通过运行java -jar target/kmodel-0.3.0-standalone.jar client ,或通过运行java -jar target/kmodel-0.3.0-s
这是一个示例项目,概述了消费者驱动的合同测试。 目录 序言 在为任何项目设置连续的部署管道时,制定有针对性的测试计划至关重要。 有效的测试套件,反馈回路短 有效的测试套件包括多种测试策略,这些策略可导致较...
Spring Boot 2.0 Kafka示例该演示应用程序包含用于Kafka流,生产者和消费者的样板代码。跑步设置一个kafka集群./gradlew bootRun将消息推送到Kafka服务器通过您最喜欢的API环境,您可以通过PUT将消息推送到kafka...
您可以使用通用示例程序。技术卡夫卡; Java e Spring Boot; 码头工人; Postgres;要求作业的CRUD端点(Criar,Listar,Atualizar或desativar um tipo); 终端列表作业列表状态,状态为Tipo; Jobs端点执行手册; ...