用命令行方式读写 Kafka 玩玩还行,真正投入实际使用时,往往需要把数据导入到 Kafka 或导出 Kafka 数据到本地文件中。这里我们学习一下怎么实现这个功能。
先创建一个本地源数据文件:
echo -e "foo\nbar" > test.txt
然后我们启动一个独立(standalone)模式的连接:
bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties &
上述命令行指定了三个配置文件,一个是独立模式连接的配置文件,一个是导入数据相关的配置文件,最后一个是导出数据相关的配置文件。
这个命令执行的时候创建了一个独立模式的 Kafka 连接进程,进程中创建了两个连接:一个是源连接(对应 connect-file-source.properties 的配置信息),它从输入文件中逐行读取数据发布到 Kafka 主题上;另一个是读取连接(对应 connect-file-sink.properties 的配置信息),它从一个 Kafka 主题中读取数据写入到输出文件中。
test.sink.txt 文件是在 connect-file-sink.properties 中配置的输出文件,我们来查看一下这个文件:
cat test.sink.txt foo bar
看起来数据导出成功。我们通过消费者命令行可以看到连接导入 Kafka 主题上的数据:
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic connect-test --from-beginning {"schema":{"type":"string","optional":false},"payload":"foo"} {"schema":{"type":"string","optional":false},"payload":"bar"}
需要注意的是源连接会不断地把新增的源数据导入到 Kafka 主题中,比如我们这样追加一行数据到源数据文件:
echo "Another line" >> test.txt
在消费者命令行和导出数据文件中马上就出现了这一行。
相关推荐
消费Kafka主题并导出到Prometheus 开始程序 java -jar kafka-topic-exporter-0.0.6-jar-with-dependencies.jar config/kafka-topic-exporter.properties 配置 启动过程时,必须将配置文件作为参数传递。 ## Kafka...
各种各样的连接器,用于向其中导入和导出数据(Kafka Connect) 使用KSQL和Kafka Streams进行流分析和转换 弹性,可伸缩性,鲁棒性和高可用性 云原生 开源社区活跃 Confluent提供的出色工具和支持;) 这很棒! 从...
进程守护方法和前后台进程切换3、创建一个主题扩展知识:bootstrap-server和zookeeper使用区别4、删除主题5、发送消息6、消费消息7、设置多个broker集群8、使用Kafka connect来导入/导出数据 1、Kafka下载 下载Kafka...
基于Nginx+lua完成访问流量实时上报Kafka的实战 Netty 高性能NIO框架 IO 的基本概念、NIO、AIO、BIO深入分析 NIO的核心设计思想 Netty产生的背景及应用场景分析 基于Netty实现的高性能IM聊天 基于Netty实现...
此外,Hadoop广义上指的是一个更广泛的概念,即Hadoop生态系统,其中还包括了Hive数据仓库工具、HBase非关系型数据库、Zookeeper分布式协调服务、Kafka消息队列、Sqoop数据导入导出等其他组件。 Hadoop的创始人是...
05.Hadoop入门数据分析实战 06.HDFS 07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 10.MapReduce MP过程进阶 11.MapReduce IO操作 12.序列化框架 13.深入MapReduce应用开发 14.Hadoop集群配置 15.Hive 16....
2.采用Kstream框架对数据进行初步数据清洗与变换,使用Java API将数据导入HBase 3.使用Hive集成Hbase,对数据进行ETL,进一步清洗处理数据 4.协助使用Hive提取特征值,运用Spark ML构建模型 5.参与模型检验与随机...
再通过KAFKA将数据输送到STORM 中;STORM 将元数据直接存放到HDFS中。 (2)各业务系统的错误日志转换为json后直接存放到ES中,方便查找。 (3)将流水文件(需转换为csv格式)和流水日志(导出txt格式)通过文档...
大数据与云计算教程课件 优质大数据课程 05.Hadoop入门数据分析实战(共57页).pptx 大数据与云计算教程课件 优质大数据课程 06.HDFS(共38页).pptx 大数据与云计算教程课件 优质大数据课程 07.HDFS Shell命令(共...
05.Hadoop入门数据分析实战 06.HDFS 07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 10.MapReduce MP过程进阶 11.MapReduce IO操作 12.序列化框架 13.深入MapReduce应用开发 14.Hadoop集群配置 15.Hive 16....
05.Hadoop入门数据分析实战 06.HDFS 07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 10.MapReduce MP过程进阶 11.MapReduce IO操作 12.序列化框架 13.深入MapReduce应用开发 14.Hadoop集群配置 15.Hive 16....
05.Hadoop入门数据分析实战 06.HDFS 07.HDFS Shell命令 08.HDFS文件接口 09.MapReduce序列化 10.MapReduce MP过程进阶 11.MapReduce IO操作 12.序列化框架 13.深入MapReduce应用开发 14.Hadoop集群配置 15.Hive 16....
大数据与云计算教程课件 优质大数据课程 05.Hadoop入门数据分析实战(共57页).pptx 大数据与云计算教程课件 优质大数据课程 06.HDFS(共38页).pptx 大数据与云计算教程课件 优质大数据课程 07.HDFS Shell命令(共...
支持特殊场景发送有状态的消息(如:同一个用户的消息全部由某一个消费节点处理)producer、consumer端监控数据采集,由(jeesuite-admin)输出兼容遗留kafka系统、支持发送和接收无封装的消息mybatis模块代码生成、...
大数据与云计算教程课件 优质大数据课程 05.Hadoop入门数据分析实战(共57页).pptx 大数据与云计算教程课件 优质大数据课程 06.HDFS(共38页).pptx 大数据与云计算教程课件 优质大数据课程 07.HDFS Shell命令(共...
大数据与云计算教程课件 优质大数据课程 05.Hadoop入门数据分析实战(共57页).pptx 大数据与云计算教程课件 优质大数据课程 06.HDFS(共38页).pptx 大数据与云计算教程课件 优质大数据课程 07.HDFS Shell命令(共...
大数据与云计算教程课件 优质大数据课程 05.Hadoop入门数据分析实战(共57页).pptx 大数据与云计算教程课件 优质大数据课程 06.HDFS(共38页).pptx 大数据与云计算教程课件 优质大数据课程 07.HDFS Shell命令(共...
大数据与云计算教程课件 优质大数据课程 05.Hadoop入门数据分析实战(共57页).pptx 大数据与云计算教程课件 优质大数据课程 06.HDFS(共38页).pptx 大数据与云计算教程课件 优质大数据课程 07.HDFS Shell命令(共...
大数据与云计算教程课件 优质大数据课程 05.Hadoop入门数据分析实战(共57页).pptx 大数据与云计算教程课件 优质大数据课程 06.HDFS(共38页).pptx 大数据与云计算教程课件 优质大数据课程 07.HDFS Shell命令(共...
大数据与云计算教程课件 优质大数据课程 05.Hadoop入门数据分析实战(共57页).pptx 大数据与云计算教程课件 优质大数据课程 06.HDFS(共38页).pptx 大数据与云计算教程课件 优质大数据课程 07.HDFS Shell命令(共...