0 前提:
地址: http://flume.apache.org/FlumeUserGuide.html
版本: flume1.6.0
只摘抄对自己有用的
1 flume 对avro的支持:
RPC
An Avro client included in the Flume distribution can send a given file to Flume Avro source using avro RPC mechanism:
$ bin/flume-ng avro-client -H localhost -p 41414 -F /usr/logs/log.10
The above command will send the contents of /usr/logs/log.10 to to the Flume source listening on that ports.
source: avro, thrift, jms(mq), kafka, http, custom
channel: memory, jdbc, kafka, file,
sink: hdfs, hive(不用于生产), logger, avro, thrift, null, hbase, elastrcsearch, kafka, custom
interceptor: Host, Timestamp, Static , UUID, Regex Filtering
2
相关推荐
文章目录一、Flume 事务二、Flume Agent 内部原理三、Flume 拓扑结构1、简单串联2、复制和多路复用3、负载均衡和故障转移4、聚合 一、Flume 事务 二、Flume Agent 内部原理 重要组件： 1）ChannelSelector Channel...
《Flume：构建高可用、可扩展的海量日志采集系统》从Flume 的基本概念和设计原理开始讲解，分别介绍了不同种类的组件、如何配置组件、如何运行Flume Agent 等。同时，分别讨论Source、Channel 和Sink 三种核心组件，...
Agent： 一个独立的Flume进程，包含组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。） Source： 数据收集组件。（source从...
flume的安装包，包括agent和server
参照下图可以看得出Agent就是Flume的一个部署实例， 一个完整的Agent中包含了必须的三个组件Source、Channel和Sink，Source是指数据的来源和方式，Channel是一个数据的缓冲池，Sink定义了数据输出的方式和目的地（这...
agent用于采集数据，agent是Flume中产生数据流的地方，同时，agent会将产生的数据流传输到collector。collector的作用是将多个agent的数据汇总后，加载到storage中。storage是存储系统，可以是一个普通file，也可以...
文章目录一、Flume 定义二、Flume 基础架构 一、Flume 定义 Flume 是 Cloudera 提供的一个高可用...Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift
n 自定义Flume组件 n 监控 4、主讲内容 章节一：Flume概述 章节二：Flume架构 章节三：Flume安装 章节四：入门使用案例 章节五：数据持久化 章节六：日志文件监控 章节七：多个Agent模型 章节八：拦截器 章节九：...
下面我们来详细介绍一下 Flume 架构中的组件： 1.2.1 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成，Source、Channel、Sink。 1.2.2 Source Source 是负责接收...
本文章讲述日志收集框架-Flume中的Agent组件的三部分Source、channel、sink； linux中angent组件的配置，启动命令及测试结果；flume-source中不符合场景的source自定义实现
FlumeNG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和Sink，三者组建了一个Agent。三者的职责如下所示：下图是FlumeNG的架构图，如下所示：图中描述了，从
1 Flume的agent三个核心组件分别是什么？ 2 Kafka如何实现多个消费者消费同一个队列，并且数据无重复 3 请描述下列Sqoop的参数含义： --connect --username --password --table --target-dir --split-by 4 Lucene两...
#配置Agent a1 的组件 a1.sources=r1 a1.channels=c1 (可以配置多个，以空格隔开，名字自己定） a1.sinks=s1 (可以配置多个，以空格隔开，名字自己定） #描述/配置a1的r1 a1.sources.r1.type=netcat (netcat表示通过...
1).Apache Flume 这是⼀个apache的顶级项⽬，所以域名为flume.apache, 下⾯是官⽹上的原理图，Flume框架把每个收集任务都定义为⼀个Agent（这是 ⼀个JAVA进程），他有三个基本组件Source、Channel、Sink。...
电商推荐系统项目启动组件:Rediskafkaflume ./bin/flume-ng agent --conf conf --conf-file ./conf/recommend-kafka-flume.conf --name a1 -Dflume.root.logger=info,consoleMongoDBKafkaStreamApplication //不需要...
二、Flume架构及核心组件 三、Flume&JDK环境部署 1.前置条件 Java Runtime Environment - Java 1.8 or later Memory - Sufficient memory for configurations used by sources, channels or sinks Disk Space - ...
1.2 日志采集如何工作 我们以 Flume 为例子讲些日志采集 Agent 是怎么工作的。 Flume 由三个局部组成：Source，Channel 和 Sink，对应于采集，缓存和保存三个环节。 其中，Source 组件用来采集各种类型的数据源，如...