=========================================================================
一、Flume简介
=========================================================================
1、概述
Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume 支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume 提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
Flume 最早是 Cloudera 提供的日志收集系统,目前是 Apache 下的一个孵化项目,Flume 支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume 提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力,Flume 提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIXtail)、syslog(syslog 日志系统,支持 TCP 和 UDP 等2种模式),exec(命令执行)等数据源上收集数据的能力。
2、数据流通
Flume 传输数据的基本单位是 event,如果是文本文件,通常是一行记录,这也是事务的基本单位。Flume 运行的核心是 agent。它是一个完整的数据收集工具,含有三个核心组件,分别是 source、channel、sink。Event 从 Source,流向 Channel,再到 Sink,本身为一个 byte 数组,并可携带 headers 信息。Event 代表着一个数据流的最小完整单元,从外部数据源来,向外部的目的地去。Source:完成对日志数据的收集,分成 transtion 和 event 打入到 channel 之中。Channel:主要提供一个队列的功能,对 source 提供中的数据进行简单的缓存。Sink:取出 Channel 中的数据,进行相应的存储文件系统、数据库、或者提交到远程服务器。通过这些组件,event 可以从一个地方流向另一个地方,如下图所示:
Source 消费从外部流进的 Events,如 Avro Source 接收外部客户端传来的或是从别的agent流出来的 Avro Event。Source可以把 event 送往一个或多个 channel。channel 是一个队列,持有 event 等待 sink 来消费,一种 Channel 的实现:FileChannel 使用本地文件系统来作为它的存储。Sink 的作用是把 Event 从 channel 里移除,送往外部数据仓库或给下一站 agent 的 Source,如 HDFSEventSink 送往 HDFS。同个 agent 下的 source 和 sink 是异步的。下面再举几个数据流通的例子,说明不同的使用方式。
(1)、多agent模式
(2)、多对一的合并/Collector场景
(3)、一对多路输出模型
===================================================================================
二、Flume部署与测试
===================================================================================
1、JDK安装
http://download.oracle.com/otn-pub/java/jdk/7u65-b17/jdk-7u65-linux-x64.tar.gz
# tar xvzf jdk-7u65-linux-x64.gz
# cd /usr/local && ln -s jdk1.7.0_65 jdk
# cd /usr/local/bin && ln -s /usr/local/jdk/bin/java
2、Flume安装
http://mirrors.cnnic.cn/apache/flume/1.5.0/apache-flume-1.5.0-bin.tar.gz
# tar xvzf apache-flume-1.5.0-bin.tar.gz
# mv apache-flume-1.5.0-bin apache-flume-1.5.0
# ln -s apache-flume-1.5.0 flume
3、环境变量设置
# vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export FLUME_HOME=/usr/local/flume
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=.:$PATH::$FLUME_HOME/bin
# source /etc/profile
4、Flume配置
# mkdir -p /data/logs/flume-out
# vim /usr/local/flume/conf/flume-conf.properties
agent1.sources= source1
agent1.sinks= sink1
agent1.channels= channel1
agent1.sources.source1.channels= channel1
agent1.sources.source1.type= exec
agent1.sources.source1.command= tail -f /data/logs/web/iwan/620000010/access.log
agent1.sources.source1.interceptors= inter1
agent1.sources.source1.interceptors.inter1.type= REGEX_FILTER
agent1.sources.source1.interceptors.inter1.regex= .*POST.*
agent1.sources.source1.interceptors.inter1.excludeRegex= true
agent1.channels.channel1.type= memory
agent1.channels.channel1.capacity= 1000
agent1.channels.channel1.transactionCapactiy= 100
agent1.sinks.sink1.channel= channel1
agent1.sinks.sink1.type= FILE_ROLL
agent1.sinks.sink1.sink.directory= /data/logs/flume-out
# Flume agent config
agent1.sources= source1
agent1.sinks= sink1
agent1.channels= channel1
agent1.sources.source1.channels= channel1
agent1.sources.source1.type= exec
agent1.sources.source1.command= tail -f /home/hdfs/apache-tomcat-6.0.43/logs/catalina.out
#agent1.sources.source1.interceptors= inter1
#agent1.sources.source1.interceptors.inter1.type= REGEX_FILTER
#agent1.sources.source1.interceptors.inter1.regex= .*visitlog.*
#agent1.sources.source1.interceptors.inter1.excludeRegex= true
agent1.channels.channel1.type= memory
agent1.channels.channel1.capacity= 1000
agent1.channels.channel1.transactionCapactiy= 100
agent1.channels.channel1.keep-alive=30
#agent1.sinks.sink1.channel= channel1
#agent1.sinks.sink1.type= FILE_ROLL
#agent1.sinks.sink1.sink.directory= /home/flume/logs/flume-out
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.channel=channel1
agent1.sinks.sink1.hdfs.path=hdfs://cluster-152:8020/user/flume/events
agent1.sinks.sink1.hdfs.fileType=DataStream
agent1.sinks.sink1.hdfs.writeFormat=Text
agent1.sinks.sink1.hdfs.rollInterval=0
agent1.sinks.sink1.hdfs.rollSize=10240
agent1.sinks.sink1.hdfs.rollCount=0
agent1.sinks.sink1.hdfs.idleTimeout=60
5、服务启动
# cd /usr/local/flume
# nohup bin/flume-ng agent -n agent1 -c conf -f conf/flume-conf.properties &
6、相关测试
(1)、本地hosts绑定 "172.18.35.30 iwan.qq.com"
(2)、采用Fiddler提交测试数据
(3)、效果展示
7、日志定期清理
# crontab -e
00 00 * * * cd /usr/local/flume/logs && rm -f `ls -1t | grep flume.log.$(date -d "7 days ago" +"%Y-%m-%d")` >/dev/null 2>&1
附录:
http://flume.apache.org/FlumeUserGuide.html
http://flume.apache.org/FlumeDeveloperGuide.html
http://www.cnblogs.com/lion.net/p/3903197.html
相关推荐
Flume1.5.0入门:安装、部署、及flume的案例Flume1.5.0入门:安装、部署、及flume的案例
flume-1.5.0-cdh5.3.6。 大数据日志收集工具 flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志...
flume-ng-1.5.0-cdh5.3.6.rarflume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume-ng-1.5.0-cdh5.3.6.rar flume...
Flume1.8安装部署,包含目录结构为1、下载地址,安装环境工具下载地址 2、单个Flume安装 3、多个Flume安装及HA 4、应用场景 5、Flume-Ng组件概述
flume的安装部署.mp4
flume-ng-1.5.0-cdh5.3.6.tar.gz, 配置flume的原数据包
本文档主要是flume组件部署。欢迎大家关注数据科学,本人不断为大家提供数据科学相关知识,如有疑问请随时沟通不断优化
Flume学习文档(2){Flume安装部署、Flume配置文件}。 记录我的学习之旅,每份文档倾心倾力,带我成我大牛,回头观望满脸笑意,望大家多多给予意见,有问题或错误,请联系 我将及时改正;借鉴文章标明出处,谢谢
lume 是 Cloudera 提供的一个分布式、可靠、和高可用的海量日志采集、聚合和传输的日志收集系统,支持在日志系统中定制各类数据... 同时, Flume 提供对数据进行简单处理,并写到各种数据接受方 ( 可定制 ) 的能力。
Flume1.6.0入门:安装、部署、及flume的案例
02_Flume的安装部署 03_Flume的测试运行 04_Flume中配置使用file channel及HDFS sink 05_Flume中配置HDFS文件生成大小及时间分区 06_Flume中配置Spooling Dir的使用 07_Flume中配置Spooling Dir的文件过滤 08...
Flume集群搭建
Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS 11111
请解压后再用,flume-1.6.0-bin.tar 安装包,希望对大家有用。
同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 Flume的优点 1). 可以和任意存储进程集成(灵活,数据源多样化) 2). 当输入的数据速率大于写入目的存储的速率时,flume...
flume , 调研 , 安装部署,详细介绍了flume的安装,及常用flume的配置,可以实现对各种source资源的获取,其中还包括和hdfs的文件提交。