博客首页 → Flume

最新文章列表

Flume架构与源码分析-整体架构

最近在学习Flume源码，所以想写一份Flume源码学习的笔记供需要的朋友一起学习参考。   1、Flume介绍 Flume是cloudera公司开源的一款分布式、可靠地进行大量日志数据采集、聚合和并转移到存储中；通过事务机制提供了可靠的消息传输支持，自带负载均衡机制来支撑水平扩展；并且提供了一些默认组件供直接使用。 Flume目前常见的应用场景：日志--->Flume---> ...
flume 
jinnianshilongnian 评论(3) 有14465人浏览 2015-12-02 21:17

flume+kafka+sparkstreaming搭建整合

主要是数据从flume进去kafka，然后交给sparkstreaming处理的流程 本文依旧以单词计数例子为例 首先，flume使用1.6版本，如果是1.6以下的话，没带有官方的kafkasink,需要自己实现，自己实现也不难实现，写一个自定义的sink，在里面方法调用kafka生产者代码，把数据发送到指定的kafka的broker的topic即可。 此处使用1.6版本，直接使用kafkaSink ...
sparkflumekafkascala 
字母哥 评论(0) 有3539人浏览 2015-11-22 00:03

flume整合sparkstreaming

这里写一个flume整合sparkstreaming的例子 我这里使用scala ide和maven的方式 spark用的1.2版本，scala是2.10版本，flume使用最新版的1.6 整合的第一步，要加上flume ...
scalasparkflume 
字母哥 评论(0) 有1462人浏览 2015-11-21 20:48

flume集群搭建

搭建一个flume集群，设置2个节点，如下图这样的集群 2个节点分别为192.168.5.220和192.168.5.221 设置成这样的情景，第一个接受日志传过来的数据（这里使用配置log4j往里面写数据）， 第一个节点的sink指向第二个节点的source，第二个节点sink配制成hdfs 首先，配置第一个节点， 这里面source的port设置成41414，log4j输出的port也 ...
hadoopflume 
字母哥 评论(0) 有4527人浏览 2015-09-15 11:30

日志收集之Flume

    日志是系统数据的基石，对于系统的安全来说非常重要，它记录了系统每天发生的各种各样的事情，用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。日志主要的功能是审计和监测。它还可以实时地监测系统状态，监测和追踪侵入者。现在互联网上存在的日志组件各种各样，我们这里主要讲的是Flume。Flume 发展历史    Cloudera 开发的分布式日志收集系统 Flume，是 h ...
Flume 
zhanshi258 评论(3) 有8840人浏览 2015-07-01 17:00

[转]Flume-NG内置计数器(监控)源码级分析

http://www.cnblogs.com/lxf20061900/p/3845356.html?utm_source=tuicool 　　Flume的内置监控怎么整？这个问题有很多人问。目前了解到的信息是可以使用Cloudera Manager、Gangl ...
flume 
linc09 评论(0) 有803人浏览 2015-06-11 12:00

Flume入门教程-简单案例

Flume入门教程-简单案例   1.下载安装   官方网站：http://flume.apache.org/ http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz tar -zxvf apache-flume-1.6.0-bin.tar.gz     2.修改配置 重命名flume- ...
Flume 
corejava2008 评论(0) 有11700人浏览 2015-06-09 15:58

flume 收集

flume 学习收集： flume 示例一收集tomcat日志 http://my.oschina.net/88sys/blog/71529 基于Flume的美团日志收集系统(一)架构和设计 http://tech.meituan.com/mt-log-system-arch.html 基于Flume的美团日志收集系统(二)改进和优化 http://tech.meituan.com/mt-log- ...
flume 
王新春 评论(0) 有948人浏览 2015-05-26 14:55

Spark Streaming+Flume对接实验

文章来自： http://lxw1234.com/?p=217   软件环境： flume-ng-core-1.4.0-cdh5.0.0 spark-1.2.0-bin-hadoop2.3   流程说明： Spark Streaming: 使用spark-streaming-flume_2.10-1.2.0插件，启动一个avro source，用来接收数据，并做相应的处理； Fl ...
spark streamingflume 
superlxw1234 评论(0) 有1693人浏览 2015-05-18 15:54

flume与kafka集成

1、flume配置文件 agent1.sources = r1 agent1.channels = c1 agent1.sinks = k1 agent1.sources.r1.type = exec agent1.sources.r1.command = tail -F /opt/soft/tomcatloging/logs/test.log agent1.sources.r1 ...
flumescala 
sxyqhyt 评论(0) 有1621人浏览 2015-04-17 17:43

Flume

Flume是Apache的开源项目，是hadoop的周边组件之一。Flume-ng则是Flume改进后的新版本。 严格的讲Flume-ng是一个日志搜集、处理、存储的系统。 架构 source ...
flumejavalog 
jamie.wang 评论(0) 有751人浏览 2015-03-12 14:56

flume-ng安装

  下载flume-ng $ wget http://mirrors.hust.edu.cn/apache/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz 解压，创建文件输出目录 创建flume的配置 $ vi conf/flume-conf.properties  
flumelogjava 
jamie.wang 评论(0) 有1804人浏览 2015-03-12 14:54

Flume OG 与 Flume NG 的对比

很久没接触flume了，刚掀开官网一看，发现flume已然不是以前的那个flume了，其实早在flume技术群就听到NG这个字眼，以前没特注意，今天做了些对比，发 ...
Flume 
1114926882 评论(0) 有820人浏览 2015-03-04 18:25

#研发解决方案介绍#Recsys-Evaluate（推荐评测）

郑昀 基于刘金鑫文档 最后更新于2014/12/1 关键词：recsys、推荐评测、Evaluation of Recommender System、piwik、flume、kafka、storm、redis、mysql 本文档适用人员：研发   推荐系统可不仅仅是围着推荐算法打转   先明确一下，我们属于工业领域。很多在学术论文里行之有效的新特奇算法，在工业 ...
recsysstormflume推荐评测
zhengyun_ustc 评论(0) 有1081人浏览 2014-12-17 14:30

一个实时数据服务平台的设计和实现

背景     在这个项目之前，也做过一个准实时的项目，大约延时10分钟左右，但是对业务单位的数据有要求，需要提供数据变化表，采用批量方式抽取 ...
FLUMEKAFKAHBASEElasticSearch实时平台
zhousheng29 评论(1) 有2604人浏览 2014-11-20 17:54

flume1.5.0.1+hbase0.98.7+hadoop1.2.1遇到的奇怪问题。

如题： hdfs：hadoop1.2.1搭建的 hbase：0.98.7版本 flume：1.5.0.1版本 flume拿到日志sink到hbase中去，遇到的问题是这样的： 往表中存入100条数据以后，就开始报错，是flume爆出来的： 2014-11-01 11:18:35,168 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR ...
hadoophbaseflume 
qiwb 评论(3) 有1099人浏览 2014-11-01 13:51

flume-Thrift-source

Thrift IDL Flume Thrift IDL在client包里面，定义如下： namespace java org.apache.flume.thrift struct ThriftFlumeEvent {   1: required map <string, string> headers,   2: required binary body, } enum Statu ...
flumeThriftsource 
duanyunxi 评论(0) 有1017人浏览 2014-10-24 14:01

Flume架构设计

我们的架构设计的思路跟美团大同小异，也是分为agent层，collector层和store层。 具体可参考美团架构1，美团架构2，下面只是一些补充： 下面是我们自己的架构图： 总体架构 数据流图 下面的图描述一条日志消息从客户端产生，经过了怎样的过程最终被消费的。
Flume 
邢邢色色 评论(0) 有2793人浏览 2014-10-22 10:41

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics