最新文章列表

scribe,flume

flume   Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 http://baike.baidu.com/view/9540485.htm http://baike.baidu.com/view ...
haiker 评论(1) 有2846人浏览 2013-02-26 17:23

分布式日志系统类比

背景 Google、Facebook、Amazon等互联网巨头对于数据的创造性使用,创造出了很多辉煌的商业产品。如Amazon创造出的新的推荐模式:”查询此商品的顾客也查询了。。。。。”、“看过此商品的后的顾客买的其他商品有。。。。。。”、“购买了您最近浏览过的商品的顾客同时购买了。。。。。。”,还有LinkedIn公司创造的“你可能认识的人”。这些机制无不是建立在大量数据分析的基础上。 分 ...
huoyanxueren 评论(0) 有8652人浏览 2013-02-06 16:55

scribe安装记录

折腾了快2天,终于装上了,内流满面 scribe安装较复杂,官网无详细安装手册,所以自己装成功了还是记录下吧~ 1.系统版本:基于CentOS-6.3-x86_64 2.gcc    安装版本为4.4.6 官方要求>=3.3.5,但低于4会有各种问题     g++ 如果g++的结果是no input files表示已安装,不是则安装:     yum -y install gcc+ ...
lakeblur 评论(0) 有1684人浏览 2012-09-11 17:21

scribed 安装

最近做日志分流,早闻scribed大名,正好安装尝试一下.据说源码很简单,安装很麻烦. 公司yum源里其实有打好包的scribe,可惜是centos5的,苦逼的未升级的历史遗留centos4只能蛋疼的从源码安装. 刚开始借鉴的这篇: http://dongxicheng.org/search-engine/scribe-installation/ 后来发现这篇更简洁: http://agi ...
calmhawk 评论(0) 有1930人浏览 2012-05-08 12:29

分布式日志收集系统: Facebook Scribe (转)

以下是我在公司内部分享的关于分布式日志收集系统的PPT内容,现在与大家分享,希望对于需要使用的人能够起到基本的入门作用或是了解! 1.分布式日志收集系统:背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; (2) 支持近 ...
skysoul1985 评论(0) 有1062人浏览 2012-02-14 15:36

thrift-0.5.0安装

yum install python python-devel 一、安装libevent     http://www.monkey.org/~provos/libevent/ 解压缩安装 wget https://github.com/downloads/libevent/libevent/libevent-2.0.21-stable.tar.gz tar zxvf libevent-2. ...
奔跑的羚羊 评论(0) 有6858人浏览 2011-04-08 18:44

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics