`
文章列表
Actors Actors 是一个非常轻的并发实例,基于事件驱动的异步信息处理.模式匹配是Actor处理信息的手段。它是对并发、锁、分布系统的高度抽象。你只需要关注工作流。 例子: package akka.io import akka.actor.ActorLogging import akka.actor.Actor import akka.actor.ActorSystem import akka.actor.Props case class Greeting(who: String) class GreetingActor extends Actor with ActorLo ...
I am getting this Schannel Error 36888 over and over and over again. There NOTHING listed on the help site about it. I have no idea what it is, but my computer is crashing over and over again. I don't know if this is the reason, but it seems to be the most frequent event listed in the event viewer.  ...
Please ref:   http://tecadmin.net/install-google-chrome-in-centos-rhel-and-fedora/

zeromq 依赖uuid

yum install libuuid libuuid-devel

Hadoop TestDFSIO

@VM   [bigdata@bigdata hadoop]$ hadoop jar hadoop-test-1.0.4.jar TestDFSIO -write -nrFiles 10 -fileSize 20 Warning: $HADOOP_HOME is deprecated.   TestDFSIO.0.0.4 13/04/21 12:54:47 INFO fs.TestDFSIO: nrFiles = 10 13/04/21 12:54:47 INFO fs.TestDFSIO: fileSize (MB) = 20 13/04/21 12:54:47 INFO f ...

Hadoop NNBENCH

@VM [bigdata@bigdata hadoop]$ cat /proc/cpuinfo processor : 0 vendor_id : GenuineIntel cpu family : 6 model : 13 model name : QEMU Virtual CPU version (cpu64-rhel6) stepping : 3 cpu MHz : 1995.223 cache size : 4096 KB fpu : yes fpu_exception : yes cpuid level : 4 wp : yes flags : fpu d ...

利用大数据创业

“大数据元年”,今年媒体上一直宣称,我们公司的销售也是一直把这句话挂在嘴边。 我个人觉得,是相关处理工具发展到一定阶段的产物,同时也是市场的需要。 今年的大数据项目比较多,客户总是要往云上靠,要是没有靠上,就会觉得自己Out了。   总之,数据的金矿随着时间的推移,从特殊到一般发展,从高端到低端发展,从大企业到小企业发展。   扯了这么多,要说什么呢?   首先,大数据从那里来? 1.日志,如Apache logs 2.应用生成的数据文件,如摄像头采集下来的数据    1)各种采集器 3.社交类网站的交互数据    1)可以作为舆情的数据来源 4.运营商产生   ...

Hadoop 安装手册

Hadoop 安装手册 软件准备 a)  CentOS6.2 b4bit ,需要安装 DEV 包,分区采用基本分区方式、关闭防 火墙、关闭 SELinux b)  Oracle Javase 1.6.37 64bit(JDK) c)  Hadoop1.0.4,从 http://hadoop.apache.org 下载 硬件规划 a)  NameNode 采用高可靠性 X86 64 服务器,内存建议 64G 以上,CPU 4core
Unable to launch VNCServer due to fontpath issues on CentOS 6 When trying out VNCServer on both CentOS 6.2 and CentOS 6.3 $ vncserver WARNING: The first attempt to start Xvnc failed, possibly because the font catalog is not properly configured.  Attempting to determine an appropriate font path for ...

CAP理论

转发自:http://www.blogjava.net/hello-yun/archive/2012/04/27/376744.html 在足球比赛里,一个球员在一场比赛中进三个球,称之为帽子戏法(Hat-trick)。在分布式数据系统中,也有一个帽子原理(CAP Theorem),不过此帽子非彼帽子。CAP原理中,有三个要素: 一致性(Consistency) 可用性(Availability) 分区容忍性(Partition tolerance) CAP原理指的是,这三个要素最多只能同时实现两点,不可能三者兼顾。因此在进行分布式架构设计时,必须做出取舍。而对于分布式数据系统,分区容忍性是 ...
http://www.cnblogs.com/hhuai/archive/2011/02/12/1952647.html

日志从那里来

1. 网络设备 2. 操作系统 3. Web服务器 4. 应用系统
1。决定Mapper的输出到那个Reducer,是由Partition决定的 2。Reducer接收到的key都是排序好的

HDFS 设计理念

为了减少网络带宽,主要考虑的是块大小及本地优化上
1.如何存储 2.如何处理大数据 3.理解数据 4.发掘数据价值
Global site tag (gtag.js) - Google Analytics