marsorp
- 浏览: 214685 次
- 性别:
- 来自: 北京
-
最新评论
-
javalogo：
[b][i][u]引用[list]
[*][*][flash= ...
什么是Flume -
leibnitz：
what are they meanings
Hadoop Ganglia Metric Item -
di1984HIT：
没用过啊。
akka 介绍-Actor 基础 -
di1984HIT：
写的不错。
Hadoop管理-集群维护 -
developerinit：
很好，基本上介绍了
什么是Flume
文章列表
Hadoop不是万能的
- 博客分类：
- hadoop
转发：http://www.open-open.com/news/view/b615d7
记者 / 董世晓
2011年，对 Hadoop 来说注定是载入史册的一年：Yahoo!与风险投资公司 Benchmark Capital 联合建立独立公司 Hortonworks，接手 Yahoo!开源软件平台 Apache Hadoop；Hadoop 海量数据分析平台 Datam ...
转载
作者: 阎斌 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息
网址: http://UltimateArchitecture.net
CAP理论
10年前，Eric Brewer教授提出了非常著名的CAP理论，后人也论证了CAP理论的正确性。CAP理论指出：一个分布式系统不可能同时满足一致性（Consistency），可用性（Availibility）和分区容忍性（Partition Tolerance）这三个需求。最多只能同时满足其中的两个。
一致性（Consistency）：
对于分布式的存储系统，一个数据往往会存在多份。简单的说，一致性会让客户对数据的修改操作（增/ ...
ZooKeeper锁原理
- 博客分类：
- zookeeper
锁服务
在ZooKeeper中，完全分布的锁是全局同步的。这也就是说，在同一时刻，不会有两个不同的客户端认为他们持有了相同的锁。
锁机制
a.ZooKeeper调用create()方法来创建一个路径格式为“_locknode_/lock_”的节点，此节点的类型为sequence(连续)和ephemeral(临时）。也就是说，创建的节点为临时连续编号节点；
b.在创建的锁节点上调用者getChildren()方法，以获取锁目录下的最小编号节点，并且不设置watch；
c.步骤b中获取的节点恰好是步骤a中客户端创建的节点，那么此客户端会获得此锁，删除此节点并退出；
d ...
ZooKeeper特性
- 博客分类：
- zookeeper
会话及状态
ZooKeeper客户端通过句柄为ZooKeeper服务建立一个会话。这个会话一旦被创建，句柄将以CONNECTING状态开始启动。客户端将尝试连接到其中一个ZooKeeper服务器，如果连接成功，它的状态变为CONNECTED。一般情况下，只有上述这两种状态。如果一个可回复的错误发生，比如会话终结或认证失败，或者如果应用程序明确地关闭了句柄，句柄将转入CLOSED状态。
异步事件处理机制
Watch是ZooKeeper提供的异步事件处理机制。
ZooKeeper可以为所有的读操作设置Watch，这些操作包括:exists()、getChildren()及getDa ...
ZooKeeper服务基本概念
- 博客分类：
- zookeeper
所有ZooKeeper服务的数据都存储在内存中，且数据都是副本；
Zookeeper在启动时，开始第一次领导者角色选举；
当客户端进行读取时，追随者角色的服务器负责给客户端响应；
客户端的所有更新操作，都必须通过领导者角色来处理。当更新被大多数ZooKeeper服务成员持久化后，领导者会给客户端响应；
什么是ZooKeeper
- 博客分类：
- zookeeper
ZooKeeper是Apache Hadoop 正式的子项目,它是针对大型分布式系统的可靠协调系统。
提供的功能包括：配置维护、名字服务、分布式同步、组服务等。
ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
转发：http://stackoverflow.com/questions/4493001/good-use-case-for-akka
Akka提供可扩展的实时事务处理。
Akka是一个统一的运行和编程模型：
1.向上扩展（并发）
2.向外扩展（远程处理）
3.容错
Akka是可伸缩的软件。Akka，Akka-actors，核心是很小的，很容易同现有的项目集成，你需要毫不费力的异步和无锁的并发。
你可以选择包括只有部分Akka包,在您的应用程序中，或者全包。另外还有微内核，这是一个独立的容器中部署您的Akka应用,CPU核数越来越多，即使你在一台机器上运行。Akka也提供了多种并发方式，从而为用户选择合适的规则。
Akka使用情况如何？
我们看到Akka被许多大型组织所使用，如投资和银行，零售和社会媒体，游戏和 ...
我们相信，书写正确的并发，容错和可伸缩的应用程序是比较困难。大部分时间，这是因为我们使用了错误的工具和错误的抽象水平。AKKA在这里改变这种状况。使用Actor模型，我们提高抽象的层次，并提供一个更好的平台，建立正确的并发和可伸缩的应用程序。对于容错，我们采取“让它崩溃”的模式，已在电信业的巨大成功用于构建应用，自我修复，永不停止的系统。Actor也提供了透明的分配和真正的可扩展性和容错应用的基础上的抽象。
AKKA是开放源码的Apache2许可下可用。
从http://akka.io/downloads/下载
Akka实现了一个独特的混合
Actors提供给你：
1.并发和并行 ...
oozie-调度器用例
- 博客分类：
- oozie
转发：https://github.com/yahoo/oozie/wiki/Oozie-Coord-Use-Cases
oozie-工作流应用部署
- 博客分类：
- oozie
1.创建工作流应用的目录,目录结构
--<workflow app>
--lib
例：
$ cd ~
$ mkdir -p wordcount/lib
2.拷贝属性文件(job.properties)、工作流定义文件(workflow.xml)到<workflow app>下，把应用的jar包及依赖放到<workflow app>/lib下
3.校验workflow.xml文件是否正确
例：
$oozie validate ~/wordcount/workflow.xml
4.拷贝工作流引用目录到HDFS,根据job.properti ...
oozie-工作流例子
- 博客分类：
- oozie
Fork and Join Example
The following workflow definition example executes 4 Map-Reduce jobs in 3 steps, 1 job, 2 jobs in parallel and 1 job.
The output of the jobs in the previous step are use as input for the next jobs.
Required workflow job parameters:
jobtracker : JobTracker HOST:PORT
namenode ...
oozie-工作流Map-Reduce行为
- 博客分类：
- oozie
Map-Reduce行为
A map-reduce action can be configured to perform file system cleanup and directory creation before starting the map reduce job. This capability enables Oozie to retry a Hadoop job in the situation of a transient failure (Hadoop checks the non-existence of the job output directory and t ...
oozie-工作流行为节点概述
- 博客分类：
- oozie
Action节点是被工作流触发的计算任务
Action基础
Action任务总是在远端（相对于Oozie而言)运行，不会在Oozie运行空间运行。
Action都是异步执行的，fs action除外。
Oozie可以检测任务的完成，通过callback和polling两种方式,当任务执行时Oozie会提供一个唯一的callback URL给这个任务，这个任务当完成时，通过callback URL去通知Oozie。当任务调用callback URL失败(例如,网络瞬时不可用)或者任务完成时不能调用callback URL,Oozie有一个拉的机制;
Actions 有两个结果ok,err ...