marsorp
- 浏览: 215245 次
- 性别:
- 来自: 北京
-
最新评论
-
javalogo：
[b][i][u]引用[list]
[*][*][flash= ...
什么是Flume -
leibnitz：
what are they meanings
Hadoop Ganglia Metric Item -
di1984HIT：
没用过啊。
akka 介绍-Actor 基础 -
di1984HIT：
写的不错。
Hadoop管理-集群维护 -
developerinit：
很好，基本上介绍了
什么是Flume
文章列表
文件压缩带来了两大益处1）减少存贮空间2)加速网络(磁盘）传输。基于大数据的传输，都需要经过压缩处理。
压缩格式
压缩格式
工具
算法
文件扩展名
可分块
DEFLATE
N/A
DEFLATE
.deflate
No
gzip
gzip
DEFLATE
.gz
No
bzip2
bzip2
bzip2
.bz2
Yes
LZO
lzop
LZO
.lzo
No
Snappy
N/A
Snappy
.snappy
No
压缩及解压缩
文件解压实例
package com.bigd ...
LocalFileSystem
Hadoop LocalFileSystem是客户端校验的类。在使用LocalFileSystem写文件时，会透明的创建一个.filename.crc的文件。校验文件大小的字节数由io.bytes.per.checksum属性设置，默认是512bytes,即每512字节就生成一个CRC-32校验和。
.filename.crc文件会存 io.bytes.per.checksum的信息。在读取的时候，会根据此文件进行校验。
事实上LocalFileSystem是通过继承ChecksumFileSystem实现校验的工作 ...
[转发]CDH4 高可用集群指南
- 博客分类：
- hadoop
转发：http://savagegarden.iteye.com/blog/1464504
Hadoop 0.23 CDH4 高可用集群指南
博客分类： 云计算
CDH4 高可用集群指南
一、 Hadoop 的高可用性
1. 概论
本指南提供了一个HDFS 的高可用性（HA ）功能的概述，以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解。有关详情，请参阅Apache 的HDFS 的架构指南。
http://hadoop.apache.org/common/docs/current/hdfs_design.htm ...
http://www.cnblogs.com/wangyonghui/archive/2011/09/07/2169565.html 写道
接着讲另外几个数据结构。1.CorruptReplicationMap成员变量：Map<Block, Collection<DatanodeDescriptor>> corruptReplicasMap用来记录datanode上出错的block，getNodes方法返回一个block在 ...
Clojure 基础
- 博客分类：
- clojure
1. Forms
Form
Example(s)
Boolean
true,false
Charactor
\a
Keyword
:tag,:doc
List
(1,2,3),(println "foo")
Map
{:name “Bill", :age 50}
Nil
nil
Number
1,4.2
Set
#{:snap :crackle :pop}
String
"hello"
Symbol
user/foo,java.lang.Strin ...
netty time 例子
- 博客分类：
- netty
//TIME 服务器端协议实现
package com.bigdata.jboss.basic;
import org.jboss.netty.buffer.ChannelBuffer;
import org.jboss.netty.buffer.ChannelBuffers;
import org.jboss.netty.channel.Channel;
import org.jboss.netty.channel.ChannelFuture;
import org.jboss.netty.channel.ChannelFutureListener;
import or ...
netty echo 例子
- 博客分类：
- netty
// ECHO 协议，服务器实现
package com.bigdata.jboss.basic;
import org.jboss.netty.channel.Channel;
import org.jboss.netty.channel.ChannelHandlerContext;
import org.jboss.netty.channel.ExceptionEvent;
import org.jboss.netty.channel.MessageEvent;
import org.jboss.netty.channel.SimpleChannelHandler;
...
netty discard 例子
- 博客分类：
- netty
// 业务逻辑处理
package com.bigdata.jboss.basic;
import org.jboss.netty.channel.ChannelHandlerContext;
import org.jboss.netty.channel.ExceptionEvent;
import org.jboss.netty.channel.MessageEvent;
import org.jboss.netty.channel.SimpleChannelHandler;
public class DiscardServerHandler extends S ...
mapred-site.xml 默认参数
- 博客分类：
- hadoop
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Do not modify this file directly. Instead, copy entries that you -->
<!-- wish to modify from this file into mapred-site.xml and change them -->
<!-- there ...
hadoop 节点计算使用内存量
- 博客分类：
- hadoop
计算公式：
(Map + Red) x Child Heap
+
DN heap
+
TT heap
+
RS heap
+
OS (20% of RAM)
问题：
10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes contain current block
解决：
An Hadoop HDFS datanode has an upper bound on the number of files that it will serve at any one time. The upper bound para ...
HBaseAdmin may leak ZooKeeper connections
When master crashs, HBaseAdmin will leaks ZooKeeper connections
I think we should close the zk connetion when throw MasterNotRunningException
public HBaseAdmin(Configuration c)
throws MasterNotRunningException, ZooKeeperConnectionException {
this.conf = HBas ...
Opening a table also opens the metatable and never closes it.
Having upgraded to CDH3U3 version of hbase we found we had a zookeeper connection leak, tracking it down we found that closing the connection will only close the zookeeper connection if all calls to get the connection have been closed, th ...
当配置文件有变更时，需要重新启动服务。
如果只是NN参数有变化，DN是不需要重新启动的。
1.把HDFS设置成safe mode
2.关闭DN进程
3.停止并重启NN进程
4.启动DN进程
[转发］hadoop 默认参数
- 博客分类：
- hadoop
转发：http://myext.cn/other/56013.html
1 获取默认配置
配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:
1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这 ...