-
-
Hadoop学习
收藏Hadoop-Hdfs Hadoop-MapReduce HBase等源码阅读
分享到：
最近更新文章
Hadoop学习十九：Hadoop-Hdfs 通信机制VersionedProtocol工作原理
一.RPC
在http://zy19982004.iteye.com/blog/1875969里曾经提到VersionedProtocol v = RPC.getProxy(...);得到一个Java代理类。实际上RPC就是建立在VersionedProtocol的基础上的。
二.VersionedProtocol类图
三.工作原理
以Client与NameNo ...
Hadoop学习十八：Hadoop-Hdfs DataXceiverServer源码其它操作及总结
一. 其它操作
public static final byte OP_REPLACE_BLOCK = (byte) 83;
public static final byte OP_COPY_BLOCK = (byte) 84;
public static final byte OP_BLOCK_CHECKSUM = (byte) 85;
二.REPLACE_BLOCK ...
Hadoop学习十七：Hadoop-Hdfs DataXceiverServer源码写数据
一.写数据
DataXceiver的writeBlock方法用于客户端(Client或DataNode)的写数据请求。
二.单一流程
读取客户端发送过来的消息(下文称之为“请求参数”)
blockId：要写入块的block id。
generationStamp：要写入块的block generationStamp。
pipelineSize：num o ...
Hadoop学习十六：Hadoop-Hdfs DataXceiverServer源码读数据
一.DataXceiverServer入口
Hadoop学习十五：Hadoop-Hdfs DataXceiverServer源码概述提到
DataXceiverServer每接收到一个请求，就创建一个DataXceiver来处理该请求。
DataXceiver首先读取请求版本号并检验；然后再读取一个字节的操作码，根据操作码转入相关的子程序进行处理。本文介绍读数据。
...
Hadoop学习十五：Hadoop-Hdfs DataXceiverServer源码概述
一.DataXceiverServer类图
二.DataXceiverServer
Server used for receiving/sending a block of data.This is created to listen for requests from clients or other DataNodes. This small server does no ...
Hadoop学习十四：Hadoop-Hdfs FSDataset源码
一.FSDataset类图
二.FSVolume FSDir物理概念
三.Block
Block类只代表一个block的标识，看Block类的属性便知；Block类不代表block文件。
blk_1150083481087817002是block；%hadoop_home%/dfs/data/current/blk_115008348108781700是block文件 ...
Hadoop学习十三：Hadoop-Hdfs DataStorage源码
一.DataStorage
DataStorage继承Storage。
DataStorage对应Hdfs的dfs.data.dir目录。
DataNode启动时，检查恢复状态转换dfs.data.dir下所有的StorageDirectory。
二.DataStorage类图
三.详细描述
org.apache.hadoop.hdfs.server.proto ...
Hadoop学习十二：Hadoop-Hdfs Storage源码
一.物理文件夹和文件与类的对应关系
Storage：存储信息文件的集合。由一系列StorageDirectory组成，这些StorageDirectory的VERSION相同。Storage对应着Hdfs的dfs.data.dir或dfs.name.dir目录，默认为%hadoop_home%/dfs/data或%hadoop_home%/dfs/name。DataNode可以配置 ...
Hadoop学习十一：Hadoop-Hdfs RPC总结
一.本文初衷
我曾经写过一篇文章容器学习一：HashMap源码分析，后来有网友对我说，全文不介绍HashMap怎么使用，只介绍了源码，有点孤立。到昨天又有网友对我说，看了你的分析RPC的三篇文章，并没有理解RPC到底是个什么玩意，给我留下的影响只有Java反射。这个就是我写本文的原因：源码是进去，本文再跳出来做一个全局的描述。
二.RPC概念
RPC(Remote Pr ...
Hadoop学习十：Hadoop-Hdfs RPC源码 RPC
一.RPC类图
二.详细描述
Server：继承org.apache.hadoop.ipc.Server(Hadoop学习九：Hadoop-hdfs RPC源码 Server)。我们称之为RPC Server。
/** An RPC Server. */
public static class Server extends org.apache.hadoop.ipc.Ser ...
Hadoop学习九：Hadoop-hdfs RPC源码 Server
一.Server类图
二.详细描述
Call：server端的Call对象，对应着client的一个Call对象，两者id相同。同client Call一样，server Call封装了每次方法调用的参数信息和调用结果。
//server端的Call对象，对应着client的一个Call对象，两者id相同
private static class Call {
...
Hadoop学习八：Hadoop-Hdfs RPC源码 Client
一.Client类图
二.详细描述
ConnectionId：This class holds the address and the user ticket. The client connections to servers are uniquely identified by <remoteAddress, protocol, ticket>。一个connecti ...
Hadoop学习七：Hadoop-Hdfs源码 conf包
一.conf包下四个类
二.详细描述
Configurable接口：Something that may be configured with a {@link Configuration}.，很绕口，简单理解为Hdfs系统配置文件的接口。
Configured：Base class for things that may be configured with a {@lin ...
Hadoop学习六：Hadoop-Hdfs源码 classification包
一.org.apache.hadoop.classification.*
二.解释
InterfaceAudience类包含三个注解类，用来说明被注解类的使用范围。
InterfaceAudience.Public：所有工程可以使用被注解类。
InterfaceAudience.LimitedPrivate：指定的某些工程可以使用被注解类。For example, &qu ...
Hadoop学习五：Hadoop-Hdfs DataNode
一.数据块
HDFS默认数据块大小64M。
文件大于64M，将被分为若干份64M+其它M存储；文件小于64M，并不会占用整个64M大小，对于小文件，HDFS提供了几种解决方案：Hadoop Archive，Sequence file和CombineFileInputFormat，后面看源码时详解。
二.DataNode
数据节点是真正存储数据的地方。
周期性向Name ...
Hadoop学习四：Hadoop-Hdfs NameNode
一.NameNode概述
NameNode存放了所有文件和文件夹的元数据信息
内存中：在系统启动时，会把fsimage和editlog记录的元数据信息加装到内存中；在系统启动时，NameNode收集DataNode心跳，在内存中形成file->blocks的对应关系。
硬盘上：操作日志以fsimage和editlog的形式持久化在硬盘上。
NameNode分类
Name ...
Hadoop学习三：Hadoop-Hdfs物理文件夹
一.NameNode物理文件夹
二.DataNode物理文件夹
Hadoop学习二：Hadoop来历以及Doug Cutting
一.Hadoop来历
2004年12月。Google发表了MapReduce论文，MapReduce允许跨服务器集群，运行超大规模并行计算。Doug Cutting意识到可以用MapReduce来解决Lucene的扩展问题。
Google发表了GFS论文。
Doug Cutting根据GFS和MapReduce的思想创建了开源Hadoop框架。
2006年1月，Doug Cuttin ...
Hadoop学习一：Hadoop版本
一.Hadoop社区版和发行版
社区版：我们把Apache社区一直开发的Hadoop称为社区版。简单的说就是Apache Hadoop http://hadoop.apache.org/
发行版：基于Apache Hadoop的基础上进行商业改造的解决方案，包含一系列定制的管理工具和软件。
二.Hadoop社区版版本号
一直以来，Hadoop的版本号一直困扰着广大Had ...
- 专栏创建者：zy19982004
- 创建时间：2014-03-28 14:24:22
- 专栏文章数：40篇
- 专栏被浏览：249826 次
本专栏热门文章
最新评论
请问,你知道在FSEdigLog#loadFSEdits()时为什么先unprotectedDelet ...
leibnitz 评论了 Hadoop学习二十三：Hadoop-Hdfs FSDirector ...
leibnitz 评论了 Hadoop学习二十三：Hadoop-Hdfs FSDirector ...
楼主你好！我运行报错SLF4J: Class path contains multiple SLF4J ...
emotionText 评论了 Hadoop学习三十：Win7 Eclipse调试Centos H ...
emotionText 评论了 Hadoop学习三十：Win7 Eclipse调试Centos H ...
Hello你的World 写道..分享下,那个错误确实是个配置的易错点,是eclipse指定本地had ...
Ziven09 评论了 Hadoop学习三十：Win7 Eclipse调试Centos H ...
Ziven09 评论了 Hadoop学习三十：Win7 Eclipse调试Centos H ...
楼主我也是出了这个问题，但是我直接跑程序是没问题，我放在tomcat下运行程序就会出现这个问题，按照你 ...
暂不存在 评论了 Hadoop学习三十：Win7 Eclipse调试Centos H ...
暂不存在 评论了 Hadoop学习三十：Win7 Eclipse调试Centos H ...
Hello你的World 写道向lz请教下.在eclipse链接hadoop集群时需要注意什么么?我运 ...
sungang_1120 评论了 Hadoop学习三十：Win7 Eclipse调试Centos H ...
sungang_1120 评论了 Hadoop学习三十：Win7 Eclipse调试Centos H ...
, songyuejs 写道楼主，我按照你的帖子一步一步改到最后，结果还是有错误。我发现作业提交成功了 ...
zy19982004 评论了 Hadoop学习三十二：Win7下无法提交MapReduc ...
zy19982004 评论了 Hadoop学习三十二：Win7下无法提交MapReduc ...
楼主，我按照你的帖子一步一步改到最后，结果还是有错误。我发现作业提交成功了，可是运行出现如下错误：20 ...
songyuejs 评论了 Hadoop学习三十二：Win7下无法提交MapReduc ...
songyuejs 评论了 Hadoop学习三十二：Win7下无法提交MapReduc ...