一.DataXceiverServer入口
Hadoop学习十五:Hadoop-Hdfs DataXceiverServer源码概述提到
- DataXceiverServer每接收到一个请求,就创建一个DataXceiver来处理该请求。
- DataXceiver首先读取请求版本号并检验;然后再读取一个字节的操作码,根据操作码转入相关的子程序进行处理。本文介绍读数据。
二.读数据
- 读取客户端发送过来的信息。
- blockId:要读取块的block id。
- generationStamp:要读取块的block generationStamp。此时客户端已经知道了block id and generationStamp,至于怎么知道的,后续文章会讲到。
- startOffset:偏移量。
- length:读取长度。
- clientName:客户端名字。
- 根据上述信息创建BlockSender,以上信息都是BlockSender的成员变量。
- 创建BlockSender出错,返回给客户端一个错误状态OP_STATUS_ERROR,不再继续进行下面步骤。创建成功,返回给客户端一个错误状态OP_STATUS_SUCCESS。
- 调用BlockSender.sendBlock发送数据。
- 首先发送应答头。
- checksum
- offset
- 然后发送数据快。
- packetLen:包长度,不好包头。
- offset:偏移量。
- seqno:包序列号。
- tail:是否最后一个包,(offset + len >= endOffset) ? 1 : 0)。
- len:数据长度。
- checksum:校验数据。
- data:block数据块。
相关推荐
hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar hadoop-yarn-client-3.1.1.jar hadoop-client-api-3.1.1.jar hadoop-hdfs-client-3.1.1.jar hadoop-mapreduce-client-jobclient...
hadoop源码2.2.0 Apache Hadoop 2.2.0 is the GA release of Apache Hadoop 2.x. Users are encouraged to immediately move to 2.2.0 since this release is significantly more stable and is guaranteed to ...
编译hadoophadoop-3.2.2-src的源码
02-hdfs源码跟踪之打开输入流总结.avi 03-mapreduce介绍及wordcount.avi 04-wordcount的编写和提交集群运行.avi 05-mr程序的本地运行模式.avi 06-job提交的逻辑及YARN框架的技术机制.avi 07-MR程序的几种提交...
hadoop平台下hdfs和mapreduce的源码分析。
02-hdfs源码跟踪之打开输入流总结.avi 03-mapreduce介绍及wordcount.avi 04-wordcount的编写和提交集群运行.avi 05-mr程序的本地运行模式.avi 06-job提交的逻辑及YARN框架的技术机制.avi 07-MR程序的几种提交...
│ ├─视频-零基础学习Hadoop3.0-HDFS从入门到源码 │ │ │ 00--课程内容大纲和学习目标.mp4 │ │ │ 01--大数据课程导论--大数据概念.mp4 │ │ │ 02--大数据课程导论--大数据特点(5V特征).mp4 │...
java操作Hadoop源码之HDFS Java API操作-上传文件,附带所需全部jar包,欢迎下载学习。
java操作Hadoop源码之HDFS Java API操作-创建目录,附带所需全部jar包,欢迎下载学习。
Hadoop 2.X HDFS源码剖析-高清-完整目录-2016年3月,分享给所有需要的人!
2.2 hadoop 10 2.2.1 第一步:解压 10 2.2.2 第二步:配置core-site.xml 11 2.2.3 第三步:配置hdfs-site.xml 11 2.2.4 第四步:配置mapred-site.xml 13 2.2.5 第五步:配置yarn-site.xml 13 2.2.6 第六步:配置...
hdfs源码剖析 基于hadoop2.6 hdfs源码剖析 基于hadoop2.6
Hadoop_2.X_HDFS源码剖析_带索引书签目录_徐鹏,内容不错,值得阅读!
阅读《Hadoop 2.X HDFS源码剖析》可以帮助读者从架构设计与源码实现角度了解HDFS 2.X,同时还能学习HDFS 2.X框架中优秀的设计思想、设计模式、Java语言技巧以及编程规范等。这些对于读者全面提高自己的技术水平有很...
hadoop 2.7.2 源码,不用去别的地方找了,直接下载下来就能看hadoop的源码
Hadoop 培训课程(2)HDFS 分布式文件系统与HDFS HDFS体系结构与基本概念*** HDFS的shell操作*** java接口及常用api*** ---------------------------加深拓展---------------------- RPC调用** HDFS的分布式存储架构的...