Hadoop学习
收藏

Hadoop-Hdfs Hadoop-MapReduce HBase等源码阅读

分享到: Sina Tec

最近更新文章

Hadoop学习四十:Phoenix二级索引浅谈

一.概述 Hadoop2.2.0   Hbase0.96.1.1  Phoenix-2.2.0-SNAPSHOT Phoenix官网上提供了三个与Hbase兼容的版本,分别为Phoenix2.X-Hbase0.94.X ,Phoenix3.X-Hbase0.94.X,Phoenix4.X-Hbase0.98.1+,没有与Hbase0.96兼容的版本。幸运的是git上有Phoenix Hba ...
 
zy19982004 评论(1) 有19202人浏览 2014-06-30 09:34

Hadoop学习三十九:HBase与MapReduce集成

一.概述      HBase与MapReduce集成时,有以下三种情形 HBase作为数据流向。 HBase作为数据源。 HBase作为数据源和数据流向。      阅读本文前,最好先了解http://zy19982004.iteye.com/blog/2068112       二.HBase作为数据流向       HBase作为数据流向时,如从Hdfs里向HBase里 ...
 
zy19982004 评论(0) 有10778人浏览 2014-05-19 14:09

Hadoop学习三十八:MapReduce job.setNumReduceTasks(0)思考

一.概述       在http://zy19982004.iteye.com/blog/2037549的最后曾经提到过,这里再详细探讨一下。   二.job.setNumReduceTasks(0)唯一影响的是map结果的输出方式 ...
 
zy19982004 评论(0) 有13433人浏览 2014-05-19 11:01

Hadoop学习三十七:HBase比较负数

一.HBase存储      HBase存储的都是字节码。我们也知道,计算机系统里,数值一律采用补码来表示和存储(http://zy19982004.iteye.com/blog/1706138)。      那么Integer(-1)在HBase里将被存储为\xFF\xFF\xFF\xFF,Integer(1)在Hbase里将被存储为\x00\x00\x00\x01。      再来看看 ...
 
zy19982004 评论(0) 有5966人浏览 2014-05-16 11:10

Hadoop学习三十六:使用BulkLoad时Bulk load operation did not find any files

一.错误      使用BulkLoad向Hbase导入数据时出现了错误 2014-04-04 15:39:08,521 WARN org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles - Bulk load operation did not find any files to load in directory hdfs://1 ...
 
zy19982004 评论(0) 有8147人浏览 2014-04-05 20:24

Hadoop学习三十四:Hadoop-MapReduce Job本地运行流程

一. 版本环境      以前工作的过程中,陆陆续续看过一些Hadoop1.0 MapReduce的源码,但没有形成体系。现在再次来看,顺便记录。此次学习版本的是Hadoop2.2.0 MapReduce。环境为直接在Win7下Local模式调试。MapReduce。   二. Job提交流程      从Job waitForCompletion开始 1 Job submit 1. ...
 
zy19982004 评论(0) 有7757人浏览 2014-03-27 15:40

Hadoop学习三十三:Hadoop-HBase Bulk Load使用翻译

一. 地址      http://hbase.apache.org/book.html#arch.bulk.load       写道 9.8. Bulk Loading 9.8.1. Overview HBase includes several methods of loading data into tables. The most straightforward method ...
 
zy19982004 评论(0) 有2404人浏览 2014-03-18 14:20

Hadoop学习三十二:Win7下无法提交MapReduce Job到集群环境

一. 对hadoop eclipse plugin认识不足       http://zy19982004.iteye.com/blog/2024467曾经说到我最hadoop eclipse plugin作用的认识。但事实上我犯了一个错误,Win7 Eclipse里的MyWordCount程序一直在本地运行,没有提交到集群环境上运行(查看192.168.1.200:50030)没有这个Job ...
 
zy19982004 评论(11) 有41155人浏览 2014-03-14 15:27

Hadoop学习三十一:Win7下HBase与MapReduce集成时XXX.jar is not a valid DFS filename

一. 代码      Hbase In Action(HBase实战)和Hbase:The Definitive Guide(HBase权威指南)两本书中,有很多入门级的代码,可以选择自己感兴趣的check out。地址分别为https://github.com/HBaseinaction https://github.com/larsgeorge/hbase-book。 在Win7下运行 ...
 
zy19982004 评论(1) 有13791人浏览 2014-03-12 09:48

Hadoop学习三十:Win7 Eclipse调试Centos Hadoop2.2-Mapreduce

  一. 自己搭建开发环境      今天自己搭建了一套Centos5.3 + Hadoop2.2 + Hbase0.96.1.1的开发环境,Win7 Eclipse调试MapReduce成功。可能是版本比较高的原因,出了问题,网上找不到完整解决方案,只能靠自己。   二. Hadoop安装      这个就不啰嗦了,网上大把文章。我下载的是hadoop-2.2.0.tar.gz。 ...
 
zy19982004 评论(23) 有47888人浏览 2014-03-01 20:01

Hadoop学习二十九:Hadoop-hdfs NameNode源码 成员变量

一. NameNode概述  * The NameNode controls two critical tables: *   1)  filename->blocksequence (namespace) *   2)  block->machinelist ("inodes") * * The first table is stored on disk and ...
zy19982004 评论(0) 有1821人浏览 2013-08-03 15:39

Hadoop学习二十八:Hadoop-hdfs FSNamesystem源码 成员变量

一. FSNamesystem概述      FSNamesystem为DataNode做簿记工作,直接点就是到DataNode的请求都是经过FSNamesystem运算后的。FSNamesystem管理着几个主要的数据结构。 文件名 -> 数据块(存放在FSImage和日志中) 合法的数据块列表(上面关系的逆关系) 数据块 -> DataNode(只保存在内存中,根据Dat ...
zy19982004 评论(0) 有2329人浏览 2013-08-03 14:55

Hadoop学习二十七:Hadoop-Hdfs 权限相关 源码

一.Linux文件/目录权限      http://hi.baidu.com/skyforum/item/9946ef57b371789608be1747,不了解的需要做一个基本的了解。   二. FsAction FsAction对应着文件/目录 ...
zy19982004 评论(0) 有2233人浏览 2013-07-10 23:12

Hadoop学习二十六:Hadoop-Hdfs Lease源码

一. Lease  A Lease governs all the locks held by a single client.   * For each client there's a corresponding lease, whose   * timestamp is updated when the client periodically   * checks in.  If th ...
zy19982004 评论(0) 有1439人浏览 2013-07-09 22:00

Hadoop学习二十五:Hadoop-Hdfs FSImage源码

一. FSImage作用 加载硬盘镜像文件fsimage到内存。 加载硬盘日志文件edits到内存。这个本来是类FSEditlog的事情,但是是由FSImage负责调用。 保存内存中文件层次结构到硬盘文件fsimage中。 保存内存中操作日志到硬盘文件edits上。按照对应关系,觉得是应该有这么一步吧。但遗憾的告诉你,这一步在整个文件系统中不存在。也就是FSImage可以分为内存和硬盘 ...
zy19982004 评论(0) 有2625人浏览 2013-07-04 22:54

Hadoop学习二十四:Hadoop-Hdfs FSEditLog 源码

一. FSEditLog类图   二. FSEditLog FSEditLog提供了对editlog文件的操作方法。简单的类,方法一个个看。 editStreams保存着一个fsimage下所有的editlog文件对应的输出流EditLogOutputStream。 三. FSEditLog方法 void open():Create empty edit log f ...
zy19982004 评论(0) 有2266人浏览 2013-07-03 22:46

Hadoop学习二十三:Hadoop-Hdfs FSDirectory 源码

一. FSDirectory 上文Hadoop学习二十二:Hadoop-Hdfs INode源码讲到INode是文件层次结构的反应。那文件层次结构由谁去维护,就是由FSDirectory维护。 我把从客户端发起一个操作到最终完成这一操作所经过的类,依次划分为外层-底层。那FSNamesystem算的上底层的东西,FSDirectory就是更底层的东西。 所有会导致文件层次结构变化的操作 ...
zy19982004 评论(1) 有2083人浏览 2013-07-03 19:47

Hadoop学习二十二:Hadoop-Hdfs INode源码

一. INode类图   二. INode       We keep an in-memory representation of the file/block hierarchy.This is a base INode class containing common fields for file and directory inodes.INode是文件层次结构的反应。 INo ...
zy19982004 评论(0) 有2945人浏览 2013-06-22 09:52

Hadoop学习二十一:Hadoop-Hdfs DataNode 源码

一. DataNode类图     二. DateNode属性说明  DatanodeProtocol namenode:RPC代理类。RPC.getProxy(nameNodeAddress)得到远程NameNode代理类。后续的versionRequest(),register(),sendHeartbeat(),blockReceived(),blockReport()都是nam ...
zy19982004 评论(0) 有2160人浏览 2013-06-20 22:48

Hadoop学习二十:Hadoop-Hdfs 通信机制VersionedProtocol接口方法

一. VersionedProtocol //使用Hadoop RPC机制的所有协议的超类 //所有子类所以自己的协议号static final long versionID public interface VersionedProtocol { /** * 返回与指定协议protocol相关的协议版本 * @param protocol 协议接口的类名 ...
zy19982004 评论(0) 有3025人浏览 2013-06-16 00:22
  • 专栏创建者:zy19982004
  • 创建时间:2014-03-28 14:24:22
  • 专栏文章数:40篇
  • 专栏被浏览:249389 次

本专栏热门文章

最新评论

请问,你知道在FSEdigLog#loadFSEdits()时为什么先unprotectedDelet ...
leibnitz 评论了 Hadoop学习二十三:Hadoop-Hdfs FSDirector ...
好好学习,天天向上!
annmi_cai 评论了 Hadoop学习四:Hadoop-Hdfs NameNode
楼主你好!我运行报错SLF4J: Class path contains multiple SLF4J ...
emotionText 评论了 Hadoop学习三十:Win7 Eclipse调试Centos H ...
Hello你的World 写道..分享下,那个错误确实是个配置的易错点,是eclipse指定本地had ...
Ziven09 评论了 Hadoop学习三十:Win7 Eclipse调试Centos H ...
楼主我也是出了这个问题,但是我直接跑程序是没问题,我放在tomcat下运行程序就会出现这个问题,按照你 ...
暂不存在 评论了 Hadoop学习三十:Win7 Eclipse调试Centos H ...
Hello你的World 写道向lz请教下.在eclipse链接hadoop集群时需要注意什么么?我运 ...
sungang_1120 评论了 Hadoop学习三十:Win7 Eclipse调试Centos H ...
不错,谢谢!
107x 评论了 Hadoop学习三十:Win7 Eclipse调试Centos H ...
, songyuejs 写道楼主,我按照你的帖子一步一步改到最后,结果还是有错误。我发现作业提交成功了 ...
zy19982004 评论了 Hadoop学习三十二:Win7下无法提交MapReduc ...
楼主,我按照你的帖子一步一步改到最后,结果还是有错误。我发现作业提交成功了,可是运行出现如下错误:20 ...
songyuejs 评论了 Hadoop学习三十二:Win7下无法提交MapReduc ...
你好,能举一个例子么: 我有一张hbase表,已存在的。我想使用phoenix去映射到这张表.
yanyexin 评论了 Hadoop学习四十:Phoenix二级索引浅谈
Global site tag (gtag.js) - Google Analytics