`
david.org
  • 浏览: 155157 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Hadoop-0.21 版本, NEW FEATURES-Append设计文档.

HadoopYahooBlog 
阅读更多
    关于Hadoop的Append功能相信有很多人都会觉得非常有用, 自从0.18.3版本支持Append, Hadoop在此功能上付出了剧痛的代价, 后来版本中, Hadoop干脆加了fs.append.support选项来禁止Append功能的使用.
当时Append功能的bug主要有下面几个 
    * HDFS-142 “Datanode should delete files under tmp when upgraded from 0.17″
    * HADOOP-4692 “Namenode in infinite loop for replicating/deleting corrupted block”
    * HDFS-145 “FSNameSystem#addStoredBlock does not handle inconsistent block length correctly”
    * HDFS-168 “Block report processing should compare g[e]neration stamp”

    大家可以通过http://www.cloudera.com/blog/2009/07/file-appends-in-hdfs/了解append的过去
    后来Hadoop对该功能投入较大精力, 俺也是一直关注着这个功能, 很遗憾的是到现在该功能还处测试, 并且hadoop-0.21这个版本Yahoo!准备skip掉.
    附件中附上HDFS-Append的设计文档，由Contributor Hairong写的，目前还在讨论中.
分享到：
| Java nio的一个严重BUG
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hadoop最新版本3.1.1全量jar包

    hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...

    hadoop-2.10.0jar.zip

    hadoop-annotations-2.10.0.jar hadoop-auth-2.10.0.jar hadoop-common-2.10.0-tests.jar hadoop-common-2.10.0.jar hadoop-nfs-2.10.0.jar hamcrest-core-1.3.jar htrace-core4-4.1.0-incubating.jar httpclient-...

    hadoop-3.1.1.3.1.4.0-315.tar.gz

    ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....

    hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载

    hadoop-2.7.3.tar.gz 下载 目前相对比较稳定的版本 hadoop tar 包下载hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载

    hadoop-lzo-0.4.20.jar

    hadoop支持LZO压缩配置 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/ core-site.xml增加配置支持LZO压缩 <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl...

    hadoop-2.7.4.tar.gz

    虚拟机上的hadoop安装包，版本为hadoop-2.7.4

    hadoop-3.3.4 版本（最新版）

    官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程框架，设计用于跨电脑集群来 处理大数据。Hadoop 是一个能够让用户轻松搭建和使用的...

    hadoop-mapreduce-client-jobclient-2.6.5-API文档-中文版.zip

    赠送原API文档：hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-jobclient-2.6.5-sources.jar； 赠送Maven依赖信息文件：hadoop-mapreduce-client-jobclient-2.6.5....

    hadoop-yarn-common-2.6.5-API文档-中文版.zip

    赠送原API文档：hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码：hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档：hadoop-yarn-common-2.6.5-javadoc-API文档-中文(简体)版.zip 对应Maven信息：...

    flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz

    flink1.14.0与hadoop3.x的兼容包，放在flink的lib目录下

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

    hadoop-eclipse-plugin-2.10.0.jar

    必须注意对于不同的hadoop版本,` HADDOP_INSTALL_PATH/share/hadoop/common/lib`下的jar包版本都不同,需要一个个调整 - `hadoop2x-eclipse-plugin-master/ivy/library.properties` - `hadoop2x-eclipse-plugin-...

    hadoop-yarn-api-2.5.1-API文档-中文版.zip

    赠送原API文档：hadoop-yarn-api-2.5.1-javadoc.jar； 赠送源代码：hadoop-yarn-api-2.5.1-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-api-2.5.1.pom； 包含翻译后的API文档：hadoop-yarn-api-2.5.1-javadoc...

    hadoop-mapreduce-examples-2.7.1.jar

    hadoop-mapreduce-examples-2.7.1.jar

    hadoop-yarn-client-2.6.5-API文档-中文版.zip

    赠送原API文档：hadoop-yarn-client-2.6.5-javadoc.jar； 赠送源代码：hadoop-yarn-client-2.6.5-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-client-2.6.5.pom； 包含翻译后的API文档：hadoop-yarn-client-...

    hadoop-eclipse-plugin-3.1.1.tar.gz

    hadoop-eclipse-plugin-3.1.1, hadoop eclipse 插件 3.1.1

    Hadoop下载 hadoop-3.3.3.tar.gz

    摘要 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。...Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 软件特点 Hadoop是一个

    hadoop-3.2.4.tar.gz

    hadoop-3.2.4.tar.gz

Magicbox
Global site tag (gtag.js) - Google Analytics