最新文章列表

hadoop2.7.3集群搭建

Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算             
fangyong2006 评论(0) 有340人浏览 2017-06-01 14:04

Hadoop-2.5.2在Win10上的伪分布式单节点配置

<div class="iteye-blog-content-contain" style="font-size: 14px"> Hadoop-2.5.2可以在win10系统上直接运行,而不需要Cygwin。下面来介绍配置过程: 一、下载Hadoop-2.5.2 在http://hadoop.apache.org/releases.htm ...
anhongyang125 评论(0) 有661人浏览 2016-11-29 13:26

hadoop2x-eclipse-plugin的制作

https://github.com/winghc/hadoop2x-eclipse-plugin
雨一直下 评论(0) 有574人浏览 2014-07-06 22:27

hadoop 2.x升级异常

1、通过FileSystem这个API去访问hdfs上面的文件,需要使用本地库文件libhadoop.so时,当库文件版本不一致时会出现以下异常: Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.security.JniBasedUnixGroupsMapping.anchorNative()V at org.apa ...
kjkhi 评论(0) 有2236人浏览 2014-06-19 11:54

HBase 0.96配置 snappy(绝对有效哦亲)

通常情况下,snappy压缩算法无非是hbase 最好的伴侣,不过这里不介绍 snappy 算法,也不介绍如何安装 snappy,这里只记录如何给 hbase 0.96X-hadoop2版本开启 snappy 支持。如果你在尝试为 hbase 96+hadoop2开启 snappy 压缩的时候遇到 java.lang.RuntimeException: native snappy library ...
半点玻璃心 评论(5) 有3988人浏览 2014-02-12 14:10

HBASE 代码阅读笔记-1 - PUT-3-提交任务1 (0.96-HADOOP2)

看看提交任务的代码吧。对应http://dennis-lee-gammy.iteye.com/admin/blogs/1973249 TODO 【4】 public void sendMultiAction(final List<Action<Row>> initialActions, Map<HReg ...
半点玻璃心 评论(0) 有1389人浏览 2013-11-10 19:04

HBASE 代码阅读笔记-1 - PUT-2-定位RS和R-1(0.96-HADOOP2)

按照94的阅读进度,这里该看如何定位RS和Region了 先回顾下94,原来的做法是遍历操作,然后根据每个操作来定位region,按后加入region的任务队列,没有则创建。定位region的操作由HConnectionManager.HConnectionImplementation.locateRegion方法完成,这里由AsyncProcessor.findDestLocation完成 这里 ...
半点玻璃心 评论(0) 有1993人浏览 2013-11-08 19:54

HBASE 代码阅读笔记-1 - PUT操作客户端主流程(基于0.96.0-hadoop2)

又回来了,还是看put,不过版本号变了,希望看0.94的童靴移驾到http://dennis-lee-gammy.iteye.com/admin/blogs/1972269 put和doput方法变化不大,唯一就是原来的缓存队列名字里面加了一个async,然后类型由ArrayList变成了LinkedList。 flushCommit方法 public void flushCommits() ...
半点玻璃心 评论(0) 有4449人浏览 2013-11-08 19:23

大数据系列12:Hadoop2 – 全新的Hadoop

wget http://mirrors.hust.edu.cn/apache/hadoop/common/stable2/hadoop-2.2.0.tar.gz tar -xzvf hadoop-2.2.0.tar.gz cd hadoop-2.2.0 vi etc/hadoop/hadoop-env.sh 修改: export  JAVA_HOME=/home/ysc/jdk1.7. ...
yangshangchuan 评论(6) 有9174人浏览 2013-11-01 00:02

【转】Hadoop0.23.0初探2---HDFS Federation部署

Hadoop的目录文件结构: . |-- LICENSE.txt |-- NOTICE.txt |-- README.txt |-- bin |-- conf |-- etc |-- export_hadoop.sh |-- hadoop-0.23.0-gridmix.jar |-- hadoop-0.23.0-streaming.jar |-- hadoop-mapreduc ...
superlxw1234 评论(0) 有1472人浏览 2012-06-01 16:46

【转】Hadoop0.23.0初探1---前因后果

最近Hadoop社区最火热的事情莫过于Hortonworks公布了Hadoop最新版本(0.23.0),它标志着Hadoop新时代的到来。本文作 为系列文章的第一篇,将结合Hadoop-0.20.*的 ...
superlxw1234 评论(0) 有1703人浏览 2012-06-01 16:44

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics