`
dajuezhao
  • 浏览: 59717 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

配置HBase使用Map/Reduce

阅读更多

1、HBase版本hbase-0.20.5,Hadoop的版本hadoop-0.20.2,JDK1.6

2、如果想通过MR对hbase进行一些操作,首先是需要做一些配置内容的,配置的流程如下:

a、默认安装完成了hadoop和hbase

b、首先引入环境变量(修改/etc/profile文件,在文件末尾追加下面内容):
# set java environment

export JAVA_HOME=/usr/java/jdk1.6.0_20

export JRE_HOME=/usr/java/jdk1.6.0_20/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH


export HADOOP_HOME=/jz/hadoop-0.20.2

export PATH=$HADOOP_HOME/bin:$PATH


export HBASE_HOME=/jz/hbase-0.20.5

export PATH=$PATH:$HBASE_HOME/bin


export ZOOKEEPER_HOME=/jz/zookeeper-3.3.1

export PATH=$PATH:$ZOOKEEPER_HOME/bin


export HIVE_HOME=/jz/hive-0.5.0-bin

export PATH=$PATH:$HIVE_HOME/bin

export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.20.5.jar:$HBASE_HOME/hbase-0.20.5-test.jar:$HBASE_HOME/conf:${HBASE_HOME}/lib/zookeeper-3.2.2.jar

c、将/jz/hbase-0.20.5/conf下的hbase-site.xml拷贝到hadoop的conf目录下,同时在/jz/hbase-0.20.5目录下,将hbase-0.20.5.jar、hbase-0.20.5-test.jar和/jz/hbase-0.20.5/lib/zookeeper-3.2.2.jar拷贝到hadoop/lib目录下。

d、至此,配置完成,可以开始试下了!

3、如果大家英文好,可以看看wiki的链接http://hbase.apache.org/docs/current/api/org/apache/hadoop/hbase/mapreduce/package-summary.html#package_description

4、如何使用M/R来操hbase,最典型的应用就是录入数据,可以参看hadoop权威指南,中关于hbase的介绍单元。

5、改完配置之后,记得重启hadoop集群和hbase服务。

6、如果有问题或是疑问,可以发邮件dajuezhao@gmail.com共同讨论。

分享到:
评论

相关推荐

    hadoop map reduce hbase 一人一档

    人脸识别,车辆识别,一人一档,一车一档 hadoop map reduce hbase

    hbase-kmeans:使用 HBase 和 Map Reduce 的迭代 k 均值

    使用 HBase 和 Map Reduce 的迭代 k 均值 问题陈述 通过迭代运行 Map Reduce 作业,在 HBase 平台上使用 K-means 对能源效率数据集 ( ) 进行聚类。 数据加载到 Hbase 由 DataLoader 类执行。 该类将 Energy ...

    hadoop中Map-Reduce使用示例,输入(DBInputFormat),输出(DBOu-MR_HBase.zip

    hadoop中Map-Reduce使用示例,输入(DBInputFormat),输出(DBOu-MR_HBase

    14、大数据(3题)1

    2. 用户行为分析系统: 3. HBase如何实现模糊查询 4. map/reduce过程,如何用map/reduce实现两个数据源的联合统计

    spark访问hbase

    spark本地模式访问hbase表进行map reduce操作

    分布式基础学习hadoop

    Hadoop本身,实现的是分布式的文件系统HDFS,和分布式的计算(Map/Reduce)框架,此外,它还不是一个人在战斗,Hadoop包含一系列扩展项目,包括了分布式文件数据库HBase(对应Google的BigTable),分布式协同服务...

    Hbase入门篇

    HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作.

    Spark-SQL-on-HBase:通过Spark SQLDataframe接口对HBase数据的本地优化访问

    可通过Map / Reduce或接口机制(例如Apache Hive和Impala)或某些“本机” SQL技术(例如Apache Phoenix)进行对HBase数据SQL访问。 尽管前者的实现和使用成本通常较低,但它们的延迟和效率通常无法与后者相提并论...

    基于Hadoop平台的通信数据分布式查询算法的设计与实现

    设计了适合通信社会网络数据特色的 Map/Reduce算法。通过MaP和Reduee函数实现了数据的并行查询和处理。在数据查询过程中,还将数据遍历过程放Reduce函数中,从而使广度优先搜索算法的层次遍历过程也能够并行运行。这...

    HBase超详细介绍

    存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可以通过web界面对HBase进行管理和查看当前运行...

    完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 07 Hbase 共49页.pptx

    了解Map-Reduce原理,能书写Map-Reduce程序 了解HDFS原理,能熟练地对HDFS中的文件进行管理 能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell...

    论文研究-基于Hadoop的时态信息存储与时态关系演算问题研究.pdf

    使用Hadoop平台下的分布式、非结构化数据库HBase对海量时态数据进行存储,构造以时态集合为时态存储单元的时态数据存储模型;针对分布式处理特征和时态集合数据类型,提出一种在Map/Reduce编程计算模式下进行海量...

    phoenix

    Apache Phoenix通过提供一个利用Apache HBase... 它包括与Hadoop生态系统中的Apache Spark,Pig,Flume,Map Reduce和其他产品的集成。 它可以作为JDBC驱动程序进行访问,并可以通过标准SQL查询,更新和管理HBase表。...

    Hbase架构与原理

    HBase是ApacheHadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作HBase是...

    HBase入门篇

    存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可以通过web界面对HBase进行管理和查看当前运行...

    java大数据作业_5Mapreduce、数据挖掘

    3.HBASE的Map、Reduce继承类和序列化类是什么 4.简述容量调度的配置方法 5.简述mapreduce流程 6.简述二次排序算法 有输入数据如下所示: 1 2 2 3 2 1 4 6 3 1 3 8 3 2 需要使用二次排序算法,得到如下处理结果: 1 2...

Global site tag (gtag.js) - Google Analytics