1、HBase版本hbase-0.20.5,Hadoop的版本hadoop-0.20.2,JDK1.6
2、如果想通过MR对hbase进行一些操作,首先是需要做一些配置内容的,配置的流程如下:
a、默认安装完成了hadoop和hbase
b、首先引入环境变量(修改/etc/profile文件,在文件末尾追加下面内容):
# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_20
export JRE_HOME=/usr/java/jdk1.6.0_20/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/jz/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH
export HBASE_HOME=/jz/hbase-0.20.5
export PATH=$PATH:$HBASE_HOME/bin
export ZOOKEEPER_HOME=/jz/zookeeper-3.3.1
export PATH=$PATH:$ZOOKEEPER_HOME/bin
export HIVE_HOME=/jz/hive-0.5.0-bin
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.20.5.jar:$HBASE_HOME/hbase-0.20.5-test.jar:$HBASE_HOME/conf:${HBASE_HOME}/lib/zookeeper-3.2.2.jar
c、将/jz/hbase-0.20.5/conf下的hbase-site.xml拷贝到hadoop的conf目录下,同时在/jz/hbase-0.20.5目录下,将hbase-0.20.5.jar、hbase-0.20.5-test.jar和/jz/hbase-0.20.5/lib/zookeeper-3.2.2.jar拷贝到hadoop/lib目录下。
d、至此,配置完成,可以开始试下了!
3、如果大家英文好,可以看看wiki的链接http://hbase.apache.org/docs/current/api/org/apache/hadoop/hbase/mapreduce/package-summary.html#package_description
4、如何使用M/R来操hbase,最典型的应用就是录入数据,可以参看hadoop权威指南,中关于hbase的介绍单元。
5、改完配置之后,记得重启hadoop集群和hbase服务。
6、如果有问题或是疑问,可以发邮件dajuezhao@gmail.com共同讨论。
分享到:
相关推荐
人脸识别,车辆识别,一人一档,一车一档 hadoop map reduce hbase
使用 HBase 和 Map Reduce 的迭代 k 均值 问题陈述 通过迭代运行 Map Reduce 作业,在 HBase 平台上使用 K-means 对能源效率数据集 ( ) 进行聚类。 数据加载到 Hbase 由 DataLoader 类执行。 该类将 Energy ...
hadoop中Map-Reduce使用示例,输入(DBInputFormat),输出(DBOu-MR_HBase
2. 用户行为分析系统: 3. HBase如何实现模糊查询 4. map/reduce过程,如何用map/reduce实现两个数据源的联合统计
spark本地模式访问hbase表进行map reduce操作
Hadoop本身,实现的是分布式的文件系统HDFS,和分布式的计算(Map/Reduce)框架,此外,它还不是一个人在战斗,Hadoop包含一系列扩展项目,包括了分布式文件数据库HBase(对应Google的BigTable),分布式协同服务...
HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作.
可通过Map / Reduce或接口机制(例如Apache Hive和Impala)或某些“本机” SQL技术(例如Apache Phoenix)进行对HBase数据SQL访问。 尽管前者的实现和使用成本通常较低,但它们的延迟和效率通常无法与后者相提并论...
设计了适合通信社会网络数据特色的 Map/Reduce算法。通过MaP和Reduee函数实现了数据的并行查询和处理。在数据查询过程中,还将数据遍历过程放Reduce函数中,从而使广度优先搜索算法的层次遍历过程也能够并行运行。这...
存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可以通过web界面对HBase进行管理和查看当前运行...
了解Map-Reduce原理,能书写Map-Reduce程序 了解HDFS原理,能熟练地对HDFS中的文件进行管理 能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell...
使用Hadoop平台下的分布式、非结构化数据库HBase对海量时态数据进行存储,构造以时态集合为时态存储单元的时态数据存储模型;针对分布式处理特征和时态集合数据类型,提出一种在Map/Reduce编程计算模式下进行海量...
Apache Phoenix通过提供一个利用Apache HBase... 它包括与Hadoop生态系统中的Apache Spark,Pig,Flume,Map Reduce和其他产品的集成。 它可以作为JDBC驱动程序进行访问,并可以通过标准SQL查询,更新和管理HBase表。...
HBase是ApacheHadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作HBase是...
存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可以通过web界面对HBase进行管理和查看当前运行...
3.HBASE的Map、Reduce继承类和序列化类是什么 4.简述容量调度的配置方法 5.简述mapreduce流程 6.简述二次排序算法 有输入数据如下所示: 1 2 2 3 2 1 4 6 3 1 3 8 3 2 需要使用二次排序算法,得到如下处理结果: 1 2...