前言
每一颗璀璨的钻石,都曾被泥土和杂草埋没过,但正是因为这些,它才显得弥足珍贵。——我自己。
本文不打算介绍HBase的任何资料,旨在通过简洁明了的叙述,在最短时间内搭建一个可以运行的伪分布式环境。
下载HBase
从Apache官网下载hbase-0.92.1,解压到linux用户目录中。并且设置权限
tar -zxvf /mnt/hgfs/PublicData/hbase-0.92.1.tar.gz -C~/hadoop-data
chmod -R 777 ~/hbase-0.92.1
配置HBase
-
修改~/.bashrc文件,添加(可能需要去掉HIVE相关的部分):
export JAVA_HOME=/usr/java/jdk1.7.0_51
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export HIVE_HOME=/home/hadoop/hive-0.6.0
export HBASE_HOME=/home/hadoop/hbase-0.92.1
export PATH=$HIVE_HOME/bin/:$HBASE_HOME/bin/:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
export CLASSPATH=$HADOOP_HOME:$HADOOP_HOME/lib:$HBASE_HOME:$HBASE_HOME/lib:$CLASSPATH
- 复制$HADOOP_HOME下的hadoop-0.20.2-core.jar到$HBASE_HOME/lib下。并且删除(覆盖)原来的hadoop的版本。
-
修改$HBASE_HOME/conf/hbase-env.sh,添加如下内容:
# The java implementation to use. Java 1.6 required.
export JAVA_HOME=/usr/java/jdk1.7.0_51
# Extra Java CLASSPATH elements. Optional.
export HBASE_CLASSPATH=/home/hadoop/hadoop-0.20.2/conf
# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true
上面的红色字体为你的HADOOP_HOME路径
-
在HDFS中创建HBase的数据存放目录:
hadoop fs –mkdir ~/hadoop-data/data/hbase
hadoop fs -chmod -R 777 ~/hadoop-data/data/hbase
-
修改(文件若不存在则自己添加)$HBASE_HOME/conf下的hbase-site.xml为如下内容:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop:9000/home/hadoop/hadoop-data/data/hbase</value>
<description>这里是HBase的数据文件存放地址,需要预先在hadoop中创建</description>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop</value>
<description>本机名</description>
</property>
</configuration>
启动HBase
启动HBase需要首先启动Hadoop,并且退出HDFS的安全模式。
$HADOOP_HOME/bin/start-all.sh
$HADOOP_HOME/bin/hadoop dfsadmin -safemode leave
$HBASE_HOME/bin/start-hbase.sh
启动成功后,进入HBase的Shell进行操作(这里是创建一张'test'表,用以测试HBase的安装成功与否):
$HBASE_HOME/bin/hbase shell
Create 'test','cf1','cf2'
如果看到了和我一样的结果,恭喜你,享受你的HBase之旅吧。
在Eclipse中运行HBase程序
- 复制$HBASE_HOME/lib中的所有jar到工程下(或者扩展添加方式)
- 复制$HBASE_HOME/confx/hbase-site.xml到src下。
-
如下代码:
package org.xiaom.hadoop.hbase;
import java.io.IOException;
/**
* 从HBase的'test'中读取数据,处理后存放到'word_count'中。
* @authorhadoop
*
*/
publicclass ReadHBaseAndWriteToHDFS implements Tool {
private Configuration conf = new Configuration();
publicstaticclass Mapper extends TableMapper<ImmutableBytesWritable, Text>{
protectedvoid map(ImmutableBytesWritable key, org.apache.hadoop.hbase.client.Result value, org.apache.hadoop.mapreduce.Mapper<ImmutableBytesWritable,org.apache.hadoop.hbase.client.Result,ImmutableBytesWritable,Text>.Context context) throws java.io.IOException ,InterruptedException {
Iterator<byte[]> it=value.getMap().keySet().iterator();
System.out.println(key.toString());
while(it.hasNext()){
System.out.println("\t"+new String(it.next())+":"+value.getMap().get(it.next()));
}
};
}
publicstaticclass SearchMapper extends TableMapper<ImmutableBytesWritable, Text> {
protectedvoid map(ImmutableBytesWritable key, Result value,
Context context) throws InterruptedException, IOException {
System.out.println(value.toString());
}
}
@Override
publicvoid setConf(Configuration conf) {
this.conf = conf;
}
@Override
public Configuration getConf() {
returnthis.conf;
}
@Override
publicint run(String[] args) throws Exception {
conf.set(TableInputFormat.INPUT_TABLE, "student");
conf.set(TableOutputFormat.OUTPUT_TABLE, "test");
conf.set("hbase.zookeeper.quorum", "hadoop");
Job job=new Job(this.getConf());
job.setJobName("read-write-hbase");
job.setJarByClass(ReadHBaseAndWriteToHDFS.class);
job.setInputFormatClass(TableInputFormat.class);
job.setOutputFormatClass(TableOutputFormat.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(ImmutableBytesWritable.class);
job.setOutputValueClass(ImmutableBytesWritable.class);
job.setMapperClass(SearchMapper.class);
// InitTestData.initData(conf);
// return 0;
return job.waitForCompletion(true)?1:0;
}
publicstaticvoid main(String[] args) throws Exception {
System.exit(new ReadHBaseAndWriteToHDFS().run(args));
}
}
- 直接尼玛run as java application
一些小提示
分享到:
相关推荐
[Doker+HBASE+HADOOP+Zookeeper]全分布式环境搭建
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
全套的Hadoop+Hbase+Spark+Hive搭建指导手册
hadoop集群配置流程以及用到的配置文件,hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统.zip 语言:Java 框架:springMVC 数据库:HBASE 可以作为毕业设计
hadoop+hbase+hive集群搭建
搭建hadoop单机版+hbase单机版+pinpoint整合springboot
通过VirtualBox安装多台虚拟机,实现集群环境搭建。 优势:一台电脑即可。 应用场景:测试,学习。 注意事项:请严格按照文档操作,作者已经按照文档操作实现环境搭建。 内附百度网盘下载地址,有hadoop+zookeeper+...
七月在线七月在线## Note, this file is written by cloud-init on first boot of an instance
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建
资源包含的整个demo在Hadoop,和Hbase环境搭建好了,可以启动起来。 技术选型 1.Hadoop 2.Hbase 3.SpringBoot ...... 系统实现的功能 1.用户登录与注册 2.用户网盘管理 3.文件在线浏览功能 4.文件上传与下载 基于...
数据仓库hadoop+zookeeper+hbase集群安装方法记录,自己搭建纯手写的记录。相关软件请自行下载
Hadoop+Zookeeper+Hbase+Hive部署
从零开始hadoop+zookeeper+hbase+hive集群安装搭建,内附详细配置、测试、常见error等图文,按照文档一步一步搭建肯定能成功。(最好用有道云打开笔记)
大数据企业实训项目:基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统。使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库,采用SpringMVC+Spring框架实现,包括用户注册与登录、我的网盘、关注...
Hadoop+Zookeeper+HBase环境搭建,详细步骤和实例,从零开始搭建Hadoop集群
Hadoop+Hbase搭建云存储总结
apache-phoenix-4.13.0-HBase-1.3-bin.tar.gz hadoop-2.7.4.tar.gz hbase-1.3.1-bin.tar.gz jdk-8u144-linux-x64.tar.gz kafka_2.12-1.0.0.tgz scala-2.12.4.tar.gz scala-2.12.4.tgz spark-2.2.0-bin-hadoop2.7.tgz...
本文档是hbase集群的搭建文档,包含了搭建中遇到的问题。