接下来的工作需要用hive来查询hbase中已经存在的表,周末闲下来研究一下,用百度搜了半天,说的都不是很详细,只是有一个简单的建表语句,根本没有说明hbase的table如何和hive建立的table在column级别做映射,没办法,还得用google。
首先来一段建表语句:
create table yourtable(column1 string, column2 int,column3 string)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties("hbase.columns.mapping"=
"yourhbasecolumnfamily1:yourhbasecolumn1,:key,
yourhbasecolumnfamily2:yourhbasecolumn3")
tblproperties("hbase.table.name"="yourhbasetable");
上面这个建表语句表示建立一个hive table 名字叫做yourtable ,同时映射到hbase table 名字叫做 yourhbasetable上,yourtable的column1映射到yourhbasetable的yourhbasecolumnfamily1上的yourhbasecolumn1字段,column2字段是key(备注:个人猜测可能是关联到yourhbasetable的rowkey,如果各位道友有知道的可以评论告知在下,感激不尽),column3字段关联到yourhbasetable的yourhbasecolumnfamily2上的yourhbasecolumn3字段。
以上是建立一个hbase不存在的表,如果hbase已经存在表,应该使用create external table...后面都是一样的 ,使用external 关键字来修饰table 表示关联到hbase中已经存在的表。
分享到:
相关推荐
被编译的hive-hbase-handler-1.2.1.jar,用于在Hive中创建关联HBase表的jar,解决创建Hive关联HBase时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop....
hive和hbase整合的时候,如果出现不兼容的情况需要手动编译:hive-hbase-hander-1.2.2.jar把这个jar替换掉hive/lib里的那个jar包
配置,测试,导入数据详细操作,CREATE TABLE hive_hbase_table(key int, value string,name string) hadoop jar /usr/lib/hbase/hbase-0.90.4-cdh3u3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY, catgyname...
HBase2.1.3整合Hive3.1.2,Hive官方的hive-hbase-handler-3.1.1.jar包不好用,自己编译后的,确认好用
hive0.8.1和hbase0.92.0集成的hive-hbase-handler.Jar包,里面包含:hbase-0.92.0.jar、hbase-0.92.0-tests.jar、hive-hbase-handler-0.9.0-SNAPSHOT.jar。经测试没有问题。
hive和hbase的整合所需要的编译后的jar包。 注意:这里的hbase版本为:1.2.1 hive的版本为:1.2.1
hive0.10.0和hbase0.94.4集成的hive-hbase-handler.Jar包,经测试没有问题。
该文档保护了目前比较流行的大数据平台的原理过程梳理。Hadoop,Hive,Hbase,Spark,MapReduce,Storm
详细介绍了Hive,Hbase,MySQL的区别和优缺点分析
hive与hbase整合经验谈
Hive-1.2.1与HBase-1.3.1兼容处理的jar包 hive-hbase-handler-1.2.2.jar
Hadoop Hive与Hbase整合配置
大数据工具篇之Hive与HBase整合完整教程
2019-08----2019-10工作期间所用到的hive和HBASE的jar包
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
由于大数据里面涉及到非关系型数据库如hive、kudu、hbase等的数据迁移,目前涉及到的迁移工具都没有支持hive数据库的事务表的迁移,如果hive库里面存在大量的事务表的时候,目前的工具都是不支持的,例如华为的CDM,...
Hive与Hbase的整合,集中两者的优势,使用HiveQL语言,同时具备了实时性