在HIVE建表,同时往HBASE里创建此表
DROP TABLE works as usual, but ALTER TABLE is not yet supported for non-native tables.
所以,如果要修改HIVE中非本地表的结构,那么只能 drop table 然后重新创建外部表了
下面这个建表脚本会创建一个HIVE表,同时也会创建一个 HBASE 表
建表脚本:
-------------------------------------------------------------------
CREATE TABLE hbase_table_1(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "xyz");
-------------------------------------------------------------------
set hbase.client.scanner.caching=10000;
可以把建表脚本存到文件中,然后用hive命令去生成表
-------------------------------------------------------------------
cat create_hbase_table.sql | hive > create.log
-------------------------------------------------------------------
########################################################################
# 一些DEMO
########################################################################
创建二进制存储的列,在列处使用关键字 #b,#s 是 string的意思
-------------------------------------------------------------------
CREATE TABLE hbase_table_1 (key int, value string, foobar double)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" = ":key#b,cf:val,cf:foo#b"
);
-------------------------------------------------------------------
CREATE TABLE hbase_table_1 (key int, value string, foobar double)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" = ":key,cf:val#s,cf:foo",
"hbase.table.default.storage.type" = "binary"
);
-------------------------------------------------------------------
创建一个外部表,用来访问HBASE数据
If you want to give Hive access to an existing HBase table, use CREATE EXTERNAL TABLE:
-------------------------------------------------------------------
CREATE EXTERNAL TABLE hbase_table_2(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "cf1:val")
TBLPROPERTIES("hbase.table.name" = "some_existing_table");
-------------------------------------------------------------------
创建一个表,第一列为 MAP 型,MAP 型对应HBASE里一个列族,
列族对应的 KEY-VALUE 分别是 MAP 的 KEY-VALUE,这个厉害哦
Note that the key of the MAP must have datatype string, since it is used for naming the HBase column, so the following table definition will fail: "map<int,int>"
-------------------------------------------------------------------
CREATE TABLE hbase_table_1(value map<string,int>, row_key int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" = "cf:,:key"
);
-------------------------------------------------------------------
分享到:
相关推荐
java根据excel生成 hive建表语句 可以根据自己的格式修改
hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句
生成hive建表语句
基于oracle或者mysql生成自动建表同步源数据表结构及注释
mysql数据抽取,自动生成hive建表语句,只需要输入表名即可
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
HIVE建表时可以指定映射关系直接读取HBASE的数据,相当于有了一个HBASE向HIVE的通道。那HIVE向HBASE有通道吗?本文主要讲述了Hive库数据如何入到HBASE中。
浅谈Hive vs. HBase,大数据类
hive0.8.1和hbase0.92.0集成的hive-hbase-handler.Jar包,里面包含:hbase-0.92.0.jar、hbase-0.92.0-tests.jar、hive-hbase-handler-0.9.0-SNAPSHOT.jar。经测试没有问题。
hive0.10.0和hbase0.94.4集成的hive-hbase-handler.Jar包,经测试没有问题。
hive分桶,分区操作案例实战。学习的好资料。hive分桶,分区操作案例实战。学习的好资料。hive分桶,分区操作案例实战。学习的好资料。
hive-hbase-handler-1.2.1.jar解决hive1.2.1,hbase不兼容情况!
Hive表生成工具,Hive表生成工具Hive表生成工具
hive和hbase整合的时候,如果出现不兼容的情况需要手动编译:hive-hbase-hander-1.2.2.jar把这个jar替换掉hive/lib里的那个jar包
根据Excel记录生成Mysql和Hive建表语句
配置,测试,导入数据详细操作,CREATE TABLE hive_hbase_table(key int, value string,name string) hadoop jar /usr/lib/hbase/hbase-0.90.4-cdh3u3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY, catgyname...
本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时,需要同步...
HBase2.1.3整合Hive3.1.2,Hive官方的hive-hbase-handler-3.1.1.jar包不好用,自己编译后的,确认好用