- 浏览: 341762 次
- 性别:
- 来自: 上海
文章分类
最新评论
-
tpxcer:
不开启时可以的,而且开启以后各种坑。。。。
hue beeswax权限管理 -
yangze:
博主请教一个问题,hue 控制hive表的权限怎么弄? 怎么联 ...
cloudera新增用户权限配置 -
linux91:
楼主你好,我用CM配置LDAP用户组映射,进入impala时, ...
sentry配置 -
linux91:
版主:按你的步骤配置了,可是,执行 impala-shell ...
impala集成LDAP -
lookqlp:
super_a 写道你好!找不到表这个问题是如何解决的,可以描 ...
hcatalog读取hive数据并写入hive
执行mapreduce的用户必须是可以访问hdfs相应目录和执行mapreduce的账户,例如hive。
指定hive的节点kinit获取执行权限
在mapreduce main代码中加入访问hbase的权限,例如:
import java.io.IOException;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.HTableInterface;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.security.UserGroupInformation;
public class Connection {
private static final String ZK_PATH = "10.1.33.21,10.1.33.22,10.1.33.23";
public static void main(String[] args) {
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", ZK_PATH);
conf.set("hbase.rpc.protection", "privacy");
conf.set("hadoop.security.authentication", "Kerberos");
UserGroupInformation.setConfiguration(conf);
try {
UserGroupInformation.loginUserFromKeytab(conf.get("hbase.master.kerberos.principal"), conf.get("hbase.keytab.path"));
} catch (IOException e1) {
e1.printStackTrace();
}
// HTablePool tablePool = new HTablePool(conf, 5);
// @SuppressWarnings("deprecation")
// HTableInterface usersTable = (HTable)tablePool.getTable("dsp_data");
HTableInterface dsp_data;
try {
dsp_data = new HTable(conf, "dsp_data");
Put p = new Put(Bytes.toBytes("rowkey2"));
p.add(Bytes.toBytes("index"), Bytes.toBytes("click_count"),
Bytes.toBytes("111"));
dsp_data.put(p);
dsp_data.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
同时,hdfs hive yarn xml加入到jar包中,若不行,采用ToolRunner形式执行jar,此种方式可以加载到正确jar包,若还不行,可将xml配置文件,加入/etc/hbase 配置文件夹下。
官方文章中(http://hbase.apache.org/book/security.html)提示需要加入配置:
<property>
<name>hbase.rpc.protection</name>
<value>privacy</value>
</property>
经过测试,就因为有了该配置导致如上问题,client hbase site xml不能加入此配置。
说明:
在cdh5.2.0中,
<property>
<name>hbase.rpc.engine</name>
<value>org.apache.hadoop.hbase.ipc.SecureRpcEngine</value>
</property>
此配置也不需要加入xml中。
xml例如:
<property>
<name>hbase.rootdir</name>
<value>hdfs://ip-10-1-33-20.ec2.internal:8020/hbase</value>
</property>
<property>
<name>hbase.client.write.buffer</name>
<value>2097152</value>
</property>
<property>
<name>hbase.client.pause</name>
<value>100</value>
</property>
<property>
<name>hbase.client.retries.number</name>
<value>35</value>
</property>
<property>
<name>hbase.client.scanner.caching</name>
<value>100</value>
</property>
<property>
<name>hbase.client.keyvalue.maxsize</name>
<value>10485760</value>
</property>
<property>
<name>hbase.rpc.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.snapshot.enabled</name>
<value>true</value>
</property>
<property>
<name>hbase.security.authentication</name>
<value>kerberos</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<property>
<name>zookeeper.znode.parent</name>
<value>/hbase</value>
</property>
<property>
<name>zookeeper.znode.rootserver</name>
<value>root-region-server</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>ip-10-1-33-23.ec2.internal,ip-10-1-33-22.ec2.internal,ip-10-1-33-21.ec2.internal,ip-10-1-33-25.ec2.internal,ip-10-1-33-24.ec2.internal</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.master.kerberos.principal</name>
<value>hbase/_HOST@YEAHMOBI.COM</value>
</property>
<property>
<name>hbase.regionserver.kerberos.principal</name>
<value>hbase/_HOST@YEAHMOBI.COM</value>
mr中使用http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_mapreduce_hbase.html TableMapReduceUtil.addDependencyJars(job);方式加载。
并且使用user api加入例如:
hbase.master.kerberos.principal=hbase/ip-10-1-10-15.ec2.internal@YEAHMOBI.COM
hbase.keytab.path=/home/dev/1015q.keytab
补充:2015-03-17
如上mapreduce访问安全的hbase是不可行的,解决办法参见《mapreduce mapper access security hbase》
指定hive的节点kinit获取执行权限
在mapreduce main代码中加入访问hbase的权限,例如:
import java.io.IOException;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.HTableInterface;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.security.UserGroupInformation;
public class Connection {
private static final String ZK_PATH = "10.1.33.21,10.1.33.22,10.1.33.23";
public static void main(String[] args) {
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", ZK_PATH);
conf.set("hbase.rpc.protection", "privacy");
conf.set("hadoop.security.authentication", "Kerberos");
UserGroupInformation.setConfiguration(conf);
try {
UserGroupInformation.loginUserFromKeytab(conf.get("hbase.master.kerberos.principal"), conf.get("hbase.keytab.path"));
} catch (IOException e1) {
e1.printStackTrace();
}
// HTablePool tablePool = new HTablePool(conf, 5);
// @SuppressWarnings("deprecation")
// HTableInterface usersTable = (HTable)tablePool.getTable("dsp_data");
HTableInterface dsp_data;
try {
dsp_data = new HTable(conf, "dsp_data");
Put p = new Put(Bytes.toBytes("rowkey2"));
p.add(Bytes.toBytes("index"), Bytes.toBytes("click_count"),
Bytes.toBytes("111"));
dsp_data.put(p);
dsp_data.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
同时,hdfs hive yarn xml加入到jar包中,若不行,采用ToolRunner形式执行jar,此种方式可以加载到正确jar包,若还不行,可将xml配置文件,加入/etc/hbase 配置文件夹下。
官方文章中(http://hbase.apache.org/book/security.html)提示需要加入配置:
<property>
<name>hbase.rpc.protection</name>
<value>privacy</value>
</property>
经过测试,就因为有了该配置导致如上问题,client hbase site xml不能加入此配置。
说明:
在cdh5.2.0中,
<property>
<name>hbase.rpc.engine</name>
<value>org.apache.hadoop.hbase.ipc.SecureRpcEngine</value>
</property>
此配置也不需要加入xml中。
xml例如:
<property>
<name>hbase.rootdir</name>
<value>hdfs://ip-10-1-33-20.ec2.internal:8020/hbase</value>
</property>
<property>
<name>hbase.client.write.buffer</name>
<value>2097152</value>
</property>
<property>
<name>hbase.client.pause</name>
<value>100</value>
</property>
<property>
<name>hbase.client.retries.number</name>
<value>35</value>
</property>
<property>
<name>hbase.client.scanner.caching</name>
<value>100</value>
</property>
<property>
<name>hbase.client.keyvalue.maxsize</name>
<value>10485760</value>
</property>
<property>
<name>hbase.rpc.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.snapshot.enabled</name>
<value>true</value>
</property>
<property>
<name>hbase.security.authentication</name>
<value>kerberos</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<property>
<name>zookeeper.znode.parent</name>
<value>/hbase</value>
</property>
<property>
<name>zookeeper.znode.rootserver</name>
<value>root-region-server</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>ip-10-1-33-23.ec2.internal,ip-10-1-33-22.ec2.internal,ip-10-1-33-21.ec2.internal,ip-10-1-33-25.ec2.internal,ip-10-1-33-24.ec2.internal</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.master.kerberos.principal</name>
<value>hbase/_HOST@YEAHMOBI.COM</value>
</property>
<property>
<name>hbase.regionserver.kerberos.principal</name>
<value>hbase/_HOST@YEAHMOBI.COM</value>
mr中使用http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_mapreduce_hbase.html TableMapReduceUtil.addDependencyJars(job);方式加载。
并且使用user api加入例如:
hbase.master.kerberos.principal=hbase/ip-10-1-10-15.ec2.internal@YEAHMOBI.COM
hbase.keytab.path=/home/dev/1015q.keytab
补充:2015-03-17
如上mapreduce访问安全的hbase是不可行的,解决办法参见《mapreduce mapper access security hbase》
发表评论
-
hive相关元数据迁移(mysql)
2015-11-18 18:27 2519mysqldump -hhost -uroot -ppassw ... -
hive dynamic partitions insert java.lang.OutOfMemoryError: Java heap space
2015-10-26 18:03 3028动态分区问题,如果数据量大或者当动态分区大甚至只有十几个时 ... -
yarn NullPointerException
2015-03-26 17:03 1394yarn重启后,部分nm启动不了,报空指针问题 20 ... -
mapreduce mapper access security hbase
2015-03-17 14:42 1169环境: security cdh 5.2.0 secu ... -
sentry服务后,几个权限问题
2015-03-10 16:08 8902以账户bi为例 问题一:账户bi beeline ldap后 ... -
cloudera新增用户权限配置
2015-03-05 16:13 3897目标: 给各个业务组提供不同用户及用户组,并有限制的访问h ... -
hive集成LDAP
2015-02-13 10:09 9677cloudera manager hive- sevice ... -
impala HA
2014-12-11 17:36 1837目的: 为impala jdbc提供统一的接口,作用参照htt ... -
impala集成LDAP
2014-12-11 12:55 7040目的: 为解决kerberos安 ... -
hive gateway(client) configuration
2014-12-02 14:32 7975配置hive gateway机器 Caused by: Met ... -
hcatalog读取hive数据并写入hive
2014-12-01 17:49 18035参考http://www.cloudera.com/cont ... -
CDH5.0.2升级至CDH5.2.0
2014-12-01 16:59 9737升级需求 1.为支持spark k ... -
HBase数据查询之Coprocessor
2013-12-20 16:41 3223二级索引方案 协处理器的概念、作用和类型不介绍,可以 ... -
HBase数据查询之常规查询
2013-12-20 16:40 2724简述 订单常规查询用到的字段可能有:店铺id、订单创建时间( ... -
hello hbase
2013-04-22 17:57 3356前言 近半年本人主要在倒腾数据,遇到海量数据去重的难题,曾经尝 ... -
hbase 双网卡 多网卡
2012-12-06 14:09 1620官方issue未解决,不支持多网卡 https://issue ... -
hive结合hbase数据处理解决方案测评二(优化篇)
2012-12-06 09:41 6491接上一篇,对hbase参数进行优化,主要是调整与查询效率相关的 ... -
python hbase
2012-12-04 17:20 2155需求 将文本数据导入至hbase中。 安装thrift 下载 ... -
hive结合hbase数据处理解决方案测评
2012-12-03 17:19 5137前言 我们考虑为什么要将hive与hbase结合,出于hbas ... -
java.lang.ClassNotFoundException: org.apache.hadoop.hive.hbase.HBaseSplit
2012-12-03 11:19 4992hive关联hbase表,使用sele ...
相关推荐
HBase is one of Hadoop core components, included in CDH parcel already. HDFS and
Hbase安装包
CDH6.3.2,Poenix5,hbase2.1
CDH版本:cdh5.1 java:jdk7u67(64位) HBase模式:伪分布式裸露端口动物园管理员服务器:2181 hbase-master:65000 hbase-master Web UI:65010 hbase-regionserver:65020 hbase-regionserver Web UI:65030如何...
hbase-0.98.6-5.3.6
HBaseContext所需要的jar包。由于不知道为啥maven配置仓库地址不生效。所以手动下载了个。导入本地环境的maven仓库。
hbase-client-2.1.0-cdh6.3.0.jar
ha 方式安装 cdh4,hbase,补充原文档的内容
该文档主要用于创建在solr中创建hbase的二级索引的教程,新建solr的分片,以及后续修改和新建配置文件等,仅供参考
HBase是参考google的bigtable的一个开源产品,建立在hdfs之上的一个提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。是一种介于nosql和RDBMs之间的一种数据库系统,仅支持通过rowkey和range进行数据的...
CDH5.17版本Hue接入HBase步骤.pdfC
本文档主要以使用Cloudera Manager5.9.3 自动搭建Hbase集群为例,介绍如何使用Cloudera Manager自动搭建Hadoop相关集群,简化为多台服务器搭建Hadoop集群工作,提高工作效率。至于如何使用Cloudera Manager来管理...
hbase监控工具hbtop CDH6.3.2版本,用于监控表、namespace的访问情况,可快速定位问题
hbase的hbase-1.2.0-cdh5.14.2.tar.gz资源包
大数据开发过程中所要用到的安装包Hbase,这个安装包是CDH公司的产品。HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。
博客配套文件,详细演示了go通过thrift1和thrift2接口访问hbase的方法,并给出了批量访问的简单封装接口。
hadoop jar /usr/lib/hbase/hbase-0.90.4-cdh3u3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY, catgyname,catgyid1,catgyname1,catgyid2,catgyname2,catgyid3,catgyname3,catgyid4,catgyname4,catgyid5,...
hbase-1.2.0-cdh5.9.3.tar.gz
cdh6.3.2 适配 Phoenix; cdh6.3.2 集成 Phoenix