lookqlp
- 浏览: 341734 次
- 性别:
- 来自: 上海
-
最新评论
-
tpxcer：
不开启时可以的，而且开启以后各种坑。。。。
hue beeswax权限管理 -
yangze：
博主请教一个问题，hue 控制hive表的权限怎么弄？ 怎么联 ...
cloudera新增用户权限配置 -
linux91：
楼主你好，我用CM配置LDAP用户组映射，进入impala时， ...
sentry配置 -
linux91：
版主：按你的步骤配置了，可是，执行 impala-shell ...
impala集成LDAP -
lookqlp：
super_a 写道你好！找不到表这个问题是如何解决的，可以描 ...
hcatalog读取hive数据并写入hive
文章列表
mysqldump -hhost -uroot -ppasswd sentry > /tmp/sentry.sql
create database sentry DEFAULT CHARACTER SET utf8;
grant all on sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry';
flush PRIVILEGES;
source /tmp/sentry.sql
mysql参数
[mysqld]
#transaction-isolation=READ-COMMITTED
# Disabling ...
动态分区问题，如果数据量大或者当动态分区大甚至只有十几个时，会出现如下异常：
2015-10-23 16:43:54,165 INFO [fetcher#10] org.apache.hadoop.mapreduce.task.reduce.ShuffleSchedulerImpl: assigned 20 of 34 to spark-03:13562 to fetcher#10
2015-10-23 16:43:54,166 WARN [main] org.apache.hadoop.security.UserGroupInformation: PriviledgedAction ...
yarn重启后，部分nm启动不了，报空指针问题
2015-03-26 07:41:00,367 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.LocalizedResource: Resource hdfs://:8020/user/hive/.staging/job_1426073522130_3022/libjars/guava-11.0.2.jar(->/data7/yarn/nm/usercache/hive/filecache/84380/guava-11.0.2.ja ...
环境：
security cdh 5.2.0
security hbase
启动mapreduce的账户为hive或者others（非hbase），如下假设以bi账户为例
出发点：
mapper/reduce程序中读取hbase中数据，或者写入hbase数据
踩过的坑：
在mapreduce的job创建过程中加入如下认证代码UserGroupInformation.setConfiguration(conf);
UserGroupInformation.loginUserFromKeytab(conf.get("hbase.master.kerbe ...
以账户bi为例
问题一：账户bi beeline ldap后，对于外联表需要外联/user/bi目录下的数据。
解决：
根据sentry文档，需要给/user/bi授权uri ALL权限。
GRANT ALL ON URI 'hdfs://172.20.0.71:8020/user/bi' TO ROLE user_bi_all_role;解决之
问题二：账户bi运行mapreduce需要读取/user/hive/warehouse下的数据。
解决：
一般/user/hive/warehouse属于hive:hive，根据sentry要求，配置771权限。
为了让bi账户对该目录有访问权限， ...
目标：
给各个业务组提供不同用户及用户组，并有限制的访问hdfs路径，及hive数据库。
前提：
cloudera
cloudera manager
kerberos
ldap
sentry
问题与解决：
hive client直走hive的本地模式，没有经过hiveserver2，所以此种方式能访问所有的数据库，具有超级管理员权限；考虑使用beeline形式。
登陆方式例如：
beeline -u "jdbc:hive2://172.20.0.74:10000/data_system" -nhive -p111111（ldap账户及密 ...
cloudera manager
hive- sevice wide - advanced-Hive Service Advanced Configuration Snippet (Safety Valve) for hive-site.xml
<property>
<name>hive.server2.authentication</name>
<value>LDAP</value>
</property>
<property>
<name>hive.server2.authent ...
当前cdh版本为5.2.0，且通过cloudera manger来管理集群。
选择sentry配置方式，file or db。
file形式（sentry-provider.ini），存于hdfs上。
选择group mapping方式，有HadoopGroupResourceAuthorizationProvider（正式环境中）、LocalGroupResourceAuthorizationProvider（测试环境中）。
经过测试，Hadoop groups需要使用将hadoop用户和用户组通过LDAP管理[url]configure ldap group mapping[/url]， ...
目的：
为impala jdbc提供统一的接口，作用参照http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/impala_proxy.html
步骤：
安装haproxy
选择一台非impalad的机器安装haproxy
yum install haproxy
编辑/etc/haproxy/haproxy.cfg，参考
global
# To have these messages end up in /var/log/haproxy.log you will
# need ...
目的：
为解决kerberos安全机制下的impala，resin cache kerberos tgt maxrenewlife天失效问题。
说明：
impala启用LDAP后，会优先选择LDAP用户密码认证，当LDAP认证失败时自动选择kerberos安全认证。
步骤：
关闭防火墙，设置开机不启动防火墙
...
执行mapreduce的用户必须是可以访问hdfs相应目录和执行mapreduce的账户，例如hive。
指定hive的节点kinit获取执行权限
在mapreduce main代码中加入访问hbase的权限，例如：
import java.io.IOException;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.HTableInterface;
import org. ...
配置hive gateway机器
Caused by: MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: GSS initiate failed
at org.apache.thrift.transport.TSaslTransport.sendAndThrowMessage(TSaslTransport.java:22 ...
参考http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_table_access_mapreduce.htmlhttps://github.com/cloudera/hcatalog-examples.git命令：for jarfile in `ls /logdata/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hive/lib/.`; do export HADOOP_CLASSPATH="${HADOOP_CLASSPATH}:/log ...
升级需求
1.为支持spark kerberos安全机制
2.为满足impala trunc函数
3.为解决impala import时同时query导致impala hang问题
升级步骤
参考http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/installation_upgrade.html
优先升级cloudera manager，再 ...