Clouder CDH3B3 开始后hadoop.job.ugi不再生效,这意味着无法通eclipse plugin提交job和修改hdfs。
大家初次使用hadoop eclipse plugin一定在修改HDFS文件过程中出现过下面的错误
org.apache.hadoop.security.AccessControlException: Permission denied: user =test , access=WRITE, inode="pokes":hadoop:supergroup:rwxr-xr-x
问题在于我当前OS用户名为“test”,这个值是hadoop通过 System.getProperty("user.name") 获取的,如果当前用户名和HDFS文件所属用户名不一致,修改HDFS文件时则会报AccessControlException,怎么解决呢?办法是修改hadoop插件的“hadoop.job.ugi”属性为"hadoop,hadoop"就可以了,告诉hdfs我当前就是hadoop用户,这个属性也可以在代码里设置。
最近部署了一个CDH版本Hadoop集群,首先发现的是它的eclipse plugin和Apache hadoop plugin不兼容,需要手工编译(这个jar文件在这里可以下到:http://heipark.iteye.com/admin/blogs/1178756),接着发现hadoop plugin属性配置页面没有hadoop.job.ugi配置项了,在代码中设置也不好使,还是报AccessControlException。出现什么情况呢?看看cloudera的公告:
https://ccp.cloudera.com/display/CDHDOC/Incompatible+Changes 写道:
The hadoop.job.ugi configuration no longer has any effect. Instead, please use the UserGroupInformation.doAs API to impersonate other users on a non-secured cluster. (As of CDH3b3)
cdh基于安全考虑建议如下方式提交job和修改hdfs:
创建一个kerberos用户,这里叫oozie(其实它是一个开源hadoop workflow框架),然后通过代理方式提交job,即,让当前客户端用户模拟成oozie这个授权用户做操作。
具体信息参考这里:http://archive.cloudera.com/cdh/3/hadoop/Secure_Impersonation.pdf
这里说下两种基于试验目的的获取权限的方法:
- 关闭dfs权限管理,方法是修改hdfs-site.xml文件设置属性dfs.permissions为false;
- 通过代码将当前用户设置为集群管理者权限,这里我设置当操作者为hadoop,代码如下:
UserGroupInformation ugi = UserGroupInformation.createRemoteUser("hadoop");
try {
ugi.doAs(new PrivilegedExceptionAction<Void>() {
public Void run() throws IOException {
Job job = new Job(initConf(), "tencent m/r");
// do something
System.exit(job.waitForCompletion(true) ? 0 : 1);
return null;
}
});
} catch (InterruptedException e) {
e.printStackTrace();
}
-- end --
分享到:
相关推荐
Cloudera CHD安装教程(新),老师下发的培训机构一手资料,Cloudear集群安装文档,本人已经测,可成功安装。
hadoop-eclipse-plugin
修改hbase 0.90版本 cloudera3u3 中的thrift接口,mutation类中增加timestamp参数,可以通过thrift接口使用Hbase.Mutation(column="f1:1", value='test',timestamp=20130112121212),mutateRows("testdb1", ...
Cloudera Manager 和 CHD5.3.3 集群 离线安装,非常好用。
Hadoop Eclipse插件,经测试在Eclipse3.7下能正常使用。在Windows下连接远程Hadoop集群时,注意本地要安装cygwin,并将cygwin/bin目录设置到PATH,以便程序能使用chmod命令。 另,Hadoop Eclipse插件只能连接相应...
一些简单的部署建议
ImpalaJDBC依赖
该文档与教程http://blog.csdn.net/u012185296/article/details/38084107 配套使用的,主要讲的是妳那伊抹微笑_云计算之ClouderaManager以及CHD5.1.0集群部署安装文档V1.0.docx 、、、 你也可以到博客地址...
grafana的cloudera manager插件,由于开源的grafana cdh插件在集成时会出现dateMath.parse is not a function问题,修复后可直接使用。本资源包是修复问题后的,可直接放到grafana plugins文件夹下,即可使用。
Cloudera 5.4.x Documentation系列官方文档。压缩包里面共有十个文档!分别是: cloudera-administration.pdf-配置管理文档 cloudera-datamgmt.pdf-数据管理文档 cloudera-impala.pdf-impala使用文档 cloudera-...
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7 SHA下载
压缩包太大,分成两个,其中包含以下文件: allkeys.asc, cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm, cloudera-manager-daemons-6.3.1...oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm, scm_schema.sql
Cloudera
cloudera manager中添加hive数据库使用mysql的配置的详细步骤
spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6
1.cloudera manager简单介绍 2.cloudera manager主要核心功能 3.cloudera manager 的架构 4.准备云服务器5
cloudera 5.12安装包。
Cloudera Manager API调用实例(JAVA版),已通过测试可用。Cloudera Manager API调用实例(JAVA版),已通过测试可用。
适用于CDH最后的一个免费版本的CDH6.3.2,用于CDH的本地源搭建.这部分是Cloudera Manager部分
CLOUDERA-Manager 实战总结