`
扬州老鬼
  • 浏览: 302388 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
社区版块
存档分类
最新评论

hdfs的文件访问控制

 
阅读更多
这两天准备研究一下hadoop的文件访问控制。先从hdfs的访问控制来说。
这篇文章很简单,主要是提醒自己以及各位注重hdfs上面的访问控制。

在hdfs上面的文件以及文件目录的访问控制,跟操作系统的访问控制是一样的,posix文件系统的权限控制模型一样。我只讲怎么验证:
drwxrwxrwx   - hadoop root                0 2013-03-09 11:14 /user/root
-rw-rw-rw-   3 hadoop root               29 2013-03-09 11:03 /user/root/input
drwxr-xr-x   - root   root                0 2013-03-14 21:22 /user/root/output
[root@Hadoop bin]# ./hdfs dfs -rm  /user/hadoop/yyp/part-r-00000
rm: Permission denied: user=root, access=WRITE, inode="/user/hadoop/yyp":hadoop:supergroup:drwxr-xr-x
[root@Hadoop bin]# ./hdfs dfs -rm  /user/root/output
rm: `/user/root/output': Is a directory
[root@Hadoop bin]# ./hdfs dfs -rmdir  /user/root/output
[root@Hadoop bin]# 

上面我使用root用户来运行hadoop的client,这个客户端只能对自己的文件进行操作,不能对其他用户组的文件进行操作。


首先用户启动hdfs的守护进程的时候,那个用户就被归属为supergroup,这个supergroup用户当当与root用户,能够删除hdfs上面的所有文件,所以如果你的hdfs上面存储了比如hbase的数据信息,有这么一个超级用户存在,的确是比较危险的。
drwxr-xr-x   - root   root                0 2013-03-14 20:54 /user/root/output
-rw-r--r--   3 root   root                0 2013-03-09 11:14 /user/root/output/_SUCCESS
[hadoop@Hadoop mapreduce]$ hdfs dfs -rm /user/root/output/_SUCCESS
[color=red]Deleted /user/root/output/_SUCCESS[/color] 成功删除


若要改变文件的用户组,需要使用supergroup内的用户(我的是hadoop)运行:
[hadoop@Hadoop mapreduce]$ hdfs  dfs  -chgrp -R  root  /user/root/


0
0
分享到:
评论

相关推荐

    论文研究-基于信息流控制的HDFS敏感数据安全增强.pdf

    针对HDFS已有保护方法如认证授权、数据加密、访问控制和审计方法都不能保证敏感数据端到端的安全性,提出了一个用于HDFS的安全代数语言SALH(security algebra language for HDFS),给出了SALH的语义和语法;...

    HDFS读取和写入数据简介

    HDFS 的文件访问机制为流式访问机制,即通过 API 打开文件的某个数据块之后,可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色,且对应的应用场景主要为一次写入、多次读取的场景,因此其读和写的方式有较大...

    Alluxio分布式存储系统 v2.9.4

    2、兼容Hadoop HDFS的文件系统接口:基于这套接口Hadoop MapReduce和Spark可以使用Alluxio代替HDFS。 3、可插拔的底层存储:Alluxio支持将内存数据持久化到底层存储系统。Alluxio提供了通用接口以简化对接不同的底层...

    百度文件系统 BFS-Baidu.zip

    现有的分布式文件系统(如HDFS等)无法满足低延迟、高可用、跨地域扩展等方面的需求,所以我们从百度搜索的业务特点出发,开发了自己的分布式文件系统BFS。 设计目标 高可靠、高可用通过将数据副本进行多机房、多...

    【Alluxio分布式存储系统 v2.4.1】以前称为Tachyon+通过公共接口连接众多存储系统

    2、兼容Hadoop HDFS的文件系统接口:基于这套接口Hadoop MapReduce和Spark可以使用Alluxio代替HDFS。 3、可插拔的底层存储:Alluxio支持将内存数据持久化到底层存储系统。Alluxio提供了通用接口以简化对接不同的底层...

    【Alluxio分布式存储系统 v2.4.1】以前称为Tachyon+通过公共接口连接众多存储系统.zip

    2、兼容Hadoop HDFS的文件系统接口:基于这套接口Hadoop MapReduce和Spark可以使用Alluxio代替HDFS。 3、可插拔的底层存储:Alluxio支持将内存数据持久化到底层存储系统。Alluxio提供了通用接口以简化对接不同的底层...

    百度开源的万亿量级数据库系统 ​Tera.zip

    ColumnFamliy需要建表时指定,是访问控制、版本保留等策略的基本单位。系统架构系统主要由Tabletserver、Master和ClientSDK三部分构成。其中Tabletserver是核心服务器,承载着所有的数据管理与访问;Master是系统的...

    Alluxio分布式存储系统-其他

    2、兼容Hadoop HDFS的文件系统接口:基于这套接口Hadoop MapReduce和Spark可以使用Alluxio代替HDFS。 3、可插拔的底层存储:Alluxio支持将内存数据持久化到底层存储系统。Alluxio提供了通用接口以简化对接不同的底层...

    fourinone-3.04.25

    比如按照“农民工”的数量将源数据切分成多少份,然后远程分配给“农民工”节点进行计算处理,它处理完的中间结果数据不限制保存在hdfs里,而可以自由控制保存在分布式缓存、数据库、分布式文件里。如果需要结果数据...

    Fourinone分布式并行计算四合一框架

    比如按照“农民工”的数量将源数据切分成多少份,然后远程分配给“农民工”节点进行计算处理,它处理完的中间结果数据不限制保存在hdfs里,而可以自由控制保存在分布式缓存、数据库、分布式文件里。如果需要结果数据...

    2017最新大数据架构师精英课程

    80_hdfs-maven-hdfs API访问8 s8 J# W* l- i% x, ]: L! L 81_hdfs-maven-idea的集成处理 82_hdfs-block大小-副本数设定9 o$ I! k4 |+ ]9 q2 h8 ]# x6 B, S* Y$ W 83_hdfs-网络拓扑-写入剖析2 g4 Z0 j& K; Z, K 84_...

    TensorFlowOnSpark:TensorFlowOnSpark将TensorFlow程序引入Apache Spark集群

    InputMode.TENSORFLOW-利用TensorFlow的内置API直接从HDFS读取数据文件。 InputMode.SPARK-通过TFNode.DataFeed类将Spark RDD数据发送到TensorFlow节点。 请注意,我们利用来访问HDFS上的TFRecords。 Shutdown-...

    大数据处理的关键技术.docx

    考虑到系统由大量廉价易损的硬件组成,为了保证文件整体可靠性,大数据通常对同一份数据在不同节点上存储多份副本,同时,为了保障海量数据的读写能力,大数据借助分布式存储架构提供高吐量的数据访问. 超人学院...

    网站架构技术

    RAID与HDFS 万无一失:网站的高可用性 高可性的度量与考核 度量 考核 高可用的网站架构 高可用的应用 高可用的服务 高可用的数据 CAP原理 数据备份 失效转移 高可用网站的软件质量保证 网站发布...

    数据中台解决方案.pptx

    数据安全是数据中台的重要保障,需要建立完善的数据安全体系,包括数据加密、数据备份、数据访问控制等。同时,需要定期进行数据安全审计和风险评估,确保数据的安全性。 综上所述,数据中台技术架构设计方案需要...

    数据中台技术架构设计方案.pptx

    数据安全是数据中台的重要保障,需要建立完善的数据安全体系,包括数据加密、数据备份、数据访问控制等。同时,需要定期进行数据安全审计和风险评估,确保数据的安全性。 综上所述,数据中台技术架构设计方案需要...

    数据中台技术架构设计方案 .docx

    数据安全是数据中台的重要保障,需要建立完善的数据安全体系,包括数据加密、数据备份、数据访问控制等。同时,需要定期进行数据安全审计和风险评估,确保数据的安全性。 综上所述,数据中台技术架构设计方案需要...

    Hbase中文文档

    8.2. 访问控制 9. 架构 9.1. 概述 9.2. Catalog Tables 9.3. 客户端 9.4. Client Request Filters 9.5. Master 9.6. RegionServer 9.7. Regions 9.8. Bulk Loading 9.9. HDFS 10. 外部 APIs 10.1. 非Java语言和 JVM...

    云计算第二版

    6.2 Hadoop分布式文件系统HDFS 190 6.2.1 设计前提与目标 190 6.2.2 体系结构 191 6.2.3 保障可靠性的措施 192 6.2.4 提升性能的措施 194 6.2.5 访问接口 195 6.3 分布式数据处理MapReduce 196 6.3.1 逻辑模型 196 ...

Global site tag (gtag.js) - Google Analytics