`
扬州老鬼
  • 浏览: 302418 次
  • 性别: Icon_minigender_1
  • 来自: 苏州
社区版块
存档分类
最新评论

Hadoop WEBHDFS简单配置,使用

阅读更多
WEBHDFS是一个基于REST的接口。可以查看文件系统,以及文件的内容:
在hdfs-site.xml中配置:
<property>
    <name>dfs.namenode.http-address</name>
    <value>Hadoop:50070</value> //这个可以不用配置
</property>
    
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

启动之后,可以看使用如下命令检测,
获得目录的列表:
[hadoop@Hadoop hadoop]$ curl -i  "http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS"
HTTP/1.1 200 OK
Content-Type: application/json
Content-Length: 225
Server: Jetty(6.1.26.cloudera.2)

{"FileStatuses":{"FileStatus":[
{"accessTime":0,"blockSize":0,"group":"supergroup","length":0,"modificationTime":1359886700728,"owner":"hadoop","pathSuffix":"hadoop","permission":"755","replication":0,"type":"DIRECTORY"}

其中:REST http的格式为:
http://<HOST>:<HTTP_PORT>/webhdfs/v1/<PATH>? [user.name=<USER>&]op=..

具体参照:WebHDFS.html。offline的地址:在hadoop解压之后目录doc下面的/doc/hadoop-yarn/hadoop-yarn-site/WebHDFS.html
0
0
分享到:
评论

相关推荐

    Hadoop实战中文版

    第9章 在云上运行Hadoop 9.1 Amazon Web Services 简介 9.2 安装AWS 9.2.1 获得AWS身份认证凭据 9.2.2 获得命令行工具 9.2.3 准备SSH密钥对 9.3 在EC2 上安装Hadoop 9.3.1 配置安全参数 9.3.2 配置集群类型...

    6、HDFS的HttpFS-代理服务

    6、HDFS的HttpFS-代理服务 ...本文介绍HttpFS的使用。...本文分为四部分,即介绍、配置、验证与和WebHDFS的比较。 本文阅读前提是已经部署好hadoop环境,具体部署参考hadoop3.1.4简单介绍及部署、简单验证

    Hadoop实战中文版.PDF

    Hadoop简介 21.1 为什么写《Hadoop 实战》 31.2 什么是Hadoop 31.3 了解分布式系统和Hadoop 41.4 比较SQL数据库和Hadoop 51.5 理解MapReduce 61.5.1 动手扩展一个简单程序 71.5.2 相同程序在MapReduce...

    Hadoop实战(第2版)

    技术点59 使用Rhipe 计算CMA 8.5 RHadoop――更简单地在客户端集成R 和Hadoop 的技术技术点60 使用RHadoop 计算CMA 8.6 本章小结9 使用Mahout 进行预测分析9.1 使用recommender 提供产品建议9.1.1 相似...

    Hadoop实战(陆嘉恒)译

     —— EasyHadoop 国内专业的Hadooop社区,致力于让Hadoop大数据分析更简单第一部分 Hadoop——一种分布式编程框架第1 章 Hadoop简介1.1 为什么写《Hadoop 实战》1.2 什么是Hadoop1.3 了解分布式系统和Hadoop1.4 ...

    Hadoop实战

    Hadoop——一种分布式编程框架第1章 Hadoop简介 21.1 为什么写《Hadoop 实战》 31.2 什么是Hadoop 31.3 了解分布式系统和Hadoop 41.4 比较SQL数据库和Hadoop 51.5 理解MapReduce 61.5.1 动手扩展一个简单程序 ...

    基于Hadoop的大数据处理系统.pdf

    伪分布式模式配置也很简单,只需在单机模式基础上配置core- site.xml,hdfs-site.xml,mapred-site.xml和yarn-site.xml这4个⽂件(对应的默认参数在core-default.xml,hdfs-default.xml,mapred- default.xml和yarn-...

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    1.1.4 谁在使用Hadoop 1.1.5 Hadoop 的局限性 1.2 运行Hadoop 1.2.1 下载并安装Hadoop 1.2.2 Hadoop 的配置 1.2.3 CLI 基本命令 1.2.4 运行MapReduce 作业 1.3 本章小结 第2 部分 数据...

    大数据-sqoop.pptx

    Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(Mysql、Postgresql...)间进行数据的传递,可以将一个关系 型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将...

    HBase.docx

    三:简单使用(namespace的操作) 11 1.开始 11 2.help 12 3.hbase的shell脚本 13 4.对namespace的操作 13 5.查看namespace 13 5.1 查看namespace下面有什么table 13 6.创建namespace 14 7.描述namespace 14 8.删除...

    云计算第二版

    6.2 Hadoop分布式文件系统HDFS 190 6.2.1 设计前提与目标 190 6.2.2 体系结构 191 6.2.3 保障可靠性的措施 192 6.2.4 提升性能的措施 194 6.2.5 访问接口 195 6.3 分布式数据处理MapReduce 196 6.3.1 逻辑模型 196 ...

    Fourinone分布式计算框架

    FourInOne对于分布式大数据量并行计算的解决方案不同于复杂的hadoop,它不像hadoop的中间计算结果依赖于hdfs,它使用不同于map/reduce的全新设计模式解决问题。FourInOne有“包工头”,“农民工”,“手工仓库”的几...

    Fourinone分布式并行计算四合一框架

     Fourinone对于分布式大数据量并行计算的解决方案不同于复杂的hadoop,它不像hadoop的中间计算结果依赖于hdfs,它使用不同于map/reduce的全新设计模式解决问题。Fourinone有“包工头”,“农民工”,“手工仓库”的...

    fourinone-3.04.25

    Fourinone对于分布式大数据量并行计算的解决方案不同于复杂的hadoop,它不像hadoop的中间计算结果依赖于hdfs,它使用不同于map/reduce的全新设计模式解决问题。Fourinone有“包工头”,“农民工”,“手工仓库”的几...

    大数据中台架构栈.doc

    配置简单,偏重数据前期处理,分析方便 从两者的设计思想来看,Flume 最初并不是为了采集日志而设计,而是定位在把数据传入 HDFS 中,这和 Logstash 有根本的区别。所以它理所应当侧重于数据的传输和平安,且需要更...

    Hbase+Spring boot实战分布式文件存储

    13-1 Hos服务登陆验证 13-2 Hos服务web权限配置类开发 13-3 Hos服务用户及权限管理接口开发 13-4 Hos服务文件管理接口开发 13-5 Hos服务API接口测试 第14章 子模块-SDK模块 开发并测试Hos服务的SDK模块,SDK模块为...

    各大数据组件介绍.pdf

    简单的例⼦:假设我们有20个的(每个负责总索引中的⼀部分的搜索任务)和⼀个总服务器(负责向这20个 搜索引擎的服务器发出搜索请求并合并结果集),⼀个备⽤的总服务器(负责当总服务器宕机时替换总服务器),⼀个web的...

    大数据中数据采集的几种方式.pdf

    Flume是⼀个⾼可靠的分布式采集、聚合和传输系统,Flume⽀持在⽇志系统中定制各类数据发送⽅,⽤于收集数据,同时对数据进⾏简单 处理,并写到诸如⽂本、HDFS这些接受⽅中。 Flume的核⼼其实就是把数据从数据源收集...

Global site tag (gtag.js) - Google Analytics