`
nlslzf
  • 浏览: 1026931 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop指定某个文件的blocksize,而不改变整个集群的blocksize

阅读更多

文件上传的时候,使用下面的命令即可
hadoop fs -D fs.local.block.size=134217728 -put local_name remote_location
参考
http://stackoverflow.com/questions/2669800/changing-the-block-size-of-a-dfs-file-in-hadoop
经过验证,上述命令在0.21版本上不行,需要改为
hadoop dfs -D dfs.blocksize=134217728 -copyFromLocal local_name remote_location

 

分享到:
评论

相关推荐

    HadoopHA集群配置文件

    Hadoop HA 集群搭建所需要的配置文件:core-site,hdfs-site,mapred-site,yarn-site四个xml文件和一个slaves文件

    Hadoop集群配置文件备份

    Hadoop集群配置文件备份

    Hadoop集群pdf文档

    Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...

    hadoop的dll文件 hadoop.zip

    hadoop的dll文件 hadoop.zip

    搭建hadoop集群的全部配置文件

    搭建hadoop集群的全部配置文件,全在里面了,跟我的文章配合起来用

    hadoop集群的配置文件

    该文件是hadoop集群配置所需要的一些.xml文件,是修改好之后的配置文件,配置参数里做了相关的解释说明

    hadoop2.8.5集群镜像文件

    关键字:Linux CentOS Hadoop Java  版本: CentOS7 Hadoop2.8.0 JDK1.8  说明:Hadoop从版本2开始加入了Yarn这个...只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。

    Hadoop集群与安全

    手把手教你配置高效的Hadoop集群,充分利用Hadoop平台的优势。2. 为Hadoop生态系统实现强健的端到端的安全保障。

    脚本搭建hadoop集群

    自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,...

    Hadoop集群程序设计与开发

    《Hadoop集群程序设计与开发(数据科学与大数据技术专业系列规划教材)》系统地介绍了基于Hadoop的大数据处理和系统开发相关技术,包括初识Hadoop、Hadoop基础知识、Hadoop开发环境配置与搭建、Hadoop分布式文件系统、...

    Hadoop3.1.3 配置文件

    Hadoop3.1.3 配置文件

    hadoop+hbase+zookeeper集群配置流程及文件

    hadoop集群配置流程以及用到的配置文件,hadoop2.8.4、hbase2.1.0、zookeeper3.4.12

    云计算Hadoop:快速部署Hadoop集群

    资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以...

    Hadoop 2.2.0 配置文件

    Hadoop 2.2.0 配置文件 在4台CentOs 6.4版本下运行成功

    java通过api方式操作Hadoop

    该资源是java通过api的方式来操作hadoop,主要有以下操作: 一.文件操作 1.上传本地文件到hadood 2.在hadoop中新建文件,并写入 ...1.查找某个文件在HDFS集群中位置 2.获取HDFS集群上所有名称节点信息

    hadoop集群搭建步骤

    hadoop集群搭建步骤 集群规划 安装步骤:安装配置zooekeeper集群、安装配置hadoop集群、验证HDFS HA

    hadoop集群配置文档

    hadoop集群配置文档

    hadoop 集群部署操作

    Hadoop集群的规划,系统环境准备,配置NTP时间服务器,配置无密钥登录,安装配置JDK,,安装配置zooKeeper集群,安装配置Hadoop集群

    hadoop的默认配置文件

    hadoop的默认配置文件,下载记得关注我哦

    Hadoop集群中影响应用性能的因素分析

    针对Hadoop集群中应用执行的低效率、高成本问题,首先,...故此,在Hadoop集群环境中为了提高应用性能,应通过增大数据块等方法来减少map任务数,而不应盲目增大集群规模.该结论可对Hadoop集群环境下应用效率的优化提供参考.

Global site tag (gtag.js) - Google Analytics