`
tangjunliang
  • 浏览: 107351 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于hadoop的dfs.replication 的一个问题

阅读更多
今天在使用hadoop fsck / 命令查看hadoop dfs时,输出如下:
.............................................
/user/hadoop/.staging/job_1381991904684_0036/libjars/zookeeper-3.4.5-cdh4.3.0.jar:  Under replicated BP-2044520431-132.35.141.65-1381473011645:blk_-7907774648029476743_40033. Target Replicas is 10 but found 4 replica(s).
......................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
...................................................Status: HEALTHY
Total size: 4583923103 B
Total dirs: 2807
Total files: 11151 (Files currently being written: 4)
Total blocks (validated): 11165 (avg. block size 410561 B)
Minimally replicated blocks: 11165 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 26 (0.23287058 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 2
Average block replication: 2.0206
Corrupt blocks: 0
Missing replicas: 156 (0.68674064 %)
Number of data-nodes: 4
Number of racks: 2
FSCK ended at Fri Oct 18 09:58:48 CST 2013 in 1237 milliseconds

副本缺失率为0.68674064 %,在副本数一下的块数有26块,这26个块日志输入分别为Target Replicas is 10 but found 4 replica(s).  这个可能是由于前期的原因造成的。 我目前的集群设置的副本数为2,可以使用下列命令将这些块的副本数更改了:
hadoop fs -setrep -R 2 /user/hadoop/.staging

注意一点:一个文件,上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数,对已经上传了的文件也不会起作用。
分享到:
评论

相关推荐

    第3集-Hadoop环境搭建 - linux(centos7) - 安装配置hadoop2.7.7.pdf

    Hadoop是Apache基金会下的一个开放源代码项目,主要用于大数据存储和处理。Hadoop核心组件包括HDFS(Hadoop Distributed File System)、MapReduce和YARN(Yet Another Resource Negotiator)。HDFS是一种分布式文件...

    java大数据作业_1云计算、大数据、hadoop

    4.在用户目录下的test目录下,创建一个文件hello.txt,文件内容是包含usr的运行进程列表,然后将目录的所有文件发送到主机名为test的服务器的/opt目录上,并使用soft01用户接收这些文件 5.简述3种加密方式的概念意义...

    hadoop-2.4.1安装软件包以及教程jdk.zip

    第一个:hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/java/jdk1.7.0_65 第二个:core-site.xml <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --&...

    hadoop安装

    <name>dfs.replication <value>2 设置jobtracker端口 [root@a1 conf]# vim mapred-site.xml <name>mapred.job.tracker <value>hadoop1:9001 [root@a1 conf]# vi masters 改为 a1(主机名) [root@a1 conf]# ...

    hadoop集群环境的搭建

    Hadoop 是一个开源的大数据处理框架,由Apache基金会开发和维护。它可以实现大规模数据的存储和处理,具有高可扩展性、可靠性和高性能等特点。搭建 Hadoop 集群环境是实现大数据处理的重要步骤,下面将详细介绍 ...

    hbase集群配置

    <name>dfs.replication <value>3 <name>dfs.namenode.name.dir <value>file:///root/hadoopv3/hdfs/name <name>dfs.datanode.data.dir <value>file:///root/hadoopv3/hdfs/data <name>dfs....

    hadoop学习手册

    NameNode节点负责将一个文件分成若干文件块,并记录了HDFS文件系统中的文件块放了在哪些DataNode中(一个数据块被冗余地放到1个或多个DataNode节点中),一个集群中只有一个NameNode节点(Hadoop2.X中情况有所不同)...

    centos7_hadoop3.1.2_hdfs配置(完整版).docx

    此外,还需要修改 `hdfs-site.xml` 文件,添加 `dfs.replication` 属性,指定数据块的副本数量。 七、结论 本文档详细介绍了 CentOS 7 下 Hadoop 3.1.2 HDFS 的配置过程,包括安装 JDK、Hadoop、HDFS 的配置文件...

    基于centOS的hadoop集群安装

    4. 修改 `hdfs-site.xml` 文件,设置 `dfs.replication` 和 `dfs.namenode.name.dir`。 集群配置 在每台机器上执行以下命令: * `ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa` * `cat /root/.ssh/id_dsa.pub >...

    CS523

    CS523 视频 项目的所有I / P和O / P文件 源代码 设置环境 下载环境 JDK 1.8 HADOOP ZOOKEEPER 卡夫卡 ... < value>hdfs://... < name>dfs.replication < value>1 < name>hadoop.tmp.dir <

    HBase集群搭建

    <name>dfs.replication <value>1 </property> #设置数据备份数 5. 配置regionservers文件 regionservers文件位于/usr/local/hbase/conf目录下。我们需要设置所运行HBase的机器,此文件配置和hadoop中的slaves...

    java软件工程师笔试题及答案-MyLearningNotes:因为开始记笔记并“公开”它永远不会晚

    这个存储库包含我随机(但重要)的技术笔记,我发现它很有用。 请按照各个子文件夹了解更多详细信息特定技术。 到目前为止的笔记包括 Hadoop、Spark、机器学习、Java、Python、单元测试、清洁代码、Py 项目管理等...

Global site tag (gtag.js) - Google Analytics