- 浏览: 107351 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
zenoh:
是啊,我也纳闷,apache hadoop2.2.0的已经修复 ...
安装CDH5 hadoop2.2.0遇到的配置问题 -
Molisa:
你好,我有两个问题请教一下:1.为了密码安全,你有没有试过使用 ...
使用oozie调度sqoop从oracle导入hbase
今天在使用hadoop fsck / 命令查看hadoop dfs时,输出如下:
.............................................
/user/hadoop/.staging/job_1381991904684_0036/libjars/zookeeper-3.4.5-cdh4.3.0.jar: Under replicated BP-2044520431-132.35.141.65-1381473011645:blk_-7907774648029476743_40033. Target Replicas is 10 but found 4 replica(s).
......................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
...................................................Status: HEALTHY
Total size: 4583923103 B
Total dirs: 2807
Total files: 11151 (Files currently being written: 4)
Total blocks (validated): 11165 (avg. block size 410561 B)
Minimally replicated blocks: 11165 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 26 (0.23287058 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 2
Average block replication: 2.0206
Corrupt blocks: 0
Missing replicas: 156 (0.68674064 %)
Number of data-nodes: 4
Number of racks: 2
FSCK ended at Fri Oct 18 09:58:48 CST 2013 in 1237 milliseconds
副本缺失率为0.68674064 %,在副本数一下的块数有26块,这26个块日志输入分别为Target Replicas is 10 but found 4 replica(s). 这个可能是由于前期的原因造成的。 我目前的集群设置的副本数为2,可以使用下列命令将这些块的副本数更改了:
hadoop fs -setrep -R 2 /user/hadoop/.staging
注意一点:一个文件,上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数,对已经上传了的文件也不会起作用。
.............................................
/user/hadoop/.staging/job_1381991904684_0036/libjars/zookeeper-3.4.5-cdh4.3.0.jar: Under replicated BP-2044520431-132.35.141.65-1381473011645:blk_-7907774648029476743_40033. Target Replicas is 10 but found 4 replica(s).
......................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
....................................................................................................
...................................................Status: HEALTHY
Total size: 4583923103 B
Total dirs: 2807
Total files: 11151 (Files currently being written: 4)
Total blocks (validated): 11165 (avg. block size 410561 B)
Minimally replicated blocks: 11165 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 26 (0.23287058 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 2
Average block replication: 2.0206
Corrupt blocks: 0
Missing replicas: 156 (0.68674064 %)
Number of data-nodes: 4
Number of racks: 2
FSCK ended at Fri Oct 18 09:58:48 CST 2013 in 1237 milliseconds
副本缺失率为0.68674064 %,在副本数一下的块数有26块,这26个块日志输入分别为Target Replicas is 10 but found 4 replica(s). 这个可能是由于前期的原因造成的。 我目前的集群设置的副本数为2,可以使用下列命令将这些块的副本数更改了:
hadoop fs -setrep -R 2 /user/hadoop/.staging
注意一点:一个文件,上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数,对已经上传了的文件也不会起作用。
发表评论
-
-snn.saturn.local:8485 failed on connection exception: java.net.ConnectException
2014-05-07 15:12 02014-01-26 00:46:35,631 INFO ... -
Hadoop 归档 和HIVE 如何使用har 归档 文件
2014-05-01 23:47 1024Hadoop archive 唯一的优势可能就是将众多的小 ... -
Hadoop的JVM重用
2014-05-01 20:21 1068Hadoop中有个参数是mapred.job.reuse. ... -
Hadoop 优化总结(一)
2014-04-27 12:09 15541. 使用自定义Writable 自带的Text很好用,但 ... -
hadoop调优
2014-04-26 12:01 0硬件级别提高磁盘IO的 ... -
启动hadoop 报错:A fatal error has been detected by the Java Runtime
2014-04-25 10:10 0今天在重启hadoop集群的时候,一个节点报了下面的一个错,由 ... -
java.io.IOException: Cannot obtain block length for LocatedBlock{BP-
2014-04-25 10:07 0今天的job在执行的时候,出现了下述的异常: java. ... -
hadoop报的一个job提交的错
2014-04-24 10:56 0Diagnostics: Application a ... -
hadoop hdfs HA 启动不了ZKFC
2014-04-23 11:47 0测试环境master1 系统重做了,原来的所有数据都丢失,后来 ... -
Hadoop平台优化综述(一)
2014-04-19 18:48 01. 概述 随着企业 ... -
大数据处理分析的六大最好工具
2014-04-19 11:59 0Hadoop Hadoop 是一个能够对大量数据进行分布式处 ... -
Shuffle$ShuffleError
2014-04-06 10:10 0Error: org.apache.hadoop.mapr ... -
hadoop2.2.0 CDH 源码编译
2014-03-27 13:29 01 下载 源码 wget chd5 2 安装软件 yum ... -
Map/Reduce Task JVM 堆大小设置优化
2014-03-13 15:15 1865前一阵子发现用户提交的hive query和hadoop jo ... -
hadoop参数配置优化
2014-03-13 15:12 683hadoop.tmp.dir 默认值: /tmp 说明: 尽 ... -
Hadoop为什么处理小数据量时效果不好?
2014-03-11 16:50 1127Every file, directory and bloc ... -
Hadoop : MapReduce中的Shuffle和Sort分析
2014-03-03 14:06 860MapReduce 是现今一个非常流行的分布式计算框架,它被 ... -
关于Hadoop的shuffle
2014-03-03 11:16 857我们知道每个reduce task输入的key都是按照k ... -
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError:
2014-03-01 23:17 4214hadoop执行JOB在reduce阶段 ... -
hadoop Caused by: java.io.IOException: Filesystem closed
2014-02-25 13:46 6480今天在执行hive的时候报了下面的错: 2014-02 ...
相关推荐
Hadoop是Apache基金会下的一个开放源代码项目,主要用于大数据存储和处理。Hadoop核心组件包括HDFS(Hadoop Distributed File System)、MapReduce和YARN(Yet Another Resource Negotiator)。HDFS是一种分布式文件...
4.在用户目录下的test目录下,创建一个文件hello.txt,文件内容是包含usr的运行进程列表,然后将目录的所有文件发送到主机名为test的服务器的/opt目录上,并使用soft01用户接收这些文件 5.简述3种加密方式的概念意义...
第一个:hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/java/jdk1.7.0_65 第二个:core-site.xml <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --&...
<name>dfs.replication <value>2 设置jobtracker端口 [root@a1 conf]# vim mapred-site.xml <name>mapred.job.tracker <value>hadoop1:9001 [root@a1 conf]# vi masters 改为 a1(主机名) [root@a1 conf]# ...
Hadoop 是一个开源的大数据处理框架,由Apache基金会开发和维护。它可以实现大规模数据的存储和处理,具有高可扩展性、可靠性和高性能等特点。搭建 Hadoop 集群环境是实现大数据处理的重要步骤,下面将详细介绍 ...
<name>dfs.replication <value>3 <name>dfs.namenode.name.dir <value>file:///root/hadoopv3/hdfs/name <name>dfs.datanode.data.dir <value>file:///root/hadoopv3/hdfs/data <name>dfs....
NameNode节点负责将一个文件分成若干文件块,并记录了HDFS文件系统中的文件块放了在哪些DataNode中(一个数据块被冗余地放到1个或多个DataNode节点中),一个集群中只有一个NameNode节点(Hadoop2.X中情况有所不同)...
此外,还需要修改 `hdfs-site.xml` 文件,添加 `dfs.replication` 属性,指定数据块的副本数量。 七、结论 本文档详细介绍了 CentOS 7 下 Hadoop 3.1.2 HDFS 的配置过程,包括安装 JDK、Hadoop、HDFS 的配置文件...
4. 修改 `hdfs-site.xml` 文件,设置 `dfs.replication` 和 `dfs.namenode.name.dir`。 集群配置 在每台机器上执行以下命令: * `ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa` * `cat /root/.ssh/id_dsa.pub >...
CS523 视频 项目的所有I / P和O / P文件 源代码 设置环境 下载环境 JDK 1.8 HADOOP ZOOKEEPER 卡夫卡 ... < value>hdfs://... < name>dfs.replication < value>1 < name>hadoop.tmp.dir <
<name>dfs.replication <value>1 </property> #设置数据备份数 5. 配置regionservers文件 regionservers文件位于/usr/local/hbase/conf目录下。我们需要设置所运行HBase的机器,此文件配置和hadoop中的slaves...
这个存储库包含我随机(但重要)的技术笔记,我发现它很有用。 请按照各个子文件夹了解更多详细信息特定技术。 到目前为止的笔记包括 Hadoop、Spark、机器学习、Java、Python、单元测试、清洁代码、Py 项目管理等...