- 浏览: 107347 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
zenoh:
是啊,我也纳闷,apache hadoop2.2.0的已经修复 ...
安装CDH5 hadoop2.2.0遇到的配置问题 -
Molisa:
你好,我有两个问题请教一下:1.为了密码安全,你有没有试过使用 ...
使用oozie调度sqoop从oracle导入hbase
今天在把原来的hadoop HA的环境给变换了,在start-dfs.sh时,报了以下一个错误:
013-09-23 16:39:33,248 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Web-server up at: slave3:50070
2013-09-23 16:39:33,248 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2013-09-23 16:39:33,282 INFO org.apache.hadoop.hdfs.server.namenode.ha.StandbyCheckpointer: Starting standby checkpoint thread...
2013-09-23 16:33:59,012 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Determined nameservice ID: master
2013-09-23 16:33:59,012 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: HA Enabled: true
2013-09-23 16:33:59,033 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Append Enabled: true
2013-09-23 16:33:59,672 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.extension = 30000
2013-09-23 16:33:59,677 WARN org.apache.hadoop.hdfs.server.common.Storage: Storage directory /home/hadoop/dw/data/hadoop/dfs/name does not exist
2013-09-23 16:33:59,678 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NameNode metrics system...
2013-09-23 16:33:59,679 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped.
2013-09-23 16:33:59,679 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2013-09-23 16:33:59,680 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.io.IOException: Cannot start an HA namenode with name dirs that need recovery. Dir: Storage Directory /dw/data/hadoop/dfs/name state: NON_EXISTENT
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:289)
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:202)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:639)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:476)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:400)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:434)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:610)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:591)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1162)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1226)
2013-09-23 16:33:59,683 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2013-09-23 16:33:59,684 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at slave3/10.95.3.64
************************************************************/
2013-09-23 16:39:30,752 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
这个错误导致备NN的进程起不起来,原因是主NN和备NN的元数据不一致导致的,只要把主NN的元数据目录拷贝到备NN的元数据目录即可。
013-09-23 16:39:33,248 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Web-server up at: slave3:50070
2013-09-23 16:39:33,248 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2013-09-23 16:39:33,282 INFO org.apache.hadoop.hdfs.server.namenode.ha.StandbyCheckpointer: Starting standby checkpoint thread...
2013-09-23 16:33:59,012 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Determined nameservice ID: master
2013-09-23 16:33:59,012 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: HA Enabled: true
2013-09-23 16:33:59,033 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Append Enabled: true
2013-09-23 16:33:59,672 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
2013-09-23 16:33:59,675 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.namenode.safemode.extension = 30000
2013-09-23 16:33:59,677 WARN org.apache.hadoop.hdfs.server.common.Storage: Storage directory /home/hadoop/dw/data/hadoop/dfs/name does not exist
2013-09-23 16:33:59,678 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NameNode metrics system...
2013-09-23 16:33:59,679 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped.
2013-09-23 16:33:59,679 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2013-09-23 16:33:59,680 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.io.IOException: Cannot start an HA namenode with name dirs that need recovery. Dir: Storage Directory /dw/data/hadoop/dfs/name state: NON_EXISTENT
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverStorageDirs(FSImage.java:289)
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:202)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:639)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:476)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:400)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:434)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:610)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:591)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1162)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1226)
2013-09-23 16:33:59,683 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2013-09-23 16:33:59,684 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at slave3/10.95.3.64
************************************************************/
2013-09-23 16:39:30,752 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
这个错误导致备NN的进程起不起来,原因是主NN和备NN的元数据不一致导致的,只要把主NN的元数据目录拷贝到备NN的元数据目录即可。
发表评论
-
-snn.saturn.local:8485 failed on connection exception: java.net.ConnectException
2014-05-07 15:12 02014-01-26 00:46:35,631 INFO ... -
Hadoop 归档 和HIVE 如何使用har 归档 文件
2014-05-01 23:47 1024Hadoop archive 唯一的优势可能就是将众多的小 ... -
Hadoop的JVM重用
2014-05-01 20:21 1068Hadoop中有个参数是mapred.job.reuse. ... -
Hadoop 优化总结(一)
2014-04-27 12:09 15541. 使用自定义Writable 自带的Text很好用,但 ... -
hadoop调优
2014-04-26 12:01 0硬件级别提高磁盘IO的 ... -
启动hadoop 报错:A fatal error has been detected by the Java Runtime
2014-04-25 10:10 0今天在重启hadoop集群的时候,一个节点报了下面的一个错,由 ... -
java.io.IOException: Cannot obtain block length for LocatedBlock{BP-
2014-04-25 10:07 0今天的job在执行的时候,出现了下述的异常: java. ... -
hadoop报的一个job提交的错
2014-04-24 10:56 0Diagnostics: Application a ... -
hadoop hdfs HA 启动不了ZKFC
2014-04-23 11:47 0测试环境master1 系统重做了,原来的所有数据都丢失,后来 ... -
Hadoop平台优化综述(一)
2014-04-19 18:48 01. 概述 随着企业 ... -
大数据处理分析的六大最好工具
2014-04-19 11:59 0Hadoop Hadoop 是一个能够对大量数据进行分布式处 ... -
Shuffle$ShuffleError
2014-04-06 10:10 0Error: org.apache.hadoop.mapr ... -
hadoop2.2.0 CDH 源码编译
2014-03-27 13:29 01 下载 源码 wget chd5 2 安装软件 yum ... -
Map/Reduce Task JVM 堆大小设置优化
2014-03-13 15:15 1865前一阵子发现用户提交的hive query和hadoop jo ... -
hadoop参数配置优化
2014-03-13 15:12 683hadoop.tmp.dir 默认值: /tmp 说明: 尽 ... -
Hadoop为什么处理小数据量时效果不好?
2014-03-11 16:50 1127Every file, directory and bloc ... -
Hadoop : MapReduce中的Shuffle和Sort分析
2014-03-03 14:06 860MapReduce 是现今一个非常流行的分布式计算框架,它被 ... -
关于Hadoop的shuffle
2014-03-03 11:16 857我们知道每个reduce task输入的key都是按照k ... -
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError:
2014-03-01 23:17 4214hadoop执行JOB在reduce阶段 ... -
hadoop Caused by: java.io.IOException: Filesystem closed
2014-02-25 13:46 6480今天在执行hive的时候报了下面的错: 2014-02 ...
相关推荐
第五天 hadoop2.x中HA机制的原理和全分布式集群安装部署及维护 01-zookeeper.avi 02-zookeeper2.avi 03-NN高可用方案的要点1.avi 04-hadoop-HA机制的配置文件.avi 05-hadoop分布式集群HA模式部署.avi 06-hdfs...
Hadoop2.X只支持HA的一主一备 H adoop3.x支持一主多备(官方推荐NN为3) 1、HDFS-HA解决方案 2、NameNode 的主备切换实现 NameNode 主备切换主要由 ZKFailoverController、HealthMonitor 和 ActiveStandbyElect
第1章 HDFS HA及解决方案 1.1 HDFS系统架构 ...8.4.1 启动HA HDFS集群 8.4.2 第1次failover 8.4.3 模拟写操作 8.4.4 模拟Active Name Node失效,第2次failover 8.3.5 模拟新的Standby NameNode加入 8.5 小结
Hadoop2.x由HDFS、MapReduce、和YARN三个分支构成 1、HDFS: NNFederation 、HA 多了这两个部分 2、MapReduce:运行在YARN上的MR 3、YARN:是对应的资源管理系统
zookeeper在hadoop HA中的应用,zookeeper监控NN和RM,当发现有服务挂掉时,会通过选举服务选出一个active状态的节点继续运行。 (已完成的准备工作:1、安装jdk并配置环境变量;2、关闭防火墙;3、ssh无密登录;4...
脚本使用:vim编辑脚本,按照自己的配置修改主机号,我的是hadoop1、2是NN;hadoop2、3是Spark Master;hadoop3还是RM;hadoop4、5、6是DN、NM、Spark Worker。编辑完成后在满足“前提”的任意一台主机运行均可。 ...
本篇介绍在centos7中搭建hadoop2.10高可用集群,首先准备6台机器:2台nn(namenode);4台dn(datanode);3台jns(journalnodes) IP hostname 进程 192.168.30.141 s141 nn1(namenode),zkfc...
03_ZK集群启动脚本编写及NN启动过程(fsimage和edits)及SNN功能 04_HADOOP中服务组件的高可用HA说明 05_搭建分布式HBase集群 06_SQOOP安装及导入数据到HBase表 07_HBase Backup Masters配置、启动、测试 08_...
“备用只读 HDFS NameNode,没有 RPC 服务器,通过 REST API 为客户端提供...然后访问 ,您将拥有一个 NNA 实例,其中包含一个支持迷你 HA 的 HDFS 实例,所有实例都在您的本地机器上实时更新! 架构:传统与 NNA 文
通过传入两个NameNode来支持NameNode HA。 响应作为漂亮的Python类返回,并且任何失败的操作都将引发与Java异常匹配的HdfsException某些子类。 用法示例: >> > fs = pyhdfs . HdfsClient ( hosts = 'nn1....