hadoop启动问题解决方案:
1. service iptables stop || /etc/rc.d/init.d/iptables
2. vi /etc/sysconfig/selinux ==> ...=disabled
3. service sshd start
4. 重启电脑
多次格式化文件系统后,datanode无法启动的问题
摘要:该文档解决了多次格式化文件系统后,datanode无法启动的问题
一、问题描述
当我多次格式化文件系统时,如
root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format
会出现datanode无法启动,查看日志,发现错误为:
2012-04-20 20:39:46,501 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/gqy/hadoop/data: namenode namespaceID = 155319143; datanode namespaceID = 1036135033
二、问题产生原因
当我们执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件只是你第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。
三、解决办法
把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION中的namespaceID改为与namenode一样
-------------------------------------------------------------------------------------------------------------------------
HBase配置参见:http://www.cnblogs.com/ventlam/archive/2011/01/22/HBaseCluster.html
分享到:
相关推荐
以下是对"**Hbase配置所需要的配置文件.zip**"中可能包含的配置文件及其作用的详细解释: 1. **hbase-site.xml**: 这是HBase的主要配置文件,包含了HBase集群的全局配置参数。例如,你可以在这里设置`hbase.rootdir...
指导手册06:HBase安装部署 hbase配置文件
### HBase 配置内置 ZooKeeper 的详细步骤与解析 #### 一、配置背景与目的 在 HBase 的部署环境中,ZooKeeper 起着非常重要的作用,它主要用于协调集群中的各个节点,并且管理 HBase 的元数据。通常情况下,HBase ...
在"HBase配置文件若干配置.zip"中,我们可能找到了与这些配置相关的模板或修改建议。 首先,`hbase.rootdir`是HBase的数据目录,它定义了HDFS上的路径,用于存储HBase的所有表数据和元数据。例如,可以设置为`hdfs:...
### HBase配置文件 HBase的配置文件通常位于`conf`目录下,主要包括以下几个关键文件: 1. **hbase-site.xml**:这是HBase的主要配置文件,包含了HBase集群的全局设置。例如,`hbase.rootdir`定义了HBase的数据...
这份“HBase配置项说明及调优建议”资料,旨在帮助用户理解HBase的核心配置参数,并提供实用的优化策略。 首先,我们要了解HBase的几个关键配置类别: 1. **Master节点配置**:Master节点负责管理表和Region的分配...
本配置文件集专注于利用 Docker 搭建一个 HBase 集群,其中涉及到的关键知识点包括 Docker 的基本操作、Hadoop 的分布式文件系统(HDFS)、Zookeeper 的协调服务以及 HBase 的数据存储模型。 首先,了解 Docker 是...
《基于机器学习的HBase配置参数优化研究》这篇文章探讨了一个重要的议题:如何利用机器学习技术对HBase数据库系统的配置参数进行优化。HBase是一个广泛应用于大数据处理的分布式数据库管理系统,尤其适用于需要快速...
本人刚开始学大数据,根据自己主机写的一些HBASE配置文件,如有所需请自取,错误之处请多包涵。。。。。
1. `hbase-site.xml`: 这是HBase的核心配置文件,包含了HBase的主节点(Master)、ZooKeeper的连接信息(`hbase.zookeeper.quorum`),以及HBase的数据存储位置(`hbase.rootdir`)等。 2. `hbase-env.sh`: 这是一...
2. **HBase配置** - HBase有三种运行模式:单机模式、伪分布式模式和分布式模式。实验中主要讨论前两种。 - 在配置之前,确保已安装JDK、Hadoop(对于单机模式可选),并且配置了SSH。 - 对于单机模式配置: - ...
### 基于集群的HBase安装和配置 #### Zookeeper简介 Zookeeper作为Hadoop生态中的关键组件,主要用于提供高可用性和分布式协调服务。它能够有效地管理Hadoop集群中的各种资源和服务,例如Hadoop NameNode管理和...
配置步骤包括解压HBase,修改`hbase-env.sh`文件(例如设置HBase不管理Zookeeper),在`hbase-site.xml`中指定HBase的根目录、分布式模式以及Zookeeper集群地址,编辑`regionservers`文件列出所有RegionServer节点,...
HBase 和 ZooKeeper 配置详解 HBase 和 ZooKeeper 是两个非常重要的分布式系统组件,分别用于分布式数据库和分布式协调服务。今天,我们将详细介绍如何配置 HBase 和 ZooKeeper,以便更好地理解它们之间的交互。 ...
hbase 常用参数含义,默认值,调优建议(必须参数,split,compaction,blockcache,memstore flush,hlog,zookeeper,其他,等相参数名称、含义、默认值、调优建议)
可以通过Cloudera Manager(CM)或其他管理工具搜索并编辑`hbase-site.xml`文件,或者直接修改服务范围内的高级配置代码段中的HBase服务高级配置代码段。 - **增加以下配置**: ```xml <name>hbase.rpc.engine ...
在搭建Hadoop框架中的HBase集群之前,理解并熟悉HBase的配置文件是至关重要的步骤。HBase是一款基于Google Bigtable理念设计的开源分布式数据库,它构建于Hadoop之上,适用于处理海量数据。HBase提供了高可靠性、高...
本文将深入探讨如何配置和安装Hadoop HBase以及集成Snappy,以优化大数据处理的效率。 首先,我们需要理解Hadoop的环境配置。Hadoop的配置涉及多个文件,如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`。...