`

HBase配置

 
阅读更多

hadoop启动问题解决方案:

 

1. service iptables stop || /etc/rc.d/init.d/iptables

2. vi /etc/sysconfig/selinux ==> ...=disabled

3. service sshd start

4. 重启电脑

 

 

 

多次格式化文件系统后,datanode无法启动的问题

 

摘要:该文档解决了多次格式化文件系统后,datanode无法启动的问题

一、问题描述

       当我多次格式化文件系统时,如

               root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format

     会出现datanode无法启动,查看日志,发现错误为:

        2012-04-20 20:39:46,501 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/gqy/hadoop/data: namenode namespaceID = 155319143; datanode namespaceID = 1036135033

二、问题产生原因

         当我们执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件只是你第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。

三、解决办法

      把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION中的namespaceID改为与namenode一样

-------------------------------------------------------------------------------------------------------------------------

HBase配置参见:http://www.cnblogs.com/ventlam/archive/2011/01/22/HBaseCluster.html

 

 

 

 

分享到:
评论

相关推荐

    Hbase配置所需要的配置文件.zip

    以下是对"**Hbase配置所需要的配置文件.zip**"中可能包含的配置文件及其作用的详细解释: 1. **hbase-site.xml**: 这是HBase的主要配置文件,包含了HBase集群的全局配置参数。例如,你可以在这里设置`hbase.rootdir...

    指导手册06:HBase安装部署 hbase配置文件

    指导手册06:HBase安装部署 hbase配置文件

    hbase配置内置的zookeeper

    ### HBase 配置内置 ZooKeeper 的详细步骤与解析 #### 一、配置背景与目的 在 HBase 的部署环境中,ZooKeeper 起着非常重要的作用,它主要用于协调集群中的各个节点,并且管理 HBase 的元数据。通常情况下,HBase ...

    HBase配置文件若干配置.zip

    在"HBase配置文件若干配置.zip"中,我们可能找到了与这些配置相关的模板或修改建议。 首先,`hbase.rootdir`是HBase的数据目录,它定义了HDFS上的路径,用于存储HBase的所有表数据和元数据。例如,可以设置为`hdfs:...

    HBase配置文件与HBase doc文档

    ### HBase配置文件 HBase的配置文件通常位于`conf`目录下,主要包括以下几个关键文件: 1. **hbase-site.xml**:这是HBase的主要配置文件,包含了HBase集群的全局设置。例如,`hbase.rootdir`定义了HBase的数据...

    HBase配置项说明及调优建议.zip

    这份“HBase配置项说明及调优建议”资料,旨在帮助用户理解HBase的核心配置参数,并提供实用的优化策略。 首先,我们要了解HBase的几个关键配置类别: 1. **Master节点配置**:Master节点负责管理表和Region的分配...

    Docker hadoop zookeeper hbase 配置文件

    本配置文件集专注于利用 Docker 搭建一个 HBase 集群,其中涉及到的关键知识点包括 Docker 的基本操作、Hadoop 的分布式文件系统(HDFS)、Zookeeper 的协调服务以及 HBase 的数据存储模型。 首先,了解 Docker 是...

    基于机器学习的HBase配置参数优化研究.pdf

    《基于机器学习的HBase配置参数优化研究》这篇文章探讨了一个重要的议题:如何利用机器学习技术对HBase数据库系统的配置参数进行优化。HBase是一个广泛应用于大数据处理的分布式数据库管理系统,尤其适用于需要快速...

    hbase配置文件.txt

    本人刚开始学大数据,根据自己主机写的一些HBASE配置文件,如有所需请自取,错误之处请多包涵。。。。。

    Hadoop和Hbase 配置文件-完整好的

    1. `hbase-site.xml`: 这是HBase的核心配置文件,包含了HBase的主节点(Master)、ZooKeeper的连接信息(`hbase.zookeeper.quorum`),以及HBase的数据存储位置(`hbase.rootdir`)等。 2. `hbase-env.sh`: 这是一...

    大数据技术基础实验报告-HBase安装配置和应用实践.doc

    2. **HBase配置** - HBase有三种运行模式:单机模式、伪分布式模式和分布式模式。实验中主要讨论前两种。 - 在配置之前,确保已安装JDK、Hadoop(对于单机模式可选),并且配置了SSH。 - 对于单机模式配置: - ...

    基于集群的HBase安装和配置

    ### 基于集群的HBase安装和配置 #### Zookeeper简介 Zookeeper作为Hadoop生态中的关键组件,主要用于提供高可用性和分布式协调服务。它能够有效地管理Hadoop集群中的各种资源和服务,例如Hadoop NameNode管理和...

    Hbase配置.docx

    配置步骤包括解压HBase,修改`hbase-env.sh`文件(例如设置HBase不管理Zookeeper),在`hbase-site.xml`中指定HBase的根目录、分布式模式以及Zookeeper集群地址,编辑`regionservers`文件列出所有RegionServer节点,...

    hbase和zookeeper配置

    HBase 和 ZooKeeper 配置详解 HBase 和 ZooKeeper 是两个非常重要的分布式系统组件,分别用于分布式数据库和分布式协调服务。今天,我们将详细介绍如何配置 HBase 和 ZooKeeper,以便更好地理解它们之间的交互。 ...

    HBase配置项说明及调优建议.xlsx

    hbase 常用参数含义,默认值,调优建议(必须参数,split,compaction,blockcache,memstore flush,hlog,zookeeper,其他,等相参数名称、含义、默认值、调优建议)

    HBase开启审计日志

    可以通过Cloudera Manager(CM)或其他管理工具搜索并编辑`hbase-site.xml`文件,或者直接修改服务范围内的高级配置代码段中的HBase服务高级配置代码段。 - **增加以下配置**: ```xml <name>hbase.rpc.engine ...

    HBase配置文件

    在搭建Hadoop框架中的HBase集群之前,理解并熟悉HBase的配置文件是至关重要的步骤。HBase是一款基于Google Bigtable理念设计的开源分布式数据库,它构建于Hadoop之上,适用于处理海量数据。HBase提供了高可靠性、高...

    Hadoop HBase 配置 安装 Snappy 终极教程

    本文将深入探讨如何配置和安装Hadoop HBase以及集成Snappy,以优化大数据处理的效率。 首先,我们需要理解Hadoop的环境配置。Hadoop的配置涉及多个文件,如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`。...

Global site tag (gtag.js) - Google Analytics