最近这段时间因为工作需要安装了hadoop+hbase集群,在安装的过程中总结了以下一些常见的问题,供大家参考。
一、问题1
ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
1. 删除/tmp下hadoop 有关系的东西目录及文件(如果/tmp 下没有重要东西,可以 rm –fr /tmp/*)
2. $ /home/hadoop/hadoop/bin/hadoop namenode –format
问题二、问题2
1. 请检查namenode & datanode 的配置文件conf/mapred-site.xml conf/core-site.xml 里是否出现localhost ,这样会存在解析不到地址,需要改成主机名,我这里将localhost修改master,重启服务,出现下图为正常
三、问题3:
无法打开http://10.1.1.4:50070 页面上的Browse the filesystem,其他的正常
这是因为访问时候会跳转到node1 & node2(使用域名而不是ip访问)机器上,需要关闭node1& node2 iptables后并在本地添加hosts记录(即:要用那台机子访问就在那台机子添加)
10.1.1.3 master
10.1.1.4 node1
10.1.1.10 node2
四、问题4
INFO org.apache.hadoop.ipc.RPC: Server at localhost/127.0.0.1:9000 not available yet, Zzzzz...
1.先清空tmp目录下的所有文件。因为每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时namespaceIDs不一致
2.执行 bin/hadoop namenode -format
3.执行 bin/start-all.sh
五、问题5
hbase 的管理页面http://10.1.1.3:60010打不开
看日志提示应该是hadoop的安全模式问题
执行/home/hadoop/hadoop/bin/hadoop dfsadmin -safemode leave 退出安全模式,然后重启hbase即可
六、问题6
ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master
java.lang.RuntimeException: HMaster Aborted
七、问题7
could only be replicated to 0 nodes, instead of 1
hosts配置文件中 namnode 对应的是127.0.0.1 datanode访问不了namenode的9000端口
相关推荐
hadoop-2.52-hbase-0.14-hadoop2 ha高可用安装,hbase动态添加删除节点,hbase集群正常状态及启动,hbase 问题汇总
3. 掌握HBase在开发中常见的技术大坑与调优技术。 课时1:HBase简介与部署 课时2:HBase架构与索引算法剖析 课时3:HBase建库建表与CRUD实战 课时4:基于HBase Client API的CRUD实战 课时5:批处理与扫描器实战...
HBase作为当前比较热门和广泛使用的NoSQL数据库,由于本身设计架构和流程上比较复杂,对大数据经验较少的运维人员门槛较高,本文对当前HBase上已有的工具做一些介绍以及总结。 写在前面的说明: 1) 由于HBase不同...
Java前后开发面试题,大厂进阶之路,基于JavaGuide、Cyc大佬、牛客...包含计算机网络知识、JavaSE、JVM、Spring、Springboot、SpringCloud、Mybatis、多线程并发、netty、MySQL、MongoDB、Elasticsearch、Redis、HBASE
本文涵盖IT运维领域常见中间件的学习,包括mysql redis Tomcat nginx zabbix ansile docker lvs+keepalive jdk kafka mongoDB zookeeper k8s ELK hbase HDFS ElasticSearch Promethes ETCD KVM mino等,基本都是理论...
常见java面试,大数据方面,hadoop原理,hive,hbase,spark面试等的常问问题
Java前后开发面试题,大厂进阶之路,基于JavaGuide、Cyc大佬、牛客...包含计算机网络知识、JavaSE、JVM、Spring、Springboot、SpringCloud、Mybatis、多线程并发、netty、MySQL、MongoDB、Elasticsearch、Redis、HBASE
常见大数据面试题总结,包括Hadoop、Spark、Hbase、Hive等
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...
Mysql数据库相关⾯试题总结(30道) 1、列举常见的关系型数据库和⾮关系型都有那些? 关系型数据库:Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL ⾮关系型数据库:NoSql、Cloudant、MongoDb、redis...
对java工程师面试的常见题目进行汇总。java虚拟机、java集合、java多线程并发、java基础、SPRING原理、微服务、NETTY、RPC、网络、日志、zookeeper、kafka、rabbitmq、hbase等内容
统计分析 定义:将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群,利用分布式技术来对存储于其内的集中的海量数据 进行普通的查询和分类汇总等,以此满足大多数常见的分析需求。...
│ 906管理复制以及常见问题处理_rec.mp4 │ 907相关问题解答_rec.mp4 │ MySQL培训(9)_主备配置过程.docx │ MySQL培训(9)_复制线程状态.docx │ MySQL培训(9)_MySQL的复制.docx │ ├─L010-oldboy-mysql-dba-...
数据仓库理解 数据仓库理解 根据笔者⾃⼰的理解,数据仓库是⼀个抽象的概念,⽽实现的载体则是我们常见的各种数据库表。⽐如传统⾏业中⽤到的Oracle、 Teradata(简称TD)、GreenPlum(简称GP),互联⽹⾏业中⽤到的Hive...
这是最常见的NoSQL数据库,它的数据是以key-value的形式存储的。虽然它的处理速度非常快,但是基本上只能通过key的完全一致查询获取数据。根据数据的保存方式可以分为临时性、永久性和两者兼具三种。 临时性 ...