hdfs HA 实验
hdfs 第一次
机器准备 ,机器配合 hostname,ip 作为namenode 的机器 到其他的机器要有 ssh 权限
1、 start zk cluster
主 :
2、 ./hdfs journalnode 这个会启动所有配置的 journalnode ,执行机 要有到 其他 机器的 ssh 的权限 用于存放 namenode 的 内容
3、hdfs zkfc -formatZK
4、hdfs namenode -format
主 start main namenode server
5、 sbin/hadoop-daemon.sh start namenode
备
6、hdfs namenode -bootstrapStandby
7、sbin/hadoop-daemon.sh start namenode
8、sbin/hadoop-daemons.sh start zkfc
这个是决定 哪个是 active的程序
9、sbin/hadoop-daemons.sh start datanode
如果 namenode format 过 要把所有datanode 上的 文件删干净。 要不然启动会报错。
以后 的起停 start-dfs.sh stop -dfs.sh
测试过程发,kill active namenode ,standby 上 sshfence 有权限问题,发现是 linux fuser 没有装。
yum install psmisc
Hbase HA 多起一个 mastr 就OK
分享到:
相关推荐
HDFS HA 配置、启动与验证;HDFS HA 配置、启动与验证;任务一 修改core-site.xml配置文件;任务二 修改hdfs-site.xml配置文件(一);任务二 修改hdfs-site.xml配置文件(二);任务二 修改hdfs-site.xml配置文件(三);...
HDFS HA和Federation安装部署方法
A.2实验二:熟悉常用的HDFS操作 本实验对应第4章的内容。 A.2.1 实验目的 (1)理解 HDFS在Hadoop体系结构中的角色。(2)熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1)操作...
HDFS实验手册,适合想要了解大数据的人群。
大数据技术基础实验报告-HDFS常用操作命令
搭建手工切换HA的HDFS集群,学习大数据hadoop搭建环境的可以看下,通俗易懂
8.1 HA 概述 8.2.2 HDFS-HA 自动故障转移工作机制 8.3.1 环境准备 8.3.2 规划集群
数据科学导论 实验2:熟悉常用的HDFS操作 1. 编程实现以下指定功能,并利用 Hadoop 提供的 Shell 命令完成相同任务: 2. 编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream...
hdfs ha设置文档
大数据技术基础实验报告-调用Java API实现HDFS操作
主要介绍了Java API连接HDFS HA和调用MapReduce jar包,需要的朋友可以参考下
HDFS实验
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
适合刚接触hadoop的学生或小白,内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
HDFS的Shell操作,bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类等等。
数据存储实验2-熟悉常用的HDFS操作.doc(实验报告)
一、实验目的 1. 理解 HDFS 体系架构。 2. 理解 HDFS 文件存储原理和数据读写过程。 3. 熟练掌握 HDFS Web UI 界面的使用。 4. 熟练掌握 HDFS Shell 常用命令的使用。 5. 熟练掌握 HDFS 项目开发环境的搭建。 6. ...
实验2模板-HDFS环境搭建及基本命令的使用,实验报告原始资料
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
1、笔记本4G内存 ,操作系统WIN7 (屌丝的配置) 2、工具VMware Workstation 3、虚拟机:CentOS6.4共四台 每台机器:内存512M,硬盘40G,网络适配器:NAT模式 边看边操作 (本人原创)