备份namenode上的元数据持久状态文件,将写入元数据的写入操作备份到一台远程挂在的NFS文件上。为了确保完全恢复,平时需要通过一台物理机对namenode定期镜像,所有nodename的操作都在辅助机上重复,但由于重复仍是滞后于主机,所以需要配合NFS的元数据来完成完全备份。
./hadoop distcp hdfs://192.168.0.51:9000/hbase hdfs://120.27.44.69:9000/hbase
hdfs dfsadmin -safemode get
hadoop distcp -overwrite hdfs://xd-gw:9005/hbase hdfs://xd-ui:9000/hbase
http://zanrenpin.vicp.net:8180/view/stays/6/2014-12-23%200/2014-12-23%2022
http://120.27.44.69:8080/view/stays/6/2014-12-23%200/2014-12-23%2022
Daemon Default Port Configuration Parameter
----------------------- ------------ ----------------------------------
Namenode 50070 dfs.http.address
Datanodes 50075 dfs.datanode.http.address
Secondarynamenode 50090 dfs.secondary.http.address
Backup/Checkpoint node? 50105 dfs.backup.http.address
Jobracker 50030 mapred.job.tracker.http.address
Tasktrackers 50060 mapred.task.tracker.http.address
hdfs dfsadmin -safemode get
hadoop distcp -overwrite hdfs://xd-gw:9005/hbase hdfs://xd-ui:9000/hbase
http://zanrenpin.vicp.net:8180/view/stays/6/2014-12-23%200/2014-12-23%2022
http://120.27.44.69:8080/view/stays/6/2014-12-23%200/2014-12-23%2022
Daemon Default Port Configuration Parameter
----------------------- ------------ ----------------------------------
Namenode 50070 dfs.http.address
Datanodes 50075 dfs.datanode.http.address
Secondarynamenode 50090 dfs.secondary.http.address
Backup/Checkpoint node? 50105 dfs.backup.http.address
Jobracker 50030 mapred.job.tracker.http.address
Tasktrackers 50060 mapred.task.tracker.http.address
hadoop的端口
jobtracker 默认的端口号:50030 ,jobtracker-host:50030 ,job的管理界面 。
dfs 默认端口:50070 ,namenode-host:50070 ,dfs的管理界面
(以下转载自:http://hi.baidu.com/chemical_liang/blog/item/18ff1a3a465142e93a87cef8.html)
默认端口 设置位置 描述信息
50030 mapred.job.tracker.http.address JobTracker administrative web GUI
JOBTRACKER的HTTP服务器和端口
50070 dfs.http.address NameNode administrative web GUI
NAMENODE的HTTP服务器和端口
50010 dfs.datanode.address DataNode control port (each DataNode listens on this port and registers it with the NameNode on startup)
DATANODE控制端口,主要用于DATANODE初始化时向NAMENODE提出注册和应答请求
50020 dfs.datanode.ipc.address DataNode IPC port, used for block transfer
DATANODE的RPC服务器地址和端口
50060 mapred.task.tracker.http.address Per TaskTracker web interface
TASKTRACKER的HTTP服务器和端口
50075 dfs.datanode.http.address Per DataNode web interface
DATANODE的HTTP服务器和端口
50090 dfs.secondary.http.address Per secondary NameNode web interface
辅助DATANODE的HTTP服务器和端口
jobtracker 默认的端口号:50030 ,jobtracker-host:50030 ,job的管理界面 。
dfs 默认端口:50070 ,namenode-host:50070 ,dfs的管理界面
(以下转载自:http://hi.baidu.com/chemical_liang/blog/item/18ff1a3a465142e93a87cef8.html)
默认端口 设置位置 描述信息
50030 mapred.job.tracker.http.address JobTracker administrative web GUI
JOBTRACKER的HTTP服务器和端口
50070 dfs.http.address NameNode administrative web GUI
NAMENODE的HTTP服务器和端口
50010 dfs.datanode.address DataNode control port (each DataNode listens on this port and registers it with the NameNode on startup)
DATANODE控制端口,主要用于DATANODE初始化时向NAMENODE提出注册和应答请求
50020 dfs.datanode.ipc.address DataNode IPC port, used for block transfer
DATANODE的RPC服务器地址和端口
50060 mapred.task.tracker.http.address Per TaskTracker web interface
TASKTRACKER的HTTP服务器和端口
50075 dfs.datanode.http.address Per DataNode web interface
DATANODE的HTTP服务器和端口
50090 dfs.secondary.http.address Per secondary NameNode web interface
辅助DATANODE的HTTP服务器和端口
相关推荐
hbase基于快照的数据迁移,hbase提供的数据迁移方案。
An HBase table is built based on Hadoop HDFS. Therefore, HBase data can be migra
Hadoop数据迁移--从Hadoop向HBase
2019年1月19日 阿里云栖开发者沙龙合肥专场:高并发企业级应用架构实践分享 主要章节:
由于大数据里面涉及到非关系型数据库如hive、kudu、hbase等的数据迁移,目前涉及到的迁移工具都没有支持hive数据库的事务表的迁移,如果hive库里面存在大量的事务表的时候,目前的工具都是不支持的,例如华为的CDM,...
nosql实验五-HBase数据迁移与数据备份&恢复
介绍如何hbase-0.94.1手动进行数据迁移
关系型数据库与HBASE间的数据迁移介绍.pptx
一种MySQL到HBase的迁移策略的研究与实现.pdf
数据流信息从MySQL到HBase的迁移策略的研究.pdf
一、 HBase技术介绍 HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统... Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。
文章分析了现有迁移工具的利弊,基于HBase数据库提出了一种有效的数据迁移策略,并依据提出的策略实现了一种半自动化移工具。以美国城市和方言系统CityDetail数据库数据为例,阐述了该迁移工具的工作原理并对迁移后...
该文件为hbase hbck2 jar;...对于HBase跨集群HD集群迁移,当HDFS文件迁移后,使用HBCK客户端,完成HBase元数据修复。当前版本:hbase-hbck2-1.3.0.jarhbase hbck -j /opt/software/hbase-hbck2-1.3.0-SNAPSHOT.jar
利用sqoop把mysql数据导入到hbase中,建立phoenix与hbase的映射,用phoenix jdbc操作hbase!达到sql操作nosql!
方案一:DistCp 迁移(需要停掉集群)disable tablename(单张表 disable)disable_all (整个 hbase 所有表 dis
将数据从Hadoop中向HBase载入数据,该过程大致可以分为两步: 一、将Hadoop中普通文本格式的数据转化为可被HBase识别的HFile文件,HFile相当于Oracle中的DBF数据 文件。 二、将HFile载入到HBase中,该过程实际就是...
Hbase从入门到进阶的全部视频,主要内容: 1、HBase的安装、目录结构以及启动 2、Hbase原理、运维、API、数据迁移备份 3、Hbase架构解析 4、Hbase实例 5、源码获取编译与分析 等等
2-5+HBase+高效一键迁移的设计与实践
官网文章介绍的方法是在部署好Linux HBase群集后,用SSH工具登陆并输入以下命令进行数据迁移: hdfs dfs -cp