1.停止hadoop运行
运行stop-all.sh
2.配置namenode节点和datanode节点的数据存储目录
修改hdfs-site.xml配置文件,添加如下内容
<property>
<name>dfs.name.dir</name>
<value>/home/test/hadoop-test/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/test/hadoop-test/dfs/data</value>
</property>
3.迁移hadoop的数据文件
mv /tmp/hadoop-test /home/test
备注:
1.在实际操作过程中出现了,移动数据异常中止问题,所以我将dfs/data目录下的文件强制打包到/home/test/hadoop-test/dfs/下,然后解压缩文件,实现数据文件的迁移。
2.在启动时时候如果丢失block过多,低于总block的99.99%,则hadoop会处于safe mode,可以使用 hadoop dfsadmin -safemode leave离开安全模式。
Usage: java DFSAdmin
[-report]
[-safemode enter | leave | get | wait]
[-saveNamespace]
[-refreshNodes]
[-finalizeUpgrade]
[-upgradeProgress status | details | force]
[-metasave filename]
[-refreshServiceAcl]
[-refreshUserToGroupsMappings]
[-refreshSuperUserGroupsConfiguration]
[-setQuota <quota> <dirname>...<dirname>]
[-clrQuota <dirname>...<dirname>]
[-setSpaceQuota <quota> <dirname>...<dirname>]
[-clrSpaceQuota <dirname>...<dirname>]
[-setBalancerBandwidth <bandwidth in bytes per second>]
[-help [cmd]]
3.检查dfs的block是否异常,使用hadoop fsck /,或则在50070页面进行监控,如果无法影响正常使用,可以考虑使用hadoop fsck -delete 命令删除损坏的文件。
相关推荐
通过使用MapReduce的方式,使Hadoop可以直接访问Oracle,并将相关的数据写入到HDFS文件当中。 从而可以顺利地将Oracle中的数据迁移到Hadoop文件系统中。
通过使用MapReduce的方式,使Hadoop可以直接访问Oracle,并将HDFS中的数据写入到Oracle当中。 从而可以顺利地将Hadoop中的数据迁移到Oracle文件系统中。
《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop.pdf《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop.pdf《Hadoop系统搭建及项目实践》课件10Hadoop 与RDMS数据迁移工具Sqoop...
1、hadoop单机模式和伪分布式 2、hadoop集群 3、hadoop运行WordCount程序 4、编码实践并在Hadoop上运行 题目:输入两个文件,一个代表工厂表,包含工厂名列和地址编号列;另一个代表地址表,包含地址名列和地址编号...
hadoop数据从oracle导入与导出
当前高能物理实验产生的数据量越来越大,利用大数据处理平台Hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷。从高能物理数据同步、...
该工具是HBase提供的一个将HDFS数据转化为HBase数据库数据的一个工具。 其实现过程是,先将HDFS文件转复制并转化为HFile文件,然后将HFile移动并加载成为HBase的数据文件。
hadoop构建数据仓库实践
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...
Linux下Hadoop单机配置,供大家参考学习!
Hadoop数据迁移--从Hadoop向HBase
Hadoop构建数据仓库实践1——王雪迎
第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式...
本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。
Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件,使用下面 ... Hadoop操作模式 在单机模式下...
详细的hadoop单机配置步骤,非常好的一个文档。
安装Hadoop(单机版和集群)详细步骤
前置条件: 1、ubuntu10.10安装成功(个人认为不必要花太多时间在系统安装上,我们不是为了装机而装机的) ...1、首先将hadoop0.21.0.tar.gz复制到usr下的local文件夹内,(sudo cp hadoop路径 /usr/local)如图
我成功的配置了Hadoop单击版和集群版,里面既有单机版,也有完全分布式版本;
将数据从Hadoop中向HBase载入数据,该过程大致可以分为两步: 一、将Hadoop中普通文本格式的数据转化为可被HBase识别的HFile文件,HFile相当于Oracle中的DBF数据 文件。 二、将HFile载入到HBase中,该过程实际就是...