Hadoop管理员常用命令
hadoop job -list #列出正在运行的job
hadoop job -kill <job_id> #kill job
hadoop fsck /xxx #检查HDFS块状态,是否损坏
hadoop fsck /xxx -delete #检查HDFS块状态,删除损坏块
hadoop dfsadmin -report #检查HDFS状态,包括DN信息
hadoop dfsadmin -safemode enter|leave
./bin/start-balancer.sh #平衡集群文件
使用hadoop创建一个文件
package com.hadoop.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSmkdir { public static void main(String args[]) throws IOException{ Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); fs.mkdirs(new Path("/user/hadoop/xxx")); } }
创建完成后导出hadoop项目jar,导出为hdfs.jar
放在linux中hadoop的lib下面
执行方式:
hadoop jar hdfs.jar
package com.hadoop.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; /** * 文件拷贝 * @author lenovo * */ public class CopyToHdfs { public static void main(String args[]) throws IOException{ Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); fs.copyFromLocalFile(new Path("/user/abc.txt"), new Path("/user/hadoop/abc.txt")); } }
//查看HDFS结点信息
package com.hadoop.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hdfs.DistributedFileSystem; import org.apache.hadoop.hdfs.protocol.DatanodeInfo; /** * 查看HDFS结点信息 * @author lenovo * */ public class FindFileOnHdfs { /** * @param args * @throws IOException */ public static void main(String[] args) throws IOException { getHDFSNodes(); getFileLocal(); } // 获取某个文件在Hdfs的集群位置 private static void getFileLocal() throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path path =new Path("/user/hadoop/xxxxx/xxx.txt"); //获取文件信息状态 FileStatus filestatus = fs.getFileStatus(path); BlockLocation[] blockLocation=fs.getFileBlockLocations(filestatus, 0, 20); int lengths= blockLocation.length; for(int i=0;i<lengths;i++){ String [] nodes = blockLocation[i].getHosts(); System.out.println("block_"+i+"_location:"+nodes[0]); } } private static void getHDFSNodes() throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); //获取分布式文件系统 DistributedFileSystem hdfs =(DistributedFileSystem) fs; //获取结点数 DatanodeInfo [] datanodeinfo = hdfs.getDataNodeStats(); for(int i=0;i<datanodeinfo.length;i++){ System.out.println("datanode_"+i+"_name"+datanodeinfo[i].getHostName()); } } }
相关推荐
hadoop基本知识总结
大数据与云计算培训学习资料 Hadoop之HDFS基础入门知识介绍 共42页.ppt
hadoop架构的基础知识介绍,此文档为PPT,通过此文档可以对hadoop的基本理论知识有所熟悉。
第一章 大数据基础和Zookeeper入门 第二章 Zookeeper操作和Hadoop环境搭建 第三章 HDFS操作 第四章 HDFS的JavaAPI操作和MapReduce入门 第五章 MapReduce的WordCount案例和分区 第六章 MapReduce的排序和序列化 第七...
hadoop入门讲解,讲的都是基础知识,包括背景、构成、应用场景。适合新手入门。
一个hadoop汇报用的ppt,里面有hadoop,hbase,zookeeper,spark的介绍,有源代码的截图和说明,适合没有什么基础的人,都是入门级别的知识,版本是hadoop2.7.3,hbase1.3.1,spark2.1.0
什么是hadoop: (1)Hadoop是一个开源的框架,可编写和...(2)Hadoop就是一个分布式计算的解决方案.Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
这本书,从零开始介绍了hadoop相关知识,适合零基础的人也适合有一定hadoop基础的人。本书例子详细,操作步骤清楚。
001 Linux系统基本知识说明和启动Linux虚拟机 002 配置虚拟机IP地址和如何使用远程工具SecureCRT 003 Linux 环境下基本命令使用及Linux系统中文件的类型和权限 004 Linux 环境下基本命令讲解二 005 Linux 系统远程...
join 7.3 本章小结8 结合R 和Hadoop 进行数据统计8.1 比较R 和MapReduce 集成的几种方法8.2 R 基础知识 8.3 R 和Streaming 8.3.1 Streaming 和map-only R 技术点57 计算股票日平均值8.3.2 Streaming...
Hadoop基本知识概括,新手必备
自己整理的入门级hadoop概述,把知识点系统的整理了一下。简单介绍了一下hadoop的概念、基本框架等。
这是一个思维导图式的文件,主要是本人整理的hadoop搭建基本的操作,以伪分布式结构为主的,方便查询内容和学习
(一)Spark基础知识 (1)输入start-all.sh启动hadoop相应进程和相关的端口号 (2)启动Spark分布式集群并查看信息 (3)网页端查看集群信息 (4)启动spark-shell控制台 1:local模式启动 2:登录master服务器,在...
讲述了hadoop一些常见问题和知识点,强烈推荐hadoop初学者查看
Hadoop 的入门级丛书。很好的基本知识参考
通过搭建Hadoop平台,您可以了解Hadoop的基本原理、配置和使用方法,为进一步的大数据分析和处理奠定基础。 二、环境准备 1. 操作系统:本文档以Windows 10操作系统为例,其他操作系统可参考相应版本的安装指南。 ...
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 第二天 hdfs的原理和使用操作、编程 第三天 mapreduce的原理和编程 第四天 常见mr算法实现和shuffle的机制 第五天 hadoop2.x中HA机制的...
hadoop基本概念共10页.pdf.zip