1、编写代码:
package crt.hadoop.test;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
public class FileCopyWithProgress {
/**
* @param args
*/
public static void main(String[] args) throws Exception{
// TODO Auto-generated method stub
String localSrc = args[0];
String dst = args[1];
InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(dst), conf);
OutputStream out = fs.create(new Path(dst), new Progressable(){
public void progress(){
System.out.print(".");
}
});
IOUtils.copyBytes(in, out, 4096, true);
}
}
2、复制FileCopyWithProgress.java到$HADOOP_HOME/build/classes
3、建测试文件
$ cd /home/hadoop/workspace/
$ mkdir writedata
$ cd writedata
$ mkdir input
$ cd input
$ cp -a /home/hadoop/workspace/writedata/crt/hadoop/test/FileCopyWithProgress.java ./writdatatestinput.txt
4、编译
$ javac -classpath $HADOOP_HOME/hadoop-common-0.21.0.jar
$HADOOP_HOME/build/classes/crt/hadoop/test/FileCopyWithProgress.java
5、运行
$ export HADOOP_CLASSPATH=build/classes
$ cd /home/hadoop/workspace/writedata/input
$ hadoop crt.hadoop.test.FileCopyWithProgress writedatatestinput.txt
hdfs://hadoop-namenode:9001/tmp/writedatatestinput.txt
分享到:
相关推荐
hadoop权威指南代码 (Hadoop: The Definitive Guide code) http://www.hadoopbook.com
本书是hadoop权威参考,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装与运行hadoop集群。 什么是谷歌帝国的基石?mapreduce算法是也!apache hadoop架构作为mapreduce算法的一种开源应用,是...
hadoop权威指南4和源码hadoop权威指南4和源码hadoop权威指南4和源码hadoop权威指南4和源码
Hadoop权威指南中文版(完全版)Hadoop权威指南中文版(完全版)Hadoop权威指南中文版(完全版)Hadoop权威指南中文版(完全版)
本文带来的资源是hadoop权威指南第四版中文版,适合hadoop深入学习
Hadoop权威指南
Hadoop权威指南 大数据的存储与分析 第四版
Hadoop权威指南----读书笔记
hadoop权威指南第四版高清 pdf下载 hadoop权威指南第四版高清 pdf下载
绝对第四版!绝对中文!绝对完整!绝对第四版!绝对中文!绝对完整! Hadoop权威指南 大数据 第四版 修订版&升级版 中文版 pdf格式。Tom White 著,王海 等译,清华大学出版社,最新第4版。
新版已上市!全面深度解读Hadoop的指南,驰骋于云计算和大数据领域的通俗读本
Hadoop编程书籍,由浅入深,介绍Hadoop编程,特别适合初学者以及企业开发人员以及大学生以及其他深造学习者
本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。
Hadoop权威指南(中文版)(带书签 Hadoop权威指南(中文版)(带书签 Hadoop权威指南(中文版)(带书签 Hadoop权威指南(中文版)(带书签
Hadoop权威指南中文第四版 pdf Hadoop权威指南中文第四版 pdf
Hadoop权威指南第四版中文版,高清扫描版,有源码 本文带来的资源是hadoop权威指南第四版中文版以及配套的源码,内容以Hadoop2.x为主,包含一些hadoop的stable版本的新特性,与之前 的版本相比增加了介绍YARN , ...
Hadoop权威指南.大数据的存储与分析.第4版.修订版&升级版,
Hadoop权威指南:大数据的存储与分析(第4版)(修订版) 中英文PDF高清,包含源码!
本书是Hadoop权威参考,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装与运行Hadoop集群。 目录 第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统...