public static void createNewFile(String path, String content, FileSystem fs) throws Exception{
Configuration conf = new Configuration();
conf.set("dfs.support.append", "true");
Path d_path = new Path(path);
FSDataOutputStream os = null;
if(fs.exists(d_path)){
try {
os = fs.append(d_path);
os.write(content.getBytes("UTF-8"));
} catch (Exception e) {
// TODO: handle exception
appendFileContent(path, content, fs);
}
}else{
os = fs.create(d_path);
os.write(content.getBytes("UTF-8"));
}
if(os != null){
os.close();
}
}
public static void appendFileContent(String path, String content, FileSystem fs) throws Exception{
Configuration conf = new Configuration();
Path d_path = new Path(path);
if(fs.exists(d_path)){
byte[] bytes = readHDFSFile(path);
FSDataOutputStream os = fs.create(d_path);
os.write(bytes);
os.write("\n".getBytes("UTF-8"));
os.write(content.getBytes("UTF-8"));
os.close();
}else{
createNewFile(path, content, fs);
}
}
分享到:
相关推荐
Hadoop分布式文件系统的模型分析,Hadoop 分布式文件系统是遵循Google 文件系统原理进行开发和实现的,受到了业界极大关注,并 已被广泛应用。 鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从 Hadoop ...
hadoop的dll文件 hadoop.zip
windows安装需要的Hadoop库文件,windows安装需要的Hadoop库文件.
在Hadoop的分布式文件系统下,对文件的读写和列出文件的相关属性和目录中的内容
hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件
Hadoop的4个xml配置文件core-site.xml、hdfs-site.xml配置、mapred-site.xml配置、yarn-site.xml配置
Hadoop分布式文件系统翻译
hadoop配置文件详解,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。
Hadoop HA 集群搭建所需要的配置文件:core-site,hdfs-site,mapred-site,yarn-site四个xml文件和一个slaves文件
hadoop的默认配置文件,下载记得关注我哦
hadoop2.2.0单机伪分布式配置文件实例。
在hadoop中,有三大法宝——HDFS,MapReduce,Hbase,但是无论是MapReduce,Hbase还是hadoop中的其他组件如:Hive等他们要处理的数据还是处理完了的数据都是存储在HDFS中。可见HDFS可以说是hadoop存储的基础和核心,...
这个文档讲述了hadoop2的文件读写原理,不过是英文的,英文不好的同学下载的时候,要谨慎了
Hadoop分布式文件系统使用指南.pdf
HDFS 支持传统的层次型文件组织,与大多数其他文件系统类似,用户可以创建目录,并在其间创建、删除、移动和重命名文件。但是 HDFS 不支持 user quotas 和访问权限,也不支持链接(link),不过当前的架构并不排除...
通过工具类脚本执行从ftp下载文件上传到Hadoop分布式文件系统
hadoop的hdfs的0.8版本,下载后直接安装
Hadoop3.1.3 配置文件