- 浏览: 128686 次
- 性别:
- 来自: 北京
文章分类
-
HDFS架构简介
2012-07-17 15:02 1612转自:http://asyty-cp.blog.163.com ... -
Hadoop Dont's: What not to do to harvest Hadoop's full potential
2012-07-15 15:45 694We've all heard this story. ... -
hadoop-0.20.203启用LZO压缩 安装成功
2012-07-13 18:10 2598#准备各安装包,并scp到各节点 pwd /work/lz ... -
Hadoop TaskScheduler浅析
2012-07-13 14:01 889转自:http://hi.baidu.com/_kouu/bl ... -
Hadoop OutputFormat浅析
2012-07-13 14:00 2167转自:http://hi.baidu.com/_kouu/bl ... -
Hadoop InputFormat浅析
2012-07-13 13:57 887在执行一个Job的时候,Hadoop会将输入数据划分成N个Sp ... -
hadoop面试可能遇到的问题
2012-07-13 13:50 1144Q1. Name the most common Inpu ... -
hadoop-0.20.203启用LZO压缩
2012-07-12 16:45 14911.准备工作,安装ant,(编译第三步lzo编码解码时使用,现 ... -
24 Interview Questions & Answers for Hadoop MapReduce developers
2012-07-12 10:12 732A good understanding of Hadoop ... -
hadoop hbase log backup
2012-06-28 16:43 845hadoop hbase logs目录下日志越来越多,写个简单 ... -
Hadoop Job失败解决
2012-06-27 17:07 3059现象:map 某个task始终实行失败,直到超时,attemp ... -
Hadoop的那些事儿
2012-06-25 14:37 673在说Hadoop之前,作为一个铁杆粉丝先粉一下Googl ... -
Hadoop学习总结:Map-Reduce的过程解析
2012-06-25 10:47 803一、客户端 Map-Re ... -
Hadoop集群上使用Lzo压缩
2012-06-21 14:14 1048自从Hadoop集群搭建以来,我们一直使用的是G ... -
hadoop 相关博客推荐
2012-06-04 10:26 815http://www.cnblogs.com/xuqiang/ ... -
hadoop tuning blog
2012-05-24 14:16 8687 Tips for Improving MapReduce ... -
hadoop作业调优参数整理及原理
2012-05-24 13:58 729转自:http://www.tbdata.org/archiv ... -
Kerberos authentication
2012-05-19 21:46 1384转自:http://www.sunchangming.com/ ... -
关于 hadoop slot的一篇转载
2012-05-17 17:12 872版权声明:转载时请以超链接形式标明文章原始出处和作者 ... -
hadoop 优化的一些点
2012-05-17 16:43 799版权声明:转载时请以超链接形式标明文章原始出处和作者 ...
相关推荐
讲解HDFS小文件处理方案方法
hdfs文件的查看 hdfs fs -cat /文件名
第三章 分布式文件系统HDFS3 Hadoop存储系统HDFS的文件是分块存储,每个文件块默认大小为32MB。 T F 评测结果:答案正确(5 分) 1-2 HDFS系统采用NameNode定期向DataNode发送心跳消息,用于检测系统是否正常运行...
hdfs 文件的上传,hdfs fs -put /文件名
支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS系统.zip支持小型文件的HDFS...
为了解决HDFS(Hadoop distributed file system)在存储海量小文件时遇到的NameNode内存瓶颈等问题,提高HDFS处理海量小文件的效率,提出一种基于小文件合并与预取的存取优化方案。首先通过分析大量小文件历史访问...
主要介绍了Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统.pdf
文档详细的讲述了Hadoop中HDFS文件操作命令和HDFS编程
阐述了如何利用利用javaAPI访问HDFS的文件
hdfs文件的下载
3、HDFS的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等)-java 网址:...
从HDFS中读文件,用groupby进行sort,然后写入Hbase中
本文档是关于hadoop中HDFS的文件读写操作的一份ppt,适用于学习hadoop新手.
基于MapFile+的HDFS+小文件存储效率问题
10、HDFS小文件解决方案--Archive 网址:https://blog.csdn.net/chenwewi520feng/article/details/130348069 本文介绍hdfs在使用过程中产生小文件的处理方式。 本文使用Archive来合并hdfs的小文件。 本文分为2个部分...
集群外节点安装客户端使用hdfs上传文件失败用户问题集群外节点安装客户端使用hdfs上传文件失败问题现象在集群节点上安装客户端,在该客户端使用hdfs命令上传一
hadoop及eclipse操作HDFS需要文件、、
上传文件到HDFS的java代码实现。已经测试了,可以直接运行。
hdfs dfs -test -e 文件或目录名 第三步,查看检测结果: echo $? 若输出结果为0,则说明文件或目录存在,若为1,则说明文件或目录不存在。 二、Java代码实现 import org.apache.hadoop.conf.Configuration; ...