检测hdfs文件系统
hdfs fsck /
删除有问题的文件
hdfs fsck / -delete
参考：
How to fix corrupt Hadoop HDFS；
OiteBody
- 浏览: 168799 次
- 性别:
- 来自: 南京
-
文章分类
- 全部博客 (159)
- linux&运维 (23)
- Hbase&Phoenix (10)
- develop tools (18)
- mysql (8)
- Hadoop&Ambari&HDP (26)
- J2EE (10)
- mongodb (5)
- python (6)
- 实时计算&spark&storm (9)
- 日志收集&nginx&flume&kafka&nxlog (4)
- docker (1)
- 项目及版本管理&git&maven (7)
- 搜索引擎&lucene&Elasticsearch (15)
- web&bootstrap&js (2)
- 网络&操作系统 (9)
- vmware&虚拟化 (5)
- spring&spring-boot&springMVC (1)
- 测绘&切片&地图 (1)
最新评论
分享到：
发表评论
-
ambari hdp卸载重装
2016-09-14 16:45 4018参考： 清理ambari安装的hadoop集群 ... -
查看Hadoop组件版本
2016-08-25 16:22 2405查看Hadoop版本 [root@datacub ... -
Spark与MR输出文件排序比较
2016-07-25 17:46 1473假设任务的输出存到HDFS，那么输出的HDFS文件个 ... -
Hadoop 磁盘限额配置
2016-07-12 11:30 660应用场景： 同一个集群内有些服务器磁盘 2T，有些服务 ... -
MapReduce输出格式
2016-07-08 12:38 592参考： MapReduce输出格式； -
Ambari throws error E090 HDFS030 Error in creation reation
2016-06-17 10:08 984参考： http://quabr.com/34 ... -
Hadoop查看作业状态Rest接口
2016-06-13 17:42 2095所有任务 http://datacube154: ... -
Java连接hdfs指定用户名
2016-05-27 16:49 2932HDFS客户端的权限错误：Permission de ... -
获取hadoop集群信息
2016-05-17 12:05 1354hadoop的restful接口 获取hadoop ... -
ambari卸载服务
2016-05-13 09:51 3044ambari卸载服务的格式及步骤 -- 用 Re ... -
ambari 踩过的坑
2016-05-04 15:31 14595离线制作安装源： 1、挂载镜像到/mnt下，并创建 ... -
HDFS原理 架构和副本机制
2016-02-26 16:11 441参考： HDFS原理 架构和副本机制； ... -
后台修改cloudera manager用户信息
2016-01-13 11:14 14131、后台修改cloudera manager管理用户admi ... -
cloudera manager资源管理
2015-11-27 15:55 683最近工作中，正在将mapreduce计算框架向spark迁移 ... -
Could not load db driver class: oracle.jdbc.OracleDriver
2015-10-14 12:43 2296$ sqoop export --connect $ ... -
waiting for slaving
2015-10-13 18:58 4691、提交job后，一直停在running job < ... -
Error: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.Scan
2015-09-29 15:39 1228缺少相关依赖。 解决办法： TableMa ... -
对象反序列化readFields时报Error: java.lang.NullPointerException
2015-09-29 15:38 1402场景：在使用自定义对 ... -
hive查询和分区
2015-09-23 11:34 1181hive获取系统时间： hive> sele ... -
Hadoop Kerberos安全机制 委托令牌
2015-07-27 15:56 1423Hadoop 安全问题： 早起版本的HDF ...
相关推荐
深度剖析Hadoop HDFS-高清-完整目录-2017年3月。。。。
大数据 Hadoop HDFS 详解
java整合spring和hadoop HDFS全部jar
Hadoop HDFS和MapReduce架构浅析.pdf 更多资源请点击：https://blog.csdn.net/weixin_44155966
snapshot为hadoop2.1.0时新增加的功能。 主要为防止用户误删数据，和数据备份的作用 快照的对象为HDFS目录，前提是该目录是可以允许设置快照的（SnapShotable）
赠送jar包：hadoop-hdfs-2.7.3.jar； 赠送原API文档：hadoop-hdfs-2.7.3-javadoc.jar； 赠送源代码：hadoop-hdfs-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-2.7.3.pom； 包含翻译后的API文档：hadoop...
python 操作 Hadoop hdfs 读read 写write 下载download
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要）...
赠送jar包：hadoop-hdfs-2.6.5.jar； 赠送原API文档：hadoop-hdfs-2.6.5-javadoc.jar； 赠送源代码：hadoop-hdfs-2.6.5-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-2.6.5.pom； 包含翻译后的API文档：hadoop...
Hadoop HDFS分布式文件系统 常用命令汇总
Hadoop hdfs.md
Hadoop（HDFS)
Hadoop HDFS_Shell命令详解
赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...
《HDFS——Hadoop分布式文件系统深度实践》
从hadoop hdfs中读取数据，进行groupby 显示统计结果count、avg、max，用文字和柱状图两种图形界面表示
window客户端连接hadoop hdfs，完美解决障碍
深入理解Hadoop HDFS高级教程.txt打包整理.zip
HadoopHDFS架构概述推荐系统框架图
hadoop HDFS append功能的设计，涉及读写一致性的保证等，对设计类似分布式文件系统有参考意义。