david.org
- 浏览: 155311 次
- 性别:
- 来自: 上海
-
最新评论
-
nbaertuo：
现在使用jetty 7.0.0.M2的时候，出现了这个问题，是 ...
Java nio的一个严重BUG -
xiaoyao3857：
看看你们的评论，收获不比看资料、正文收获小啊
Hadoop-HDFS 对性能造成重大影响的神秘杀手-Shell. -
xuxm2007：
david.org 写道xuxm2007 写道你使用的版本是0 ...
Hadoop FSDataset中，dfs.datanode.du.reserved 参数选项之BUG -
david.org：
xuxm2007 写道你使用的版本是0.19.2吗?这样修复之 ...
Hadoop FSDataset中，dfs.datanode.du.reserved 参数选项之BUG -
xuxm2007：
你使用的版本是0.19.2吗?
这样修复之后起到效果吗?
Hadoop FSDataset中，dfs.datanode.du.reserved 参数选项之BUG
文章列表
在传统Java编程中, 我们可以另用ProcessBuilder类来创建系统进程或者Runtime类来取得JVM的接口对象运行我们指定的系统命令, 并且可以通过读入器来获取系统的out以及err输出.这里有一个简单的例子, 没有用过的同学可以参考一下.
http://wuhongyu.iteye.com/blog/461477
由于前段时间有这样的一个需求, 尽可能快的算出Hadoop系统里的MD码, 我曾经想过另用Java的Digest类来读取文件, 然后工作交给Digest类来完成, 可没想到的是Java的这个类算MD校验码，效率及其的低下，我在XP上算50M的文件, 居然花费8秒钟的 ...
hadoop客户端实例在运行较长时间后, 如中间在put文件的过程中, 出现网络异常, 比如节点和节点之间传输时的网络异常, 那么客户端(DFSClient)抛出异常, 如当中的processDatanodeError(
boolean hasError, boolean isAppend)方法中的All datanode XXX are bad. Aborting异常, 当程序执行至此, closed被置为true, 那么即使上层使用out.close(); 方法尝试关闭流, 但DFSClient 由于closed被置为true, 而无法关闭文件. (假如该客户端实例永久运行下去, 那么该文件 ...
Secondary NameNode
NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits，所以久而久之日志文件可能会变得非常庞大，特别是对大型的集群。日志文件太大的另一个副作用是下一次NameNode启动会花很长时间。
Secondary NameNode定期合并fsimag ...
- 2009-11-19 21:12
- 浏览 3453
- 评论(0)
最近在使用Hadoop时，出现了严重问题，经近两个星期的折腾，最终问题可能还是JDK的bug导致。
Hadoop 原issue(https://issues.apache.org/jira/browse/HDFS-693)
Sun Java bug database (http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=6403933)
org.apache.struts2.dispatcher.FilterDispatcher是Struts2的主要的Filter，负责四个方面的功能：
(1)执行Actions
(2)清除ActionContext
(3)维护静态内容
(4)清除request生命周期内的XWork的interceptors
另注： ...
- 2009-10-17 08:00
- 浏览 1334
- 评论(0)
原帖地址：http://butian.org/knowledge/linux/20081007/255.html
Wget 的使用
1）支持断点下传功能（2）同时支持FTP和HTTP下载方式（3）支持代理服务器（4）设置方便简单；5）程序小，完全免费；
命令格式：
wget [参数列表] [目标软件、 ...
FSNameSystem#addStoredBlock does not handle inconsistent block length correctly
Description:
Currently NameNode treats either the new replica or existing replicas as corrupt if the new replica's length is inconsistent with NN recorded block length. The correct behavior should be
1. For a block that ...
General
We developed FTP server which works on a top of HDFS. It allows to connect to HDFS using any FTP client.
FTP server is configurable by hdfs-over-ftp.conf and users.conf. Also it allows to use secure connection over SSL and supports all HDFS permissions.
We used Apache FtpServer to develop i ...
需求：Master服务器有两个网卡，一个内网地址，一个外网地址。现在监听9000端口，那么其他节点可通过内网或是外网地址都可以连接到这台NameNode.
在程序中，监听0.0.0.0地址，可以使程序监听某端口上的任意IP，不过事实没有那么简单，经过反复折腾，发现windows是可以这样监听，但是Linux不行，大伙可以试试。
在linux中，在启动Namenode时，可以通过日志看到监听服务起来之后，又退出了。日志如下：
2009-05-26 12:29:50,771 INFO org.apache.hadoop.ipc.Server: IPC Server handler 0 on ...
Hadoop默认采用返回host的手段，给予客户端响应。在FSNamesystem端，实现了以jetty为容器的web服务，在集群中，通过HTTP可以很轻松的下载文件系统当中的某文件。不过在此，记录的不是如何下载文件，而是Hadoop未实现的几个下载功能的实现方法。
假使我们现在需要让DataNode成为我们存储系统的下载、及存储服务器。那么按照现有的Hadoop的实现，会遇到如下问题：
1. 远程机无法下载文件。
2. 远程机器无法使用flashGet、迅雷等下载工具，实现断点下载。
3. 远程机可以任意拼出HTTP地址，下载集群中的文件。
首先出现第一种情况的主要原因是，远程机无法解 ...