|
锁定老帖子 主题：Hadoop源码分析-HDFS
精华帖 (3) :: 良好帖 (4) :: 新手帖 (0) :: 隐藏帖 (1)
|
|
|---|---|
| 作者 | 正文 |
|
发表时间：2010-05-10
最后修改：2010-05-10
david.org 写道 mygirl1987 写道 请问楼主，client客户端怎么配置？我之前上传文件都是把namenode节点当作客户端来用，然后我发现在datanode节点中上传就会出现好多问题，尤其是我修改了hadoop的一些功能到了datanode节点上上传时，那些功能都没用了，请问是怎么回事?
Hadoop#HDFS分为三个组成部分, Client, DN, NN. 前者可以为任意的连网客户机, 后两者建议放到内网集群中。 1. 当你需要put文件到集群时, Client最好放到和DN, NN一样的网段内。 2. 当你仅需要move, delete文件时, Client可以放到任意远程客户机。 那么要想让Client工作, Hadoop-site.xml文件最起码需要配置fs.default.name. <property> <name>fs.default.name</name> <value>hdfs://localhost:9000/</value> <description>Client和NN同一台机子</description> </property> 非本机需要把localhost换成NN的IP或者是可以解析的hostname 另外，你说出现了很多问题, 这些问题指哪些, 请仔细分析一下, 如果可以, 请贴出Client端和Namenode端的日志 楼主你上面说的配置文件是在修改的client端的配置文件吗？如果我有一台nn和dn同一网段中的机子，我想让他成为client机子，我是不是应该首先在它上面安装好hadoop，配置好……然后就可以了？nn上还需不需要再配置一下？ 另外，为什么要让它们是同一个网段？我需要上传文件的……是不是不同网段的话，hadoop默认存储优先选择同一网段呀？ |
| 返回顶楼 | |
|
发表时间：2010-05-10
三者为同一台机子的话, 他们共享同一个hadoop-site.xml文件. 所以他们也共享同一个fs.default.name.
DN或者是Client任何一个需要独力一台机子的话, 必须指定fs.default.name 为NN的监听地址。 |
| 返回顶楼 | |
|
发表时间：2010-05-11
经验之谈，值得看看，国内所说的云，又有多少是拿这个来实现。哎，特别是一些院校
|
| 返回顶楼 | |
|
发表时间：2010-05-11
谢谢您的耐心指导……我现在又出现了一个问题，就是hadoop在数据传输过程中走的是哪个端口？是namenode的50027端口吗？呵呵，跟您添麻烦
|
| 返回顶楼 | |
|
发表时间：2010-05-11
ithero 写道 经验之谈，值得看看，国内所说的云，又有多少是拿这个来实现。哎，特别是一些院校 谢谢. 博客中有不少提到hadoop的bug, 如果ithero兄用到, 不防参考一下. 本文实际上更为精确的定义是如何来分析HDFS的代码. 至于云，那就让那些抄概念的说去吧. |
| 返回顶楼 | |
|
发表时间：2010-05-11
mygirl1987 写道 谢谢您的耐心指导……我现在又出现了一个问题，就是hadoop在数据传输过程中走的是哪个端口？是namenode的50027端口吗？呵呵，跟您添麻烦 put操作实际上是指DFSClient 与 DataNode建立的Socket连接。因此走的是DN的50010端口。(在传输数据的环节上是和NameNode没有关系的. 没事, 有问题多讨论, 对于我也是个总结的过程。 |
| 返回顶楼 | |
|
发表时间：2010-05-12
david.org 写道 mygirl1987 写道 谢谢您的耐心指导……我现在又出现了一个问题，就是hadoop在数据传输过程中走的是哪个端口？是namenode的50027端口吗？呵呵，跟您添麻烦 put操作实际上是指DFSClient 与 DataNode建立的Socket连接。因此走的是DN的50010端口。(在传输数据的环节上是和NameNode没有关系的. 没事, 有问题多讨论, 对于我也是个总结的过程。 哦，对，我上面写错了，其实应该是namenode的50010端口，呵呵 |
| 返回顶楼 | |
|
发表时间：2010-07-05
你好，我最近在一个集群上搭建hadoop，但是遇到一个问题。我想问一下，我的Datanode中的hadoop与namenode中的hadoop并不是在名字相同的文件夹中，请问这样可以吗？还是说Datanode和namenode的hadoop_home路径一定要是一样的呀，谢谢了
|
| 返回顶楼 | |
|
发表时间：2010-07-06
mygirl1987 写道 你好，我最近在一个集群上搭建hadoop，但是遇到一个问题。我想问一下，我的Datanode中的hadoop与namenode中的hadoop并不是在名字相同的文件夹中，请问这样可以吗？还是说Datanode和namenode的hadoop_home路径一定要是一样的呀，谢谢了
HADOOP_HOME要一样的 |
| 返回顶楼 | |
|
发表时间：2010-07-06
希望能看到lz更多的相关博文啊
|
| 返回顶楼 | |
