`
david.org
  • 浏览: 155224 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

[HDFS] 主控节点的双IP解决方案

阅读更多
需求:Master服务器有两个网卡,一个内网地址,一个外网地址。现在监听9000端口,那么其他节点可通过内网或是外网地址都可以连接到这台NameNode.

在程序中,监听0.0.0.0地址,可以使程序监听某端口上的任意IP,不过事实没有那么简单,经过反复折腾,发现windows是可以这样监听,但是Linux不行,大伙可以试试。

在linux中,在启动Namenode时,可以通过日志看到监听服务起来之后,又退出了。日志如下:
2009-05-26 12:29:50,771 INFO org.apache.hadoop.ipc.Server: IPC Server handler 0 on 54310: starting
2009-05-26 12:29:50,772 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 54310: starting
2009-05-26 12:29:50,772 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 54310: starting
2009-05-26 12:29:50,772 INFO org.apache.hadoop.ipc.Server: IPC Server handler 3 on 54310: starting
2009-05-26 12:29:50,772 INFO org.apache.hadoop.ipc.Server: IPC Server handler 4 on 54310: starting
2009-05-26 12:29:50,773 INFO org.apache.hadoop.ipc.Server: IPC Server handler 5 on 54310: starting
2009-05-26 12:29:50,773 INFO org.apache.hadoop.ipc.Server: IPC Server handler 6 on 54310: starting
2009-05-26 12:29:50,773 INFO org.apache.hadoop.ipc.Server: IPC Server handler 7 on 54310: starting
2009-05-26 12:29:50,773 INFO org.apache.hadoop.ipc.Server: IPC Server handler 8 on 54310: starting
2009-05-26 12:29:50,777 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 54310: starting
2009-05-26 12:29:50,797 INFO org.mortbay.util.ThreadedServer: Stopping Acceptor ServerSocket[addr=0.0.0.0/0.0.0.0,port=0,localport=5
0070]
2009-05-26 12:29:50,801 INFO org.mortbay.http.SocketListener: Stopped SocketListener on 0.0.0.0:50070
2009-05-26 12:29:50,802 INFO org.mortbay.util.Container: Stopped org.mortbay.jetty.servlet.WebApplicationHandler@57ea52
2009-05-26 12:29:50,887 INFO org.mortbay.util.Container: Stopped WebApplicationContext[/static,/static]
2009-05-26 12:29:50,887 INFO org.mortbay.util.Container: Stopped org.mortbay.jetty.servlet.WebApplicationHandler@39c8c1
2009-05-26 12:29:50,947 INFO org.mortbay.util.Container: Stopped WebApplicationContext[/logs,/logs]
2009-05-26 12:29:50,947 INFO org.mortbay.util.Container: Stopped org.mortbay.jetty.servlet.WebApplicationHandler@126a29c
2009-05-26 12:29:51,014 INFO org.mortbay.util.Container: Stopped WebApplicationContext[/,/]
2009-05-26 12:29:51,014 INFO org.mortbay.util.Container: Stopped org.mortbay.jetty.Server@109de5b
2009-05-26 12:29:51,051 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Number of transactions: 0 Total time for transacti
ons(ms): 0 Number of syncs: 0 SyncTimes(ms): 0
2009-05-26 12:29:51,052 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: ReplicationMonitor thread received InterruptedExce
ption.java.lang.InterruptedException: sleep interrupted
2009-05-26 12:29:51,056 INFO org.apache.hadoop.ipc.Server: Stopping server on 54310
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 0 on 54310: exiting
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 54310: exiting
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 54310: exiting
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 3 on 54310: exiting
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 4 on 54310: exiting
2009-05-26 12:29:51,057 INFO org.apache.hadoop.ipc.Server: IPC Server handler 5 on 54310: exiting
2009-05-26 12:29:51,058 INFO org.apache.hadoop.ipc.Server: IPC Server handler 7 on 54310: exiting
2009-05-26 12:29:51,058 INFO org.apache.hadoop.ipc.Server: Stopping IPC Server listener on 54310
2009-05-26 12:29:51,058 INFO org.apache.hadoop.ipc.Server: IPC Server handler 6 on 54310: exiting
2009-05-26 12:29:51,058 INFO org.apache.hadoop.ipc.Server: IPC Server handler 8 on 54310: exiting
2009-05-26 12:29:51,058 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 54310: exiting

  那么这个情况,在windows中,是不会出现的,Linux上解决的办法是关闭IPV6.
分享到:
评论

相关推荐

    论文研究-HDFS数据节点本地缓存的设计与实现 .pdf

    HDFS数据节点本地缓存的设计与实现,赵婧,王洪波,随着互联网应用的不断丰富和网络数据的急剧增长,海量数据的处理与存储已成为当前互联网应用中的最主要问题之一。Hadoop分布式文件

    大数据开发:HDFS数据节点与名称节点的通信机制.docx

    大数据开发:HDFS数据节点与名称节点的通信机制.docx

    HDFS中NameNode节点的配置、备份和恢复.doc

    详细讲解了Hdfs中NameNode节点的配置,备份和恢复,以及secondNamenode的配置

    HDFS Comics HDFS 漫画

    HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构,同现 有的一些文件系 统类似,如可以对文件进行创建、删除、重命名等操作。

    高可用性的HDFS-Hadoop分布式文件系统深度实践.part2.rar

    《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...

    高可用性的HDFS-Hadoop分布式文件系统深度实践.part1.rar

    《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...

    10、HDFS小文件解决方案-Archive

    10、HDFS小文件解决方案--Archive 网址:https://blog.csdn.net/chenwewi520feng/article/details/130348069 本文介绍hdfs在使用过程中产生小文件的处理方式。 本文使用Archive来合并hdfs的小文件。 本文分为2个部分...

    解码超大bson文件,并上传到hdfs解决方案.doc

    解码超大bson文件,并上传到hdfs解决方案

    HDFS小文件处理方案

    讲解HDFS小文件处理方案方法

    高可用性的HDFS-Hadoop分布式文件系统深度实践.part3.rar

    《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...

    高可用性的HDFS-Hadoop分布式文件系统深度实践.part4.rar

    《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...

    Hadoop HDFS系统双机热备方案

    方案1 drbd+heartbeat ...HDFS能够配置两个名字节点服务器,采用active/passive模式,两个服务器采用共享存储的方式来存放元数据。当某个名字节点出现故障后,备份服务器能够接管其服务,确保系统的正常运行。

    hdfs源码.zip

    第1章 HDFS 1 1.1 HDFS概述 1 1.1.1 HDFS体系结构 1 1.1.2 HDFS基本概念 2 1.2 HDFS通信协议 4 1.2.1 Hadoop RPC接口 4 1.2.2 流式接口 20 1.3 HDFS主要流程 22 1.3.1 HDFS客户端读流程 22 1.3.2 ...

    docker-hdfs-datanode:用于运行 hdfs 数据节点的 Docker 容器

    在 docker 容器中运行 hdfs 数据节点 暴露端口 TCP 50010 dfs.datanode.address 数据传输端口 TCP 50020 dfs.datanode.ipc.address ipc 服务器 TCP 50075 dfs.datanode.http.address http 服务器 TCP 50475 dfs....

    huaweicloudDocs#mrs#集群外节点安装客户端使用hdfs上传文件失败1

    集群外节点安装客户端使用hdfs上传文件失败用户问题集群外节点安装客户端使用hdfs上传文件失败问题现象在集群节点上安装客户端,在该客户端使用hdfs命令上传一

    HDFS集群搭建

    HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构,同现 有的一些文件系 统类似,如可以对文件进行创建、删除、重命名等操作。

    高可用性的HDFS:Hadoop分布式文件系统深度实践

    第1章 HDFS HA及解决方案 1.1 HDFS系统架构 1.2 HA定义 1.3 HDFS HA原因分析及应对措施 1.3.1 可靠性 1.3.2 可维护性 1.4 现有HDFS HA解决方案 1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 ...

    HDFS管理工具HDFS Explorer下载地址、使用方法.docx

    windows平台下的HDFS文件浏览器,就像windows管理器一样管理你的hdfs文件系统。现在官网已经停止更新这款软件。具体配置如下: HDFS配置页面及端口http://master:50070 配置HDFS服务器 配置WebHDFS HDFS Explorer...

    HDFS的Trash回收站功能的配置和使用

    HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构,同现 有的一些文件系 统类似,如可以对文件进行创建、删除、重命名等操作。

Global site tag (gtag.js) - Google Analytics