`
cloudeagle
  • 浏览: 109812 次
  • 性别: Icon_minigender_1
  • 来自: 合肥
社区版块
存档分类
最新评论

hadoop生态系统的端口

 
阅读更多

hadoop生态系统的端口

hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。

1.系统

8080，80 用于tomcat和apache的端口。

22 ssh的端口

2.Web UI

用于访问和监控Hadoop系统运行状态

Daemon 缺省端口 配置参数
HDFS Namenode 50070 dfs.http.address
Datanodes 50075 dfs.datanode.http.address
Secondarynamenode 50090 dfs.secondary.http.address
Backup/Checkpoint node* 50105 dfs.backup.http.address
MR Jobracker 50030 mapred.job.tracker.http.address
Tasktrackers 50060 mapred.task.tracker.http.address
HBase HMaster 60010 hbase.master.info.port
HRegionServer 60030 hbase.regionserver.info.port
* hadoop 0.21以后代替secondarynamenode .

3.内部端口

Daemon 缺省端口 配置参数 协议 用于
Namenode 9000 fs.default.name IPC: ClientProtocol Filesystem metadata operations.
Datanode 50010 dfs.datanode.address Custom Hadoop Xceiver: DataNodeand DFSClient DFS data transfer
Datanode 50020 dfs.datanode.ipc.address IPC:InterDatanodeProtocol,ClientDatanodeProtocol
ClientProtocol		 Block metadata operations and recovery
Backupnode 50100 dfs.backup.address 同 namenode HDFS Metadata Operations
Jobtracker 9001 mapred.job.tracker IPC:JobSubmissionProtocol,InterTrackerProtocol Job submission, task tracker heartbeats.
Tasktracker 127.0.0.1:0* mapred.task.tracker.report.address IPC:TaskUmbilicalProtocol 和 child job 通信
* 绑定到未用本地端口

4.相关产品端口

产品 服务 缺省端口 参数 范围 协议 说明
HBase

Master 60000 hbase.master.port External TCP IPC
Master 60010 hbase.master.info.port External TCP HTTP
RegionServer 60020 hbase.regionserver.port External TCP IPC
RegionServer 60030 hbase.regionserver.info.port External TCP HTTP
HQuorumPeer 2181 hbase.zookeeper.property.clientPort TCP HBase-managed ZK mode
HQuorumPeer 2888 hbase.zookeeper.peerport TCP HBase-managed ZK mode
HQuorumPeer 3888 hbase.zookeeper.leaderport TCP HBase-managed ZK mode
REST Service 8080 hbase.rest.port External TCP
ThriftServer 9090 Pass -p <port> on CLI External TCP
Avro server 9090 Pass –port <port> on CLI External TCP
Hive Metastore 9083 External TCP
HiveServer 10000 External TCP
Sqoop Metastore 16000 sqoop.metastore.server.port External TCP
ZooKeeper

Server 2181 clientPort External TCP Client port
Server 2888 X in server.N=host:X:Y Internal TCP Peer
Server 3888 Y in server.N=host:X:Y Internal TCP Peer
Server 3181 X in server.N=host:X:Y Internal TCP Peer
Server 4181 Y in server.N=host:X:Y Internal TCP Peer
Hue

Server 8888 External TCP
Beeswax Server 8002 Internal
Beeswax Metastore 8003 Internal
Oozie Oozie Server 11000 OOZIE_HTTP_PORT in oozie-env.sh External TCP HTTP
Oozie Server 11001 OOZIE_ADMIN_PORT in oozie-env.sh localhost TCP Shutdown port

5.YARN(Hadoop 2.0)缺省端口

产品 服务 缺省端口 配置参数 协议
Hadoop YARN

ResourceManager 8032 yarn.resourcemanager.address TCP
ResourceManager 8030 yarn.resourcemanager.scheduler.address TCP
ResourceManager 8031 yarn.resourcemanager.resource-tracker.address TCP
ResourceManager 8033 yarn.resourcemanager.admin.address TCP
ResourceManager 8088 yarn.resourcemanager.webapp.address TCP
NodeManager 8040 yarn.nodemanager.localizer.address TCP
NodeManager 8042 yarn.nodemanager.webapp.address TCP
NodeManager 8041 yarn.nodemanager.address TCP
MapReduce JobHistory Server 10020 mapreduce.jobhistory.address TCP
MapReduce JobHistory Server 19888 mapreduce.jobhistory.webapp.address TCP

6.第三方产品端口

ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议，相应软件由麻省理工开发。

产品 服务 安全 缺省端口 协议 访问 配置
Ganglia ganglia-gmond 8649 UDP/TCP Internal
ganglia-web 80 TCP External 通过 Apache httpd
Kerberos KRB5 KDC Server Secure 88 UDP*/TCP External [kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports
KRB5 Admin Server Secure 749 TCP Internal Kdc.conf 文件：[realms]段kadmind_port

*缺省UDP协议

hadoop生态系统的端口

hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。

1.系统

8080，80 用于tomcat和apache的端口。

22 ssh的端口

2.Web UI

用于访问和监控Hadoop系统运行状态

Daemon 缺省端口 配置参数
HDFS Namenode 50070 dfs.http.address
Datanodes 50075 dfs.datanode.http.address
Secondarynamenode 50090 dfs.secondary.http.address
Backup/Checkpoint node* 50105 dfs.backup.http.address
MR Jobracker 50030 mapred.job.tracker.http.address
Tasktrackers 50060 mapred.task.tracker.http.address
HBase HMaster 60010 hbase.master.info.port
HRegionServer 60030 hbase.regionserver.info.port
* hadoop 0.21以后代替secondarynamenode .

3.内部端口

Daemon 缺省端口 配置参数 协议 用于
Namenode 9000 fs.default.name IPC: ClientProtocol Filesystem metadata operations.
Datanode 50010 dfs.datanode.address Custom Hadoop Xceiver: DataNodeand DFSClient DFS data transfer
Datanode 50020 dfs.datanode.ipc.address IPC:InterDatanodeProtocol,ClientDatanodeProtocol
ClientProtocol		 Block metadata operations and recovery
Backupnode 50100 dfs.backup.address 同 namenode HDFS Metadata Operations
Jobtracker 9001 mapred.job.tracker IPC:JobSubmissionProtocol,InterTrackerProtocol Job submission, task tracker heartbeats.
Tasktracker 127.0.0.1:0* mapred.task.tracker.report.address IPC:TaskUmbilicalProtocol 和 child job 通信
* 绑定到未用本地端口

4.相关产品端口

产品 服务 缺省端口 参数 范围 协议 说明
HBase

Master 60000 hbase.master.port External TCP IPC
Master 60010 hbase.master.info.port External TCP HTTP
RegionServer 60020 hbase.regionserver.port External TCP IPC
RegionServer 60030 hbase.regionserver.info.port External TCP HTTP
HQuorumPeer 2181 hbase.zookeeper.property.clientPort TCP HBase-managed ZK mode
HQuorumPeer 2888 hbase.zookeeper.peerport TCP HBase-managed ZK mode
HQuorumPeer 3888 hbase.zookeeper.leaderport TCP HBase-managed ZK mode
REST Service 8080 hbase.rest.port External TCP
ThriftServer 9090 Pass -p <port> on CLI External TCP
Avro server 9090 Pass –port <port> on CLI External TCP
Hive Metastore 9083 External TCP
HiveServer 10000 External TCP
Sqoop Metastore 16000 sqoop.metastore.server.port External TCP
ZooKeeper

Server 2181 clientPort External TCP Client port
Server 2888 X in server.N=host:X:Y Internal TCP Peer
Server 3888 Y in server.N=host:X:Y Internal TCP Peer
Server 3181 X in server.N=host:X:Y Internal TCP Peer
Server 4181 Y in server.N=host:X:Y Internal TCP Peer
Hue

Server 8888 External TCP
Beeswax Server 8002 Internal
Beeswax Metastore 8003 Internal
Oozie Oozie Server 11000 OOZIE_HTTP_PORT in oozie-env.sh External TCP HTTP
Oozie Server 11001 OOZIE_ADMIN_PORT in oozie-env.sh localhost TCP Shutdown port

5.YARN(Hadoop 2.0)缺省端口

产品 服务 缺省端口 配置参数 协议
Hadoop YARN

ResourceManager 8032 yarn.resourcemanager.address TCP
ResourceManager 8030 yarn.resourcemanager.scheduler.address TCP
ResourceManager 8031 yarn.resourcemanager.resource-tracker.address TCP
ResourceManager 8033 yarn.resourcemanager.admin.address TCP
ResourceManager 8088 yarn.resourcemanager.webapp.address TCP
NodeManager 8040 yarn.nodemanager.localizer.address TCP
NodeManager 8042 yarn.nodemanager.webapp.address TCP
NodeManager 8041 yarn.nodemanager.address TCP
MapReduce JobHistory Server 10020 mapreduce.jobhistory.address TCP
MapReduce JobHistory Server 19888 mapreduce.jobhistory.webapp.address TCP

6.第三方产品端口

ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议，相应软件由麻省理工开发。

产品 服务 安全 缺省端口 协议 访问 配置
Ganglia ganglia-gmond 8649 UDP/TCP Internal
ganglia-web 80 TCP External 通过 Apache httpd
Kerberos KRB5 KDC Server Secure 88 UDP*/TCP External [kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports
KRB5 Admin Server Secure 749 TCP Internal Kdc.conf 文件：[realms]段kadmind_port

*缺省UDP协议

分享到：
| Linux安装JDK1.7
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hadoop常用端口

    在Hadoop生态系统中，端口配置对于集群的正常运行至关重要，因为它们决定了各个组件之间的通信方式。本文将详细解析Hadoop中常用的端口及其配置，包括HDFS、MapReduce以及其他的次要服务端口。 首先，我们关注HDFS...

    Hadoop默认端口清单-防火墙申请使用

    以上是Hadoop及其生态系统中各个组件的默认端口列表。这些端口在实际部署时可能会有所不同，具体取决于配置文件中的设置。对于生产环境，建议根据实际情况调整端口号，避免端口冲突，并确保防火墙规则正确配置，以...

    hadoop2.6.0版本hadoop.dll和winutils.exe

    7. **Hadoop生态系统**: 除了HDFS和MapReduce，Hadoop生态还包括Hive（数据仓库工具）、Pig（数据处理语言）、HBase（NoSQL数据库）、Spark（快速数据处理引擎）等。这些工具与Hadoop紧密集成，共同构成了强大的大...

    hadoop源码分析-HDFS&MapReduce

    在Hadoop这个分布式计算框架中，HDFS（Hadoop Distributed File System）和...同时，这也有助于更好地适应Hadoop生态系统中其他组件的开发和运维。对于想要成为Hadoop专家的开发者来说，源码分析是不可或缺的一环。

    适合hadoop2.9.* 以及 hadoop2.7.* 的winutils.exe_hadoop.dll 配置文件

    在Hadoop生态系统中，`winutils.exe` 和 `hadoop.dll` 是两个关键的组件，主要用于Windows环境下运行Hadoop。由于Hadoop最初是为Linux设计的，因此在Windows上使用时需要这些特定的二进制文件来模拟某些Unix/Linux...

    hadoop 2.7.3 hadoop.dll 和winutils.exe

    在Hadoop生态系统中，Hadoop 2.7.3是一个重要的版本，它包含了多项改进和优化，使得分布式存储和计算更加高效。对于Windows用户来说，使用Hadoop可能会遇到一些特定的挑战，因为Hadoop最初是为Linux环境设计的。在这...

    hadoop rpc实例

    在分布式计算领域，Hadoop RPC（Remote Procedure Call）是一个至关重要的组件，它使得Hadoop生态系统中的各个服务能够相互通信，实现数据的高效处理和共享。在这个实例中，我们将深入探讨Hadoop RPC的工作原理、...

    windows下安装hadoop的依赖库winutils

    在Windows环境下搭建Hadoop分布式框架时，一个必不可少的步骤就是安装Hadoop的依赖库——WinUtils。...同时，这也是学习大数据技术的一个重要起点，为进一步探索Hadoop生态系统，如HBase、Hive、Pig等组件奠定了基础。

    win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx

    在Windows 10环境下搭建Hadoop生态系统，包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件，是一项繁琐但重要的任务，这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...

    hadoop-2.7.2-hbase-jar.tar.gz

    在Hadoop生态系统中，HBase与Hadoop的紧密集成使得大数据处理能力更加强大。"hadoop-2.7.2-hbase-jar.tar.gz"这个文件，正是为了实现这种集成而提供的。该压缩包包含了Hadoop 2.7.2版本与HBase相关的JAR文件，这些...

    hadoop-eclipse-plugin-2.7.4

    总之，Hadoop Eclipse Plugin 2.7.4是Hadoop开发者不可或缺的工具，它通过提供直观的图形界面和强大的集成功能，降低了MapReduce编程的复杂度，提高了开发效率，对于理解和掌握Hadoop生态系统的开发流程具有重要意义...

    hadoop配置文件默认配置

    在Hadoop生态系统中，配置文件是管理和优化集群性能的关键元素。本文将深入解析Hadoop的常用配置，包括HDFS（Hadoop Distributed File System）和MapReduce的端口配置，以及一些核心的默认配置参数。 首先，让我们...

    hadoop-common-2.2.0-bin

    Hadoop Common是Hadoop生态系统的基础部分，包含了一组通用的工具和服务，这些工具和服务对于所有Hadoop组件都是必需的。例如，它提供了文件系统抽象，使得不同类型的存储系统（如本地文件系统、HDFS或S3）可以被...

    hadoop security

    在Hadoop生态系统中，安全是至关重要的，尤其是在大数据处理和分析的场景下。"Hadoop Security"主要关注如何确保Hadoop集群的安全性，包括数据安全、用户认证和授权。这里我们将详细讨论通过Hive2进行Hadoop安全部署...

    Hadoop云计算实验报告

    【Hadoop云计算实验报告】 ...这为我们后续深入学习Hadoop生态系统，如YARN、Spark、Hive等打下了坚实的基础。同时，实践也强调了分布式计算的灵活性和高效性，为大数据处理提供了可行的解决方案。

    hadoop-2.6.0版本所需插件.zip

    在大数据处理领域，Hadoop是一个不可或缺的开源框架，它提供了分布式存储和计算的能力。而将Hadoop与Eclipse集成，可以极大...通过熟练掌握这个插件的使用，你将能够更加流畅地在Hadoop生态系统中工作，提升开发效率。

    hadoop完整安装流程

    Hadoop的诞生源于Lucene项目，通过模仿Google的GFS（Google文件系统）和MapReduce思想，逐渐演化成如今的Hadoop生态，包括HDFS（分布式文件系统）、MapReduce计算框架，以及一系列围绕它们的组件和服务。 大数据，...

    hadoop本地运行所需winutils.exe文件

    在Hadoop生态系统中，winutils.exe是一个至关重要的组件，尤其对于Windows用户来说。这个文件是Hadoop在Windows操作系统上运行的必备工具，主要用于提供Hadoop的一些底层功能，如与文件系统交互、设置HDFS权限等。当...

    hadoop2.8.3

    10. **Hadoop生态**：Hadoop是大数据生态系统的一部分，包括Pig、Hive、Spark、HBase等项目，它们与Hadoop配合使用，提供数据处理、分析和查询等功能。 为了在Windows 10上安装Hadoop 2.8.3，你需要下载并解压提供...

    elasticsearch-hadoop-2.4.0.zip

    Elasticsearch-Hadoop是Elasticsearch与Apache Hadoop之间的桥梁，允许用户在Hadoop生态系统内无缝集成和处理Elasticsearch的数据。此版本"elasticsearch-hadoop-2.4.0.zip"是专为Hadoop 2.4.0版本设计的，确保了...

Magicbox
Global site tag (gtag.js) - Google Analytics