hadoop默认配置里http address接口domain段均为0.0.0.0,表示可通过任一网卡访问http接口,对于双网卡服务器(一个内网,一个外网),意味着公网用户可以随意访问hadoop系统开放的web资源,存在极大的安全隐患。
我们可以修改配置将domain段替换成内网IP,这对于dfs.http.address、mapred.job.tracker.http.address没什么问题,但dfs.datanode.http.address需要到每个datanode上去修改,这太不现实了,可以通过以下方法实现自动配置。
通过local.bind.address参数 为http address绑定内网IP:
1、修改$HADOOP_HOME/conf/hadoop-env.sh
#bind_ip=$(/sbin/ifconfig eth1:0 | grep 'inet addr:' | cut -d: -f2 | awk '{print $1}')
#replace eth1:0 with your NIC / alias 这种方式需要所有机器内外网对应的网卡顺序一致
#bind_ip=$(/sbin/ifconfig | fgrep 'inet addr:172.16' | cut -d: -f2 | awk '{print $1}')
#这种方式需要所有机器内网IP前缀一致
bind_ip=$(/bin/hostname)
#这种方式需要在/etc/hosts里将hostname指向内网IP
export BIND_OPTS="-Dlocal.bind.address=${bind_ip}"
# Command specific options appended to HADOOP_OPTS when specified
export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS $BIND_OPTS"
export HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS $BIND_OPTS"
export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS $BIND_OPTS"
export HADOOP_BALANCER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS $BIND_OPTS"
export HADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS $BIND_OPTS"
export HADOOP_TASKTRACKER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_TASKTRACKER_OPTS $BIND_OPTS"
2、修改$HADOOP_HOME/conf/hdfs-site.xml
<property>
<property>
<name>dfs.http.address</name>
<value>${local.bind.address}:50070</value>
</property>
<property>
<name>dfs.https.address</name>
<value>${local.bind.address}:50470</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>${local.bind.address}:50090</value>
</property>
<property>
<name>dfs.datanode.address</name>
<value>${local.bind.address}:50010</value>
</property>
<property>
<name>dfs.datanode.ipc.address</name>
<value>${local.bind.address}:50020</value>
</property>
<property>
<name>dfs.datanode.http.address</name>
<value>${local.bind.address}:50075</value>
</property>
<property>
<name>dfs.datanode.https.address</name>
<value>${local.bind.address}:50475</value>
</property>
3、修改$HADOOP_HOME/conf/mapred-site.xml
<property>
<name>mapred.job.tracker.http.address</name>
<value>${local.bind.address}:50030</value>
</property>
<property>
<name>mapred.task.tracker.http.address</name>
<value>${local.bind.address}:50060</value>
</property>
4、重启
$HADOOP_HOME/bin/stop-all.sh
$HADOOP_HOME/bin/start-all.sh
分享到:
相关推荐
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
hadoop2.7.3 Winutils.exe hadoop.dll
hadoop安装包下载地址
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
文件中包含了hadoop3.x版本的hadoop无需编译安装包(linux版本)百度盘地址。同时附上了官网上其他版本的下载地址。hadoop3.x比起hadoop2.x拥有更高的存储性能。
《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...
winutils.exe是在window系统上安装hadoop时所需要的winutils文件,内附多个版本,支持 hadoop-2.6.3 hadoop-2.6.4 hadoop-2.7.1 ...2、hadoop-2.7.1的下载地址 https://archive.apache.org/dist/hadoop/common/
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合...
Apache Hadoop (hadoop-3.3.4.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
Hadoop/etc/hadoop/slaves 的IP地址要变。 5个重要的配置文件逐个检查,IP地址需要变 2.配置文件确认无错误,看日志: 从logs日志中寻找slave的namenode为什么没有起来。 3.最后发现是hdfs中存在上次的数据,删掉...
本书从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hado叩这一高性能处理海量数据集的理想工具。全书共14章,3个附录,涉及的主题包括:haddoop简介:mapreduce简介:hadoop分布式文件系统;hadoop的i...
hadoop_tutorial hadoop入门经典 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。...
hadoop的dll文件 hadoop.zip
Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
调用保存文件的算子,需要配置Hadoop依赖 将文件夹中的 hadoop-3.0.0 解压到电脑任意位置 在Python代码中使用os模块配置:os.environ[‘HADOOP_HOME’] = ‘HADOOP解压文件夹路径’ winutils.exe,并放入Hadoop解压...
Hadoop大数据资料集锦Hadoop大数据资料集锦Hadoop大数据资料集锦Hadoop大数据资料集锦
hadoop基于linux开发和布署运行,故不能将hadoop环境原始运行在windows上。 操作系统环境差异说明 因为模拟linux环境,所以在linux原生环境中就不需要他了 在windows环境中需要配置 如何配置: 配置到运行环境当前目录...
Hadoop大数据资料集锦及软件下载地址