`
conservatism
  • 浏览: 25824 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

使用代理服务器支持hadoop的控制台访问

阅读更多
实验室有一个几十台节点的安装hadoop的集群,其网络结构是:只有一台管理节点能连外网,其它节点只能局域网中互相访问。这样在浏览器中查看hadoop的jobtracker或health等信息时,不能访问到slave节点的信息,如果master不在集群的管理节点,甚至完全不能访问。

在集群的能够访问外网的节点上安装代理服务器,可以很好的解决这个问题,从而便于利用hadoop的web控制台跟踪任务执行的情况。

安装squid,本文使用的是squid-2.6.STABLE20,操作系统是Redhat Linux
1.下载源码,解压,configure,make,make install
2.配置 安装目录/etc/squid.conf,主要包括授权网段,服务器ip,端口等。
3.cd 安装目录;sbin/squid -z;sbin/squid -k parse;sbin/squid start

在开发者的浏览器中配置代理地址和端口即可
分享到:
评论

相关推荐

    论文研究-支持Hadoop大数据访问的pNFS框架研究与实现.pdf

    随着大数据时代到来,分布式文件系统支持Hadoop大数据访问已成为一种趋势。以研究支持Hadoop大数据访问的pNFS框架为目的,采用在Hadoop与pNFS之间添加pNFS shim layer模块的方法,实现了pNFS支持Hadoop大数据访问的...

    springboot对hadoop增删改查源码及hadoop图片访问

    springboot对hadoop增删改查源码,IE通过servlet访问hadoop图片,直接IE显示源码

    hadoop远程访问资料

    hadoop在JAVA中远程访问namenode和datanode的文档总集

    mahout0.9源码(支持hadoop2)

    mahout0.9的源码,支持hadoop2,需要自行使用mvn编译。mvn编译使用命令: mvn clean install -Dhadoop2 -Dhadoop.2.version=2.2.0 -DskipTests

    Hadoop按日期统计访问次数及测试数据

    Hadoop按日期统计访问次数代码实现,以及包含测试用的数据

    银河麒麟服务器操作系统 V4 hadoop 软件适配手册

    银河麒麟服务器操作系统 V4 hadoop 软件适配手册 包含Hadoop的环境配置,以及文件的配置。

    基于hadoop-0.20.2的FTP服务器

    基于apache发布的FTPserver实现的基于hadoop-0.20.2的FTP服务器,可以直接使用,但要进行hadoop网址的基本配置,另外只有一个匿名用户,除了几个我设定的系统文件夹不能删除外,基本具有所有权限。当然,您可以在此...

    Hadoop集群服务器与本地连接

    本文档是将eclipse与服务器端Hadoop连接说明文档,几经验证能够使用,希望能够帮到大家。

    hadoop访问数据库

    使用hadoop来访问数据库,详细说明了访问数据库的原理和步骤

    hadooponwindows-master

    如果你也想在自己电脑的windows系统上使用hadoop,那就需要这个包来支持 否则windows系统无法支持hadoop 使用hadoop方式: 1、windows电脑上,用vmware workstation或Oracle virtualbox建一个linux虚拟机,然后使用...

    hadoop服务器搭建全攻略

    新手要学习hadoop大数据,却无从下手?先搭建个实验平台吧,本文手把手教你搭建hadoop服务器。

    eclipse支持hadoop2.6.0开发插件

    eclipse支持hadoop2.6.0开发插件,release版本 github一般会被屏蔽,这里提供一份 源地址: https://github.com/winghc/hadoop2x-eclipse-plugin

    hadoop2.7.3 hadoop.dll

    在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....

    Hadoop YARN ResourceManager 未授权访问getshell

    利用Hadoop YARN ResourceManager 未授权访问getshell工具以及WORD说明

    hdfs-over-ftp 的重构 支持hadoop2.0.0

    官网的hdfs-over-ftp已经好久没有更新,还只是停留在hadoop 0.20.x,下载之后不兼容无法使用,所以对hdfs-over-ftp进行了重构,此软件支持hadoop2.0.0,其他版本还需要重新编译打jar包,zip包中附带了一个使用说明 ...

    hadoop3.1.1@win64

    Hadoop在访问本地文件和hdfs文件系统时,需要使用本地库,本地库中使用了Windows的API来实现类posix的文件访问许可。而这个本地库的实现就是Hadoop.dll和winutils.exe 编译环境: hadoop2.7.7 - hadoop3.1.1 JDK...

    在阿里云服务器上利用 Docker 搭建 Hadoop 集群

    Docker 安装与配置 安装 Docker(摘自 Docker 官方文档) 设置 Docker Repository 更新软件索引$ sudo apt-get update 安装一些必要的包 $ sudo apt-get install \ ... ca-certificates \ curl \ ...

    hadoop统计服务器kpi

    hadoop统计服务器kpi

    HadoopFileManager:Hadoop 的控制台文件管理器,用 java 编写。-开源

    Hadoop 的控制台文件管理器,用 java 编写。 仅适用于 Linux。 左侧面板包含本地文件,右侧面板包含来自 HDFS 的文件。 对于运行执行:hadoop jar HadoopFileManager-0.1.0-DEMO.jar Lanterna 库作为 UI。 为了避免...

    hadoop_tutorial hadoop入门经典

    hadoop_tutorial hadoop入门经典 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的,因为它假设计算元素和存储会失败...此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。

Global site tag (gtag.js) - Google Analytics