`

Hadoop JMX

阅读更多

1.修改配置开发JMX端口

假设hadoophadoop-0.20.0)安装目录用$hadoop_home表示。修改$hadoop_home/conf/hadoop_env.sh配置文件,修改之处如下:

 

# Extra Java runtime options.  Empty by default.
export HADOOP_OPTS="-Djava.rmi.server.hostname=10.132.30.46 \
-Dcom.sun.management.jmxremote.authenticate=false \
-Dcom.sun.management.jmxremote.ssl=false \
-Dcom.sun.management.jmxremote.access.file=$HADOOP_CONF_DIR\jmxremote.access \
-Dcom.sun.management.jmxremote.password.file=$HADOOP_CONF_DIR\jmxremote.password"

# Command specific options appended to HADOOP_OPTS when specified
export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS -Dcom.sun.management.jmxremote.port=8004"
export HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS -Dcom.sun.management.jmxremote.port=8005"
export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS -Dcom.sun.management.jmxremote.port=8006"
export HADOOP_BALANCER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS -Dcom.sun.management.jmxremote.port=8007"
export HADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS -Dcom.sun.management.jmxremote.port=8008"
export HADOOP_TASKTRACKER_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8009"
 

2.执行$hadoop_home/bin/stop-all.shstart-all.sh,进行重启。

 

3. 通过jconsole连接JMX端口,进行测试。

 

分享到:
评论
2 楼 biyahui 2015-12-27  
1 楼 biyahui 2015-12-27  
师大撒

相关推荐

    Hbase和Hadoop JMX监控实战

    Hbase和Hadoop JMX监控实战

    prometheus grafana 基于开源监控apache Hadoop模板大全

    jmx prometheus grafana 监控开源hadoop各个组件模板。 Hadoop、Zookeeper、HBase等包含12个json模板 导入即可使用,不许做任何修改。

    Hbase+Spring boot实战分布式文件存储

    实战开发通过jmx获取HBase运行时数据,监控集群状态 5-1 HBase备份与恢复 5-2 HBase监控简介 5-3 Hadoop JMX监控实战 5-4 HBase JMX监控实战 第6章 Phoenix & Sqoop 对HBase业务应用过程中常用到的第三方开源工具...

    hadoop0.23.9离线api

    org.apache.hadoop.jmx org.apache.hadoop.lib.lang org.apache.hadoop.lib.server org.apache.hadoop.lib.service org.apache.hadoop.lib.service.hadoop org.apache.hadoop.lib.service.instrumentation org...

    Hadoop权威指南 第二版(中文版)

     Java管理扩展(JMX)  维护  日常管理过程  委任节点和解除节点  升级 第11章 Pig简介  安装与运行Pig  执行类型  运行Pig程序  Grunt  Pig Latin编辑器  示例  生成示例  与数据库比较  PigLatin  ...

    Hadoop权威指南(中文版)2015上传.rar

    Java管理扩展(JMX) 维护 日常管理过程 委任节点和解除节点 升级 第11章 Pig简介 安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin 结构 语句 表达式 1.4.4 类型 ...

    论文研究-基于JMX和Ganglia的Hadoop性能监控平台 .pdf

    基于JMX和Ganglia的Hadoop性能监控平台,孙元成,李文生,Hadoop作为一个开源分布式系统架构,实现了分布式文件系统HDFS和MapReduce分布式计算框架。由于越来越多的网络应用使用Hadoop集群进行计��

    hadoop-admin:Hadoop 管理模块

    查询 JMX 代理 Servlet 以获取特定的 mbean。 此模块需要 Hadoop 更改 。 它们在 0.20.204.0、0.23.0 或更高版本中可用。 界面功能 新的 () 描述 创建 Hadoop::Admin 类的新实例。 该方法需要一个至少包含名称...

    dfshealth-cli:一个通过JMX查询Hadoop集群HDFS统计信息的CLI工具

    dfshealth-cli 一个通过 JMX 查询 Hadoop 集群的 HDFS 统计信息的 CLI 工具。 它需要 node.js 才能工作。 用法:dfshealth-cli <namenode>

    Hbase是Apache的NoSQL分布式可扩展Hadoop数据库,可以很好地横向扩展.rar

    Hbase是Apache的NoSQL分布式可扩展Hadoop数据库,可以很好地横向扩展。Hbase中的数据是面向列的数据库,其中结构化数据存储在键值对中。Hbase用Java编写。Hbase的灵感来自Google Paper-“大表:结构化数据...或通过JMX

    ganglia+hadoop+hbase nagios 学习参考链接

    NULL 博文链接:https://chengjianxiaoxue.iteye.com/blog/2223057

    Cass-BinMemTable:mem表中KV商店对的Cassandra和Hadoop使用

    Cassandra-Hadoop内存表通过Hadoop在Cassandra中使用Binary Memtable。概述Cassandra写入首先写入CommitLog,然后写入每个称为Memtable的基于ColumnFamily的结构。 当内存表已满时,它将作为SSTable写入磁盘。 ...

    DataNode-Exporter

    go语言编写的万能采集DataNode jmx指标二进制文件 所有CDH 版本 有DataNode实例机器均可执行。 没有不会报错,会一分钟重试。 采集了以下三类指标 Hadoop:service=DataNode,name=DataNodeActivity Hadoop:service=...

    Hbase分布式数据库-其他

    Hbase是Apache的NoSQL分布式可扩展Hadoop数据库,可以很好地横向扩展。Hbase中的数据是面向列的数据库,其中结构化数据存储在键值对中。Hbase用Java编写。Hbase的灵感来自Google Paper-“大表:结构化数据...或通过JMX

    apache-eagle-0.4.0-incubating-src.tar.gz_Apache Eagle 0.4_Apache

    开源的数据分析解决方案,用于在大数据平台(如HADOOP1、SARK2、NoSQL等)上立即识别安全性和性能问题 分析数据活动、纱线应用、JMX度量和守护进程日志等,提供了-艺术警报引擎,以识别安全漏洞,性能问题。

    kafka-manager-2.0.0.2

    kafka-manager-2.0.0.2 Ambari的kafka 配置kafka-manager。 CDH、开源也可以步骤一样。 ...可随意开启对broker级别或者对topic级别的JMX轮询 可方便的过滤出没有id 、所有者、延迟或目录等的消费者

    attic-eagle:阿帕奇鹰的镜子

    Apache:registered:Eagle:trade_mark:是一个开源分析解决方案,用于立即识别大数据平台(例如Apache Hadoop,Apache Spark,NoSQL等)上的安全性和性能问题。它分析数据活动,yarn应用程序,jmx指标和守护程序日志等...

    鹰:阿帕奇鹰的镜子

    Apache:registered:Eagle:trade_mark:是一个开源分析解决方案,用于立即识别大数据平台(例如Apache Hadoop,Apache Spark,NoSQL等)上的安全和性能问题。它分析数据活动,yarn应用程序,jmx指标和守护程序日志等,...

Global site tag (gtag.js) - Google Analytics