1.修改配置开发JMX端口
假设hadoop(hadoop-0.20.0)安装目录用$hadoop_home表示。修改$hadoop_home/conf/hadoop_env.sh配置文件,修改之处如下:
# Extra Java runtime options. Empty by default.
export HADOOP_OPTS="-Djava.rmi.server.hostname=10.132.30.46 \
-Dcom.sun.management.jmxremote.authenticate=false \
-Dcom.sun.management.jmxremote.ssl=false \
-Dcom.sun.management.jmxremote.access.file=$HADOOP_CONF_DIR\jmxremote.access \
-Dcom.sun.management.jmxremote.password.file=$HADOOP_CONF_DIR\jmxremote.password"
# Command specific options appended to HADOOP_OPTS when specified
export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS -Dcom.sun.management.jmxremote.port=8004"
export HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS -Dcom.sun.management.jmxremote.port=8005"
export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS -Dcom.sun.management.jmxremote.port=8006"
export HADOOP_BALANCER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_BALANCER_OPTS -Dcom.sun.management.jmxremote.port=8007"
export HADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS -Dcom.sun.management.jmxremote.port=8008"
export HADOOP_TASKTRACKER_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8009"
2.执行$hadoop_home/bin/stop-all.sh和start-all.sh,进行重启。
3. 通过jconsole连接JMX端口,进行测试。
分享到:
相关推荐
Hbase和Hadoop JMX监控实战
jmx prometheus grafana 监控开源hadoop各个组件模板。 Hadoop、Zookeeper、HBase等包含12个json模板 导入即可使用,不许做任何修改。
实战开发通过jmx获取HBase运行时数据,监控集群状态 5-1 HBase备份与恢复 5-2 HBase监控简介 5-3 Hadoop JMX监控实战 5-4 HBase JMX监控实战 第6章 Phoenix & Sqoop 对HBase业务应用过程中常用到的第三方开源工具...
org.apache.hadoop.jmx org.apache.hadoop.lib.lang org.apache.hadoop.lib.server org.apache.hadoop.lib.service org.apache.hadoop.lib.service.hadoop org.apache.hadoop.lib.service.instrumentation org...
Java管理扩展(JMX) 维护 日常管理过程 委任节点和解除节点 升级 第11章 Pig简介 安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin ...
Java管理扩展(JMX) 维护 日常管理过程 委任节点和解除节点 升级 第11章 Pig简介 安装与运行Pig 执行类型 运行Pig程序 Grunt Pig Latin编辑器 示例 生成示例 与数据库比较 PigLatin 结构 语句 表达式 1.4.4 类型 ...
基于JMX和Ganglia的Hadoop性能监控平台,孙元成,李文生,Hadoop作为一个开源分布式系统架构,实现了分布式文件系统HDFS和MapReduce分布式计算框架。由于越来越多的网络应用使用Hadoop集群进行计��
查询 JMX 代理 Servlet 以获取特定的 mbean。 此模块需要 Hadoop 更改 。 它们在 0.20.204.0、0.23.0 或更高版本中可用。 界面功能 新的 () 描述 创建 Hadoop::Admin 类的新实例。 该方法需要一个至少包含名称...
dfshealth-cli 一个通过 JMX 查询 Hadoop 集群的 HDFS 统计信息的 CLI 工具。 它需要 node.js 才能工作。 用法:dfshealth-cli <namenode>
Hbase是Apache的NoSQL分布式可扩展Hadoop数据库,可以很好地横向扩展。Hbase中的数据是面向列的数据库,其中结构化数据存储在键值对中。Hbase用Java编写。Hbase的灵感来自Google Paper-“大表:结构化数据...或通过JMX
NULL 博文链接:https://chengjianxiaoxue.iteye.com/blog/2223057
Cassandra-Hadoop内存表通过Hadoop在Cassandra中使用Binary Memtable。概述Cassandra写入首先写入CommitLog,然后写入每个称为Memtable的基于ColumnFamily的结构。 当内存表已满时,它将作为SSTable写入磁盘。 ...
go语言编写的万能采集DataNode jmx指标二进制文件 所有CDH 版本 有DataNode实例机器均可执行。 没有不会报错,会一分钟重试。 采集了以下三类指标 Hadoop:service=DataNode,name=DataNodeActivity Hadoop:service=...
Hbase是Apache的NoSQL分布式可扩展Hadoop数据库,可以很好地横向扩展。Hbase中的数据是面向列的数据库,其中结构化数据存储在键值对中。Hbase用Java编写。Hbase的灵感来自Google Paper-“大表:结构化数据...或通过JMX
开源的数据分析解决方案,用于在大数据平台(如HADOOP1、SARK2、NoSQL等)上立即识别安全性和性能问题 分析数据活动、纱线应用、JMX度量和守护进程日志等,提供了-艺术警报引擎,以识别安全漏洞,性能问题。
kafka-manager-2.0.0.2 Ambari的kafka 配置kafka-manager。 CDH、开源也可以步骤一样。 ...可随意开启对broker级别或者对topic级别的JMX轮询 可方便的过滤出没有id 、所有者、延迟或目录等的消费者
Apache:registered:Eagle:trade_mark:是一个开源分析解决方案,用于立即识别大数据平台(例如Apache Hadoop,Apache Spark,NoSQL等)上的安全性和性能问题。它分析数据活动,yarn应用程序,jmx指标和守护程序日志等...
Apache:registered:Eagle:trade_mark:是一个开源分析解决方案,用于立即识别大数据平台(例如Apache Hadoop,Apache Spark,NoSQL等)上的安全和性能问题。它分析数据活动,yarn应用程序,jmx指标和守护程序日志等,...