- 浏览: 341760 次
- 性别:
- 来自: 上海
文章分类
最新评论
-
tpxcer:
不开启时可以的,而且开启以后各种坑。。。。
hue beeswax权限管理 -
yangze:
博主请教一个问题,hue 控制hive表的权限怎么弄? 怎么联 ...
cloudera新增用户权限配置 -
linux91:
楼主你好,我用CM配置LDAP用户组映射,进入impala时, ...
sentry配置 -
linux91:
版主:按你的步骤配置了,可是,执行 impala-shell ...
impala集成LDAP -
lookqlp:
super_a 写道你好!找不到表这个问题是如何解决的,可以描 ...
hcatalog读取hive数据并写入hive
做个mark!
监控指标大致如下:
default.shuffleInput
dfs.datanode
jvm
mapred.shuffleOutput
rpc
metricssystem
dfs.datanode.blockChecksumOp_avg_time 块校验平均时间
dfs.datanode.blockChecksumOp_num_ops 块检验次数
dfs.datanode.blockReports_avg_time 块报告平均时间
dfs.datanode.blockReports_num_ops 块报告次数
dfs.datanode.block_verification_failures 块验证失败次数
dfs.datanode.blocks_read 从硬盘读块总次数
dfs.datanode.blocks_removed 删除块数目
dfs.datanode.blocks_replicated 块复制总次数
dfs.datanode.blocks_verified 块验证总次数
dfs.datanode.blocks_written 向硬盘写块总次数
dfs.datanode.bytes_read 读出总字节包含crc验证文件字节数
dfs.datanode.bytes_written 写入总字节数(在写入每个packet时计数)
dfs.datanode.copyBlockOp_avg_time 复制块平均时间 (单位ms)
dfs.datanode.copyBlockOp_num_ops 复制块次数
dfs.datanode.heartBeats_avg_time 向namenode汇报平均时间
dfs.datanode.heartBeats_num_ops 向namenode汇报总次数
dfs.datanode.readBlockOp_avg_time 读块平均时间(单位ms)
dfs.datanode.readBlockOp_num_ops 读块总次数 一般和dfs.datanode.blocks_read 一致,先从硬盘读入输入流,增加dfs.datanode.blocks_read 计数,然后再增加该计数
dfs.datanode.reads_from_local_client 从本地读入块次数
dfs.datanode.reads_from_remote_client 从远程读入块次数
dfs.datanode.replaceBlockOp_avg_time 替换块平均时间(负载均衡策略)
dfs.datanode.replaceBlockOp_num_ops 替换块次数(负载均衡策略)
dfs.datanode.volumeFailures notfound 和block拥有的volume 失败有关
dfs.datanode.writeBlockOp_avg_time 写块平均时间
dfs.datanode.writeBlockOp_num_ops 写块总次数一般和dfs.datanode.blocks_written 一致,先从硬盘,增加dfs.datanode.blocks_read 计数,然后再增加该计数
dfs.datanode.writes_from_local_client 写本地次数
dfs.datanode.writes_from_remote_client 写远程次数
jvm.metrics.gcCount gc总次数
jvm.metrics.gcTimeMillis gc总耗时(ms)
jvm.metrics.logError jvm error 次数
jvm.metrics.logFatal jvm出现fatal次数
jvm.metrics.logInfo jvm info出现次数
jvm.metrics.logWarn jvm warn出现次数
jvm.metrics.maxMemoryM jvm试图使用最大内存(M),如果没有限制返回Long.MAX_VALUE
jvm.metrics.memHeapCommittedM jvm提交堆内存大小
jvm.metrics.memHeapUsedM jvm使用堆内存大小
jvm.metrics.memNonHeapCommittedM jvm非堆内存已提交大小
jvm.metrics.memNonHeapUsedM jvm非堆内存已使用大小
jvm.metrics.threadsBlocked 正在阻塞等待监视器锁的线程数目
jvm.metrics.threadsNew 尚未启动的线程数目
jvm.metrics.threadsRunnable 正在执行状态的线程数目
jvm.metrics.threadsTerminated 已退出线程数目
jvm.metrics.threadsTimedWaiting 等待另一个线程执行取决于指定等待时间的操作的线程数目
jvm.metrics.threadsWaiting 无限期地等待另一个线程来执行某一特定操作的线程数目
rpc.metrics.NumOpenConnections number of open connections rpc连接打开的数目
rpc.metrics.ReceivedBytes number of bytes received rpc收到的字节数
rpc.metrics.RpcProcessingTime_avg_time Average time for RPC Operations in last interval rpc在最近的交互中平均操作时间
rpc.metrics.RpcProcessingTime_num_ops rpc在最近的交互中连接数目
rpc.metrics.RpcQueueTime_avg_time rpc在交互中平均等待时间
rpc.metrics.RpcQueueTime_num_ops rpc queue中完成的rpc操作数目
rpc.metrics.SentBytes number of bytes sent rpc发送的数据字节
rpc.metrics.callQueueLen length of the rpc queue rpc 队列长度
rpc.metrics.rpcAuthenticationFailures number of failed authentications rpc 验证失败次数
rpc.metrics.rpcAuthenticationSuccesses number of successful authentications 验证成功数
rpc.metrics.rpcAuthorizationFailures number of failed authorizations 授权失败次数
rpc.metrics.rpcAuthorizationSuccesses number of successful authorizations 成功次数
mapred.shuffleInput.shuffle_failed_fetches 从map输出中取数据过程中获取失败次数
mapred.shuffleInput.shuffle_fetchers_busy_percent 在获取map输出过程中并行获取线程忙碌占总并行获取线程百分比
mapred.shuffleInput.shuffle_input_bytes shuffle过程中读入数据字节
mapred.shuffleInput.shuffle_success_fetches 从map输出中取数据过程中获取成功次数
mapred.shuffleOutput.shuffle_failed_outputs 向reduce发送map输出失败次数
mapred.shuffleOutput.shuffle_handler_busy_percent 向reduce发送map输出中server线程忙碌占总工作线程(在tasktracker.http.threads中配置)百分比。
mapred.shuffleOutput.shuffle_output_bytes shuffle过程中输出数据字节
mapred.shuffleOutput.shuffle_success_outputs 向reduce成功
mapred.tasktracker.mapTaskSlots 设置map槽数
mapred.tasktracker.maps_running 正在运行的map数
mapred.tasktracker.reduceTaskSlots 设置reduce槽数
mapred.tasktracker.reduces_running 正在运行的reduce数
mapred.tasktracker.tasks_completed 完成任务数
mapred.tasktracker.tasks_failed_ping 因tasktracker与task交互失败导致的失败的task数目
mapred.tasktracker.tasks_failed_timeout 因task未在mapred.task.timeout配置的(默认10分钟)时间内汇报进度而超时kill的task数目
rpc.detailed-metrics.canCommit_avg_time rpc询问是否提交任务平均时间
rpc.detailed-metrics.canCommit_num_ops rpc询问是否提交任务次数
rpc.detailed-metrics.commitPending_avg_time rpc报告任务提交完成,但是该提交仍然处于pending状态的平均时间
rpc.detailed-metrics.commitPending_num_ops rpc报告任务提交完成,但是该提交仍然处于pending状态的次数
rpc.detailed-metrics.done_avg_time rpc报告任务成功完成的平均时间
rpc.detailed-metrics.done_num_ops rpc报告任务成功完成的次数
rpc.detailed-metrics.fatalError_avg_time rpc报告任务出现fatalerror的平均时间
rpc.detailed-metrics.fatalError_num_ops rpc报告任务出现fatalerror的次数
rpc.detailed-metrics.getBlockInfo_avg_time 从指定datanode获取block的平均时间
rpc.detailed-metrics.getBlockInfo_num_ops 从指定datanode获取block的次数
rpc.detailed-metrics.getMapCompletionEvents_avg_time reduce获取已经完成的map输出地址事件的平均时间
rpc.detailed-metrics.getMapCompletionEvents_num_ops reduce获取已经完成的map输出地址事件的次数
rpc.detailed-metrics.getProtocolVersion_avg_time 获取rpc协议版本信息的平均时间
rpc.detailed-metrics.getProtocolVersion_num_ops 获取rpc协议版本信息的次数
rpc.detailed-metrics.getTask_avg_time 当子进程启动后,获取jvmtask的平均时间
rpc.detailed-metrics.getTask_num_ops 当子进程启动后,获取jvmtask的次数
rpc.detailed-metrics.ping_avg_time 子进程周期性的检测父进程是否还存活的平均时间
rpc.detailed-metrics.ping_num_ops 子进程周期性的检测父进程是否还存活的次数
rpc.detailed-metrics.recoverBlock_avg_time 为指定的block开始恢复标记生成的平均时间
rpc.detailed-metrics.recoverBlock_num_ops 为指定的block开始恢复标记生成的次数
rpc.detailed-metrics.reportDiagnosticInfo_avg_time 向父进程报告任务错误消息的平均时间,该操作应尽可能少,这些消息会在jobtracker中保存
rpc.detailed-metrics.reportDiagnosticInfo_num_ops 向父进程报告任务错误消息的次数
rpc.detailed-metrics.startBlockRecovery_avg_time 开始恢复block的平均时间
rpc.detailed-metrics.startBlockRecovery_num_ops 开始恢复block的次数
rpc.detailed-metrics.statusUpdate_avg_time 汇报子进程进度给父进程的平均时间
rpc.detailed-metrics.statusUpdate_num_ops 汇报子进程进度给父进程的次数
rpc.detailed-metrics.updateBlock_avg_time 更新block到新的标记及长度的平均操作时间
rpc.detailed-metrics.updateBlock_num_ops 更新block到新的标记及长度的次数
监控指标大致如下:
default.shuffleInput
dfs.datanode
jvm
mapred.shuffleOutput
rpc
metricssystem
dfs.datanode.blockChecksumOp_avg_time 块校验平均时间
dfs.datanode.blockChecksumOp_num_ops 块检验次数
dfs.datanode.blockReports_avg_time 块报告平均时间
dfs.datanode.blockReports_num_ops 块报告次数
dfs.datanode.block_verification_failures 块验证失败次数
dfs.datanode.blocks_read 从硬盘读块总次数
dfs.datanode.blocks_removed 删除块数目
dfs.datanode.blocks_replicated 块复制总次数
dfs.datanode.blocks_verified 块验证总次数
dfs.datanode.blocks_written 向硬盘写块总次数
dfs.datanode.bytes_read 读出总字节包含crc验证文件字节数
dfs.datanode.bytes_written 写入总字节数(在写入每个packet时计数)
dfs.datanode.copyBlockOp_avg_time 复制块平均时间 (单位ms)
dfs.datanode.copyBlockOp_num_ops 复制块次数
dfs.datanode.heartBeats_avg_time 向namenode汇报平均时间
dfs.datanode.heartBeats_num_ops 向namenode汇报总次数
dfs.datanode.readBlockOp_avg_time 读块平均时间(单位ms)
dfs.datanode.readBlockOp_num_ops 读块总次数 一般和dfs.datanode.blocks_read 一致,先从硬盘读入输入流,增加dfs.datanode.blocks_read 计数,然后再增加该计数
dfs.datanode.reads_from_local_client 从本地读入块次数
dfs.datanode.reads_from_remote_client 从远程读入块次数
dfs.datanode.replaceBlockOp_avg_time 替换块平均时间(负载均衡策略)
dfs.datanode.replaceBlockOp_num_ops 替换块次数(负载均衡策略)
dfs.datanode.volumeFailures notfound 和block拥有的volume 失败有关
dfs.datanode.writeBlockOp_avg_time 写块平均时间
dfs.datanode.writeBlockOp_num_ops 写块总次数一般和dfs.datanode.blocks_written 一致,先从硬盘,增加dfs.datanode.blocks_read 计数,然后再增加该计数
dfs.datanode.writes_from_local_client 写本地次数
dfs.datanode.writes_from_remote_client 写远程次数
jvm.metrics.gcCount gc总次数
jvm.metrics.gcTimeMillis gc总耗时(ms)
jvm.metrics.logError jvm error 次数
jvm.metrics.logFatal jvm出现fatal次数
jvm.metrics.logInfo jvm info出现次数
jvm.metrics.logWarn jvm warn出现次数
jvm.metrics.maxMemoryM jvm试图使用最大内存(M),如果没有限制返回Long.MAX_VALUE
jvm.metrics.memHeapCommittedM jvm提交堆内存大小
jvm.metrics.memHeapUsedM jvm使用堆内存大小
jvm.metrics.memNonHeapCommittedM jvm非堆内存已提交大小
jvm.metrics.memNonHeapUsedM jvm非堆内存已使用大小
jvm.metrics.threadsBlocked 正在阻塞等待监视器锁的线程数目
jvm.metrics.threadsNew 尚未启动的线程数目
jvm.metrics.threadsRunnable 正在执行状态的线程数目
jvm.metrics.threadsTerminated 已退出线程数目
jvm.metrics.threadsTimedWaiting 等待另一个线程执行取决于指定等待时间的操作的线程数目
jvm.metrics.threadsWaiting 无限期地等待另一个线程来执行某一特定操作的线程数目
rpc.metrics.NumOpenConnections number of open connections rpc连接打开的数目
rpc.metrics.ReceivedBytes number of bytes received rpc收到的字节数
rpc.metrics.RpcProcessingTime_avg_time Average time for RPC Operations in last interval rpc在最近的交互中平均操作时间
rpc.metrics.RpcProcessingTime_num_ops rpc在最近的交互中连接数目
rpc.metrics.RpcQueueTime_avg_time rpc在交互中平均等待时间
rpc.metrics.RpcQueueTime_num_ops rpc queue中完成的rpc操作数目
rpc.metrics.SentBytes number of bytes sent rpc发送的数据字节
rpc.metrics.callQueueLen length of the rpc queue rpc 队列长度
rpc.metrics.rpcAuthenticationFailures number of failed authentications rpc 验证失败次数
rpc.metrics.rpcAuthenticationSuccesses number of successful authentications 验证成功数
rpc.metrics.rpcAuthorizationFailures number of failed authorizations 授权失败次数
rpc.metrics.rpcAuthorizationSuccesses number of successful authorizations 成功次数
mapred.shuffleInput.shuffle_failed_fetches 从map输出中取数据过程中获取失败次数
mapred.shuffleInput.shuffle_fetchers_busy_percent 在获取map输出过程中并行获取线程忙碌占总并行获取线程百分比
mapred.shuffleInput.shuffle_input_bytes shuffle过程中读入数据字节
mapred.shuffleInput.shuffle_success_fetches 从map输出中取数据过程中获取成功次数
mapred.shuffleOutput.shuffle_failed_outputs 向reduce发送map输出失败次数
mapred.shuffleOutput.shuffle_handler_busy_percent 向reduce发送map输出中server线程忙碌占总工作线程(在tasktracker.http.threads中配置)百分比。
mapred.shuffleOutput.shuffle_output_bytes shuffle过程中输出数据字节
mapred.shuffleOutput.shuffle_success_outputs 向reduce成功
mapred.tasktracker.mapTaskSlots 设置map槽数
mapred.tasktracker.maps_running 正在运行的map数
mapred.tasktracker.reduceTaskSlots 设置reduce槽数
mapred.tasktracker.reduces_running 正在运行的reduce数
mapred.tasktracker.tasks_completed 完成任务数
mapred.tasktracker.tasks_failed_ping 因tasktracker与task交互失败导致的失败的task数目
mapred.tasktracker.tasks_failed_timeout 因task未在mapred.task.timeout配置的(默认10分钟)时间内汇报进度而超时kill的task数目
rpc.detailed-metrics.canCommit_avg_time rpc询问是否提交任务平均时间
rpc.detailed-metrics.canCommit_num_ops rpc询问是否提交任务次数
rpc.detailed-metrics.commitPending_avg_time rpc报告任务提交完成,但是该提交仍然处于pending状态的平均时间
rpc.detailed-metrics.commitPending_num_ops rpc报告任务提交完成,但是该提交仍然处于pending状态的次数
rpc.detailed-metrics.done_avg_time rpc报告任务成功完成的平均时间
rpc.detailed-metrics.done_num_ops rpc报告任务成功完成的次数
rpc.detailed-metrics.fatalError_avg_time rpc报告任务出现fatalerror的平均时间
rpc.detailed-metrics.fatalError_num_ops rpc报告任务出现fatalerror的次数
rpc.detailed-metrics.getBlockInfo_avg_time 从指定datanode获取block的平均时间
rpc.detailed-metrics.getBlockInfo_num_ops 从指定datanode获取block的次数
rpc.detailed-metrics.getMapCompletionEvents_avg_time reduce获取已经完成的map输出地址事件的平均时间
rpc.detailed-metrics.getMapCompletionEvents_num_ops reduce获取已经完成的map输出地址事件的次数
rpc.detailed-metrics.getProtocolVersion_avg_time 获取rpc协议版本信息的平均时间
rpc.detailed-metrics.getProtocolVersion_num_ops 获取rpc协议版本信息的次数
rpc.detailed-metrics.getTask_avg_time 当子进程启动后,获取jvmtask的平均时间
rpc.detailed-metrics.getTask_num_ops 当子进程启动后,获取jvmtask的次数
rpc.detailed-metrics.ping_avg_time 子进程周期性的检测父进程是否还存活的平均时间
rpc.detailed-metrics.ping_num_ops 子进程周期性的检测父进程是否还存活的次数
rpc.detailed-metrics.recoverBlock_avg_time 为指定的block开始恢复标记生成的平均时间
rpc.detailed-metrics.recoverBlock_num_ops 为指定的block开始恢复标记生成的次数
rpc.detailed-metrics.reportDiagnosticInfo_avg_time 向父进程报告任务错误消息的平均时间,该操作应尽可能少,这些消息会在jobtracker中保存
rpc.detailed-metrics.reportDiagnosticInfo_num_ops 向父进程报告任务错误消息的次数
rpc.detailed-metrics.startBlockRecovery_avg_time 开始恢复block的平均时间
rpc.detailed-metrics.startBlockRecovery_num_ops 开始恢复block的次数
rpc.detailed-metrics.statusUpdate_avg_time 汇报子进程进度给父进程的平均时间
rpc.detailed-metrics.statusUpdate_num_ops 汇报子进程进度给父进程的次数
rpc.detailed-metrics.updateBlock_avg_time 更新block到新的标记及长度的平均操作时间
rpc.detailed-metrics.updateBlock_num_ops 更新block到新的标记及长度的次数
发表评论
-
hive相关元数据迁移(mysql)
2015-11-18 18:27 2519mysqldump -hhost -uroot -ppassw ... -
hive dynamic partitions insert java.lang.OutOfMemoryError: Java heap space
2015-10-26 18:03 3028动态分区问题,如果数据量大或者当动态分区大甚至只有十几个时 ... -
hive集成LDAP
2015-02-13 10:09 9677cloudera manager hive- sevice ... -
sentry配置
2015-02-13 10:06 2294当前cdh版本为5.2.0,且通过cloudera mange ... -
hue beeswax权限管理
2014-08-05 17:54 10542http://www.cloudera.com/content ... -
cloudera client集群部署
2014-08-05 17:48 597一般我们使用使用client机器访问集群,而不会直接在hado ... -
cloudera manager kerberos配置
2014-08-05 17:37 1506CDH5.1.0前的版本,可以通过cloudera manag ... -
CDH5安装
2014-08-05 17:05 2238CDH安装有很多方式: ta ... -
hadoop集群数据迁移
2014-08-04 22:31 6512hadoop distcp hdfs://namenode1/ ... -
java.lang.OutOfMemoryError: unable to create new native thread
2014-05-23 17:29 164735227 2014-05-21 13:53:18,504 I ... -
hadoop-2.2.0编译import eclipse
2013-10-22 17:50 7753编译hadoop-2.2.0 下载hadoop-2.2.0-s ... -
hadoop-2.2.0单点安装
2013-10-22 15:48 3447解压hadoop-2.2.0.tar.gz 目录说明: drw ... -
oozie 安装
2013-09-29 18:22 7412废话不多说,直接步骤 安装 准备: oozie-3.3.2,o ... -
mapreduce java.lang.ClassNotFoundException:
2013-03-07 15:06 2979好久没写mr了,今天写了个在eclipse上运行很顺畅,但是使 ... -
关于mapreduce解析xml的方法
2012-03-29 11:52 1699mapreduce的TextInputFormat很方便的处理 ... -
如何在mapreduce方法中获取当前使用文件(get file name)
2012-03-29 11:42 1828使用的0.20.2版本hadoop 查了许久,如何在map方法 ... -
如何提示mapreduce,查看systemout信息
2012-01-14 14:47 1223又折腾了大半天,只解决了一半的问题吧。 已经解决部分: 可以通 ... -
wordcount
2012-01-11 17:40 847window eclipse开发环境下 运行wordcout ... -
hbase Waiting on regionserver(s) to checkin
2012-01-11 12:16 2477hbase启动不来,一直checkin。 查看日志含有: or ... -
hadoop format后启动不了
2012-01-11 12:13 890format后启动不了,可能是个个节点包括name节点的had ...
相关推荐
NULL 博文链接:https://cctype.iteye.com/blog/2035345
基于JMX和Ganglia的Hadoop性能监控平台,孙元成,李文生,Hadoop作为一个开源分布式系统架构,实现了分布式文件系统HDFS和MapReduce分布式计算框架。由于越来越多的网络应用使用Hadoop集群进行计��
大数据平台监控Ganglia加Nagios
ganglia监控软件的笔记
NULL 博文链接:https://chengjianxiaoxue.iteye.com/blog/2223057
ganglia 集群监控 ganglia依赖包 附带监控脚本 安装文档说明
网上有很多Ganglia部署的教程,每一个我都觉得繁琐,我的目的只是用来监控Hadoop测试集群,能即刻使用才是王道,于是我想到通过Rancher部署Ganglia应用服务,以容器的方式一键部署,省去了中间繁琐的安装过程。...
Ganglia3.4安装配置 Ganlia分布式集群监控系统安装手册 用Ganglia监控hadoop集群
ganglia 监控附属插件 rrdtool 画图工具
HADOOP监控GANGLIA安装文档,可以生成图表数据,包括cup,io,mapreduce 带宽
Ganglia系统监控完整版 pdf 清晰
1. 环境规划2. 基础环境准备3. Ganglia监控安装4. 测试与应用
分布式监控系统Ganglia的详细中文文档。Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:cpu 、mem、...
服务器监控软件ganglia安装包及其安装文档,非常详细,按照文档操作就能完成安装
基于CentOs的ganglia监控配置,配合Nagios进行分布式监控预警
linux集群上配置Ganglia监控系统并监控solr.pdf
本文档是本人在调研文件系统中ganglia监控技术时总结的内容!
linux集群上配置Ganglia监控系统并监控solr可用.pdf
Ganglia系统监控是Ganglia的非常好的学习资料,对Ganglia的入门有很多帮助。15积分下载的,现在只要8积分,欢迎选购!!!!!!!!!!!!!!!!!