Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控:
- Spark应用程序的WebUI或者Spark Standalone的集群监控
- 指标,然后通过支持指标收集的集群监控系统,如ganglia进行监控
- 辅助监控工具
1:WebUI
Spark应用程序提交后,driver和Executor之间不断的交换运行信息,可以通过driver的4040端口(默认端口)获取有用的Spark应用程序的运行信息,如:
- Stage和Task
- RDD大小和内存使用情况
- 环境变量信息
- executor的运行信息
- ...
如果多个Spark应用程序在同一个client上以client方式提交,那么driver的WebUI端口将绑定从4040开始的连续端口,如4040、4041、4042...。
需要注意的是,用过WebUI只能查看Spark应用程序在运行期间的信息,一旦Spark应用程序运行完,这些信息将无法查看,因为WebUI端口随Spark应用程序的完成而关闭。如果想要事后查看Spark应用程序的运行信息,那么需要配置history Server来持久化Spark应用程序运行信息。关于history Server参见Spark1.0.0 history server配置(正在撰写,迟点给上链接) 。
2:指标
Spark采用了基于Coda Hale Metrics Library 的可配置的指标体系,通过各种指标收集器,如JMX、CSV、GraphiteSink、Ganglia等可以进行汇总报告。该指标体系的配置文件位于conf/metrics.properties(通过复制conf/metrics.properties.template生成或自建),如果要采用自定义的配置文件,还需要在属性配置上配置一下spark.metrics.conf。
Spark的指标体系针对Spark不同的组件分解成相应的实例,每个实例涵盖一套指标。Spark现在支持的实例有:
- master
- worker
- applications
- driver
- executor
Spark的指标体系支持多种收集器,每个实例可以采用多个收集器,也可以不采用。Spark支持的收集器定义在org.apache.spark.metrics.sink,现在支持的收集器有:
- ConsoleSink
- CSVSink.
- JmxSink
- MetricsServlet
- GraphiteSink
- GangliaSink 因为版权问题,部署包默认不含有该收集器;如果需要,要重新编译嵌入LGPL授权代码的源码。具体使用参见用ganglia监控Spark1.0.0(正在撰写,迟点给上链接)。
3:辅助监控工具
可以通过一些辅助监控工具对Spark应用程序运行前后和运行过程中系统性能变化来监控Spark应用程序。这些辅助工具有:
- 集群监控系统,如ganglia、negios、zabbix等,这些工具可以监控整个集群的磁盘、网络、内存利用率和性能瓶颈;
- 操作系统性能分析工具,如dstat、iostat、iotop,这些工具可以对单台机器的性能进行细致地分析;
- JVM性能分析工具,如 jstack、jmap、jstat 、jconsole,这些工具可以对JVM进行详细的性能分析
相关推荐
Spark 1.0.0 API (java),英文版的
Spark 1.0.0 API ,Scala版,英文的
最新spark1.0.0
Obsidian 1.0.0版本下载
IrisPro1.0.0IrisPro1.0.0IrisPro1.0.0
wireshark-1.0.0源码 wireshark-1.0.0源码
libssl.so.1.0.0
Spark Starrocks 批量写入,完美适配spark3.12
torch-1.0.0
如果在运行某软件或编译程序时提示缺少、找不到cygcrypto-1.0.0.dll等类似提示,下载来cygcrypto-1.0.0.dll拷贝到指定目录即可(一般是system系统目录或放到软件同级目录里面),或者重新添加文件引用。 下载下来文件...
官方离线安装包,测试可用。使用rpm -ivh [rpm完整包名] 进行安装
libcrypto.so.1.0.0
基于php实现的DomainGen 自助停放系统 1.0.0_domaingen1.0.0基于php实现的DomainGen 自助停放系统 1.0.0_domaingen1.0.0基于php实现的DomainGen 自助停放系统 1.0.0_domaingen1.0.0基于php实现的DomainGen 自助停放...
使用scala开发spark应用时用到的jar包:spark-assembly-1.5.2-hadoop2.6.0jar包
官方离线安装包,测试可用。使用rpm -ivh [rpm完整包名] 进行安装
vlc1.0.0,可以实现视频串流输出或播放,udp rtp http ftp等方式,功能强大。最主要是比较经典的款。
classmate-1.0.0 classmate-1.0.0 classmate-1.0.0 classmate-1.0.0 classmate-1.0.0
Android中画图用的AchartEngine1.0.0。
jupyter-1.0.0jupyter-1.0.0
赠送jar包:evictor-1.0.0.jar; 赠送原API文档:evictor-1.0.0-javadoc.jar; 赠送源代码:evictor-1.0.0-sources.jar; 赠送Maven依赖信息文件:evictor-1.0.0.pom; 包含翻译后的API文档:evictor-1.0.0-javadoc-...