SPARK_HOME/conf 下:
spark-defaults.conf 增加如下内容
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/var/log/spark
spark.eventLog.compress true
spark-env.sh 增加如下内容
export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master.et2:8020/var/log/spark”
启动start-history-server.sh
SPARK_HOME/conf 下: 执行 ./start-history-server.sh
spark job history web: master:18080
这样在spark任务运行完成之后,就可以通过web页面查看日志了
history server相关的配置参数描述
-
spark.history.updateInterval
默认值:10
以秒为单位,更新日志相关信息的时间间隔 -
spark.history.retainedApplications
默认值:50
在内存中保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,当再次访问已被删除的应用信息时需要重新构建页面。 -
spark.history.ui.port
默认值:18080
HistoryServer的web端口 -
spark.history.kerberos.enabled
默认值:false
是否使用kerberos方式登录访问HistoryServer,对于持久层位于安全集群的HDFS上是有用的,如果设置为true,就要配置下面的两个属性 -
spark.history.kerberos.principal
默认值:用于HistoryServer的kerberos主体名称 -
spark.history.kerberos.keytab
用于HistoryServer的kerberos keytab文件位置 -
spark.history.ui.acls.enable
默认值:false
授权用户查看应用程序信息的时候是否检查acl。如果启用,只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则,不做任何检查 -
spark.eventLog.enabled
默认值:false
是否记录Spark事件,用于应用程序在完成后重构webUI -
spark.eventLog.dir
默认值:file:///tmp/spark-events
保存日志相关信息的路径,可以是hdfs://开头的HDFS路径,也可以是file://开头的本地路径,都需要提前创建 -
spark.eventLog.compress
默认值:false
是否压缩记录Spark事件,前提spark.eventLog.enabled为true,默认使用的是snappy
以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS,以spark.eventLog开头的配置在spark-defaults.conf
尊重原创,未经允许不得转载:http://blog.csdn.net/stark_summer/article/details/46459701
相关推荐
(1)利用SparkStreaming从文件目录读入日志信息,日志内容包含: ”日志级别、函数名、日志内容“ 三个字段,字段之间以空格拆分。请看数据源的文件。 (2)对读入都日志信息流进行指定筛选出日志级别为error或warn...
sparkStreaming job生成流程图
本使用kafka,spark,hbase开发日志分析系统。 ![architecture](/docs/images/architecture.png "architecture") ### 软件模块 * Kafka:作为日志事件的消息系统,具有分布式,可分区,可冗余的消息服务功能。...
flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【大数据】
费了老鼻子劲,用sbt编译spark job server 版本信息 V0.7 Scala 2.10
spark搜狗日志数据饭呢西实战源码(搜索结果和点击排名都是第一)
Spark SQL 日志处理实战,日志文件20000行;Spark SQL 日志处理实战,日志文件20000行;
spark_job.zip
spark-jobserver安装文档
基于Spark的用户上网WAP日志分析
spark job gc log
spark-jobserver提供了一个RESTful接口,用于提交和管理作业,jar和作业上下文。 此存储库包含完整的Spark作业服务器项目,包括单元测试和部署脚本。 它最初始于 ,但现在是主要的开发仓库。 其他有用的链接:,, ...
基于FlumeKafkaSpark-的分布式日志流处理系统的设计与实现
基于Flume+kafka+spark大型电商网站日志分析系统(离线+实时).zip 1、该资源内项目代码经过严格调试,下载即用确保可以运行! 2、该资源适合计算机相关专业(如计科、人工智能、大数据、数学、电子信息等)正在做课程...
#资源达人分享计划#
spark job jar with depends
spark 大数据日志分析项目所使用的配置文件,对应的编译器为idea2018社区版
本使用kafka,spark,hbase开发日志分析系统
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码。 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码,博客链接: ...