windyrails
- 浏览: 3172 次
- 性别:
- 来自: 长沙
-
最新评论
文章列表
Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。
本文将介绍3个Scala Spark编程实例，分别是WordCount、TopK和SparkJoin，分别代表了Spark的三种典型应用。
1：概述
说Spark on YARN的部署，还不如说是Spark应用程序在YARN环境中的运行。按照Spark应用程序中的driver （SparkContext）分布方式不同，Spark on YARN有两种模式：
一种是yarn-client模式，在这种模式下，Spark driver在客户机上运行，然后向YARN申请运行exeutor以运行Task。
一种是yarn-cluster模式，这种模式下，Spark driver将作为一个ApplicationMaster在YARN集群中先启动，然后再由ApplicationMaster向RM申请资源启动execu ...
Spark1.0.0可以通过以下几种方式来对Spark应用程序进行监控：
Spark应用程序的WebUI或者Spark Standalone的集群监控
指标，然后通过支持指标收集的集群监控系统，如ganglia进行监控
辅助监控工具
1：WebUI
Spark应用程序提交后，driver和Executor之间不断的交换运行信息，可以通过driver的4040端口（默认端口）获取有用的Spark应用程序的运行信息，如：
Stage和Task
RDD大小和内存使用情况
环境变量信息
executor的运行信息
...
如果 ...
最近，公司网站需要统计用户都是从哪些页面进入到注册页面的数据。开始，仅仅简单的通过在服务器端$ _SERVER['HTTP_REFERER']（php）来获取。但是，发现有好多注册用户没有referer值，后来查了一下在IE下采用window.location.href方式跳转的话，referer值为空。而在标签<a></a>里面的跳转的话referer就不会空。所以，通过一下代码就可以解决这个IE问题：
[javascript] view plaincopyprint?
functio ...
1.场景
今天在公司用mvn编译的时候，出现机器卡死的情况，让我深深的反省了一下。
[java] view plaincopyprint?
01.../apache-maven-3.0.5/bin/mvn -Dhadoop.version=0.20.2-cdh3u5 -DskipTests clean package
../apache-maven-3.0.5/bin/mvn -Dhadoop.version=0.20.2-cdh3u5 -DskipTests clean package
这样的编译会出现问题，编译不下去，因为maven需要设置一下jvm参数才行。
[java ...