Spark源代码编译生成全攻略。
del.icio.us Tags: Spark,源,代码,编译
其实关于这个问题在Spark的官网www.igniterealtime.org上有很详尽的介绍,因此本文大部分内容是从英文文档引用而来的,其中还有一些个人的经验。
Spark源代码:下载地址
想了解更多关于"Spark"的文章,请点击这里.
1.安装JDK
这个不用说了,注意版本,最少要1.5,推荐使用
2.安装Eclipse3.3
a) 从官网下载Eclipse 3.3 (对Java开发者用的)
b) 假设你把eclipse安装在c:/program files/eclipse,进入这个文件夹,为eclipse.exe创造一个桌面图标,右击这个图标,选择“属性”,打开属性对话框,在“目标”的输入框里,输入如下
"C:\Program Files\Eclipse\eclipse.exe" -vm "C:\Program Files\Java\jdk1.6.0\bin\javaw"
熟悉eclipse的都知道这是为eclipse指定使用哪个Java VM。
3.为eclipse安装Subversive插件
a)用上面建的图标打开eclipse,下面开始安装Subversive插件,由于我用的是英文版的ecplipse,
下面的菜单我都用英文。
b) 点击Help::Software Updates::Find and Install...
c)点击 Search for new features to install ,点 Next
d)点New Remote Site... 按钮
e)在name的输入框里输入 Subversive ,并且在URL输入框里输入
http://www.polarion.org/projects/subversive/download/1.1/update-site
(最新的Subversive地址上 http://www.eclipse.org/subversive 查询)
f)点击Finish ,开始安装Subversive,eclipse将搜索网站,并且在下一个窗口中显示你想安装的功能
选择安装Subversive SVN Team Provider Plugin 和 Subversive Client Libraries下面所有的功能
g) 点Next,eclipse开始安装过程,安装结束后重启eclipse。
4.利用svn方式下载spark代码
a)点击如下Windows::Open Perspective::Other...
b)弹出一个“Open Perspective”对话框,选择“SVN Repository Exploring”,单击OK
c)这是eclipse界面发生变化,在左边的“ SVN Repositories”面板上,右击鼠标
选择New::Repository Location...
d)在“New Repository Location”的位置输入
“http://svn.igniterealtime.org/svn/repos”,单击 “Finish”
e)在 SVN Repositories面板上,会发生变化,展开它,找到spark的选项,右击
spark下面的trunk项,选择“Check Out”,下载spark的代码。
f)下载完成后,选择Window::Open Perspective::Java,在Project Explorer面板上,
看到Spark项目,删掉它,在弹出来的对话框中选择“Do not delete contents”
在工作目录下面找到spark文件夹,里面就是spark的源代码。
注:也可以不要这么麻烦,我在上面提供了一个链接,可以直接下载Spark源代码,上面的步骤都
可以省了.
5.创建Spark项目
1)点击Window::Open Perspective::Java菜单
2)在Project Explorer窗口中,如果有spark这个项目,把它删了,删除时,会问你要不要删除
文件,选择不要.
3)选择File::New::Project...,再选择Java::Java Project,在New Java Project窗口选择
"Create project from existiing source",然后把spark文件所在的文件夹加进去.
4)在"project name"中输入spark,要和文件夹的名字相同.
5)点Finish.
6.生成Spark
1)点击Window::Show View::Ant
2)右击Ant面板,选择Add Buildfiles
3)展开spark::build文件夹,选择build.xml,点击"OK"
4)在Ant面板,展开Spark,双击"release",等一段时间,会提示"Build Successful".
7.Create Project Builder
1)点击Run::Open Debug Dialog...,出现"Run"窗口
2)选择"Java Application",点击"New"按钮.
3)在"Main"标签页,将New_configuration换成Spark或其它的这个无所谓.
4)点击Project::Browse按钮,选择Spark,再点OK.
5)点击Main class::Search按钮,选择main所在的类Startup-org.jivesoftware.launcher,
再点击OK
6)建议勾选Stop in main.
7)点击Classpath标签页,选择User Entries ,使得Advanced..按钮变的可用.点击Advanced
按钮.
8)在弹出来的Advanced Options窗口,选择Add Folders,再点OK,在Folder Selection窗口
选择spark::src::resources 文件夹,点击OK
9)选择Common标签页,勾选Debug,Run前面的框
10)点击Apply,再点击Close
8.Run/Debug
点击Run::Open Run Dialog..,在弹出的对话框选择Spark,然后点Run就行了.
分享到:
相关推荐
spark的源码部署和编译生成,本文适合于有一定JAVA开发基础的同学看,如果你尚不会配置JDK、尚不会myeclipse的基本操作,你应该先学会了这两项之后再来。
基于Openfirer的IM开发在Eclipse下spark源代码部署及编译,
Spark源代码在Eclipse3.5.2中的部署、编译、运行.docSpark源代码在Eclipse3.5.2中的部署、编译、运行.docSpark源代码在Eclipse3.5.2中的部署、编译、运行.doc
Spark源代码在Eclipse中的部署、编译、运行.docSpark源代码在Eclipse中的部署、编译、运行.docSpark源代码在Eclipse中的部署、编译、运行.docSpark源代码在Eclipse中的部署、编译、运行.doc
酷玩 Spark: Spark 源代码解析、Spark 类库等。、。。。
本资源提供了一套基于Scala语言的Apache Spark源代码注释与翻译的设计源码,包含8170个文件。其中包括2245个Questionnaire文件,1297个Scala源代码文件,249个Java源代码文件,154个TXT文档,90个Python脚本文件,56...
spark源代码部署
自己学习并应用Spark一段时间后,由于需要改源代码,就研究了下怎么编译源码,成功编译后,记录下了编译的步骤和遇到的问题,例如编译过程中,下载大量的依赖包,默认从国外下载,非常慢,可能要编译好几个小时,...
spark2.7.7源代码(openfire+saprk)
Spark源码编译 解决工作中避免出现的Bug ...● 创建一个目录克隆spark源代码 mkdir -p /projects/opensource cd /projects/opensource git clone https://github.com/apache/spark.git 详细内容见文档
SPARK源码 供大家学习研究
spark的官方示例源代码,包括wordcount,操作数据库,访问parqurt,json文件等等
spark项目代码以及数据 spark项目代码以及数据 spark项目代码以及数据
1、资源内容:基于Spark的新闻推荐系统,包含爬虫项目、web网站+源代码+文档说明 2、代码特点:内含运行结果,不会运行可私信,参数化编程、参数可方便更改、代码编程思路清晰、注释明细,都经过测试运行成功,功能...
centos7编译spark2.3v2生成安装包,需要hadoop、java8、maven环境
补丁文件包,依赖包,hive3.1.2-spark3.0.0和hive3.1.3-spark3.1.3二进制包已经全部放进该压缩
spark高级数据分析源代码, 主要围绕spark Mllib库进行机器学习方面的介绍
2.Spark编译与部署(下)--Spark编译安装.pdf 2.Spark编译与部署(中)--Hadoop编译安装.pdf 3.Spark编程模型(上)--概念及SparkShell实战.pdf 3.Spark编程模型(下)--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5....
基于spark的心脏病信息大数据分析源代码+数据zip本资源中的源码都是经过本地编译过可运行的,资源项目的难度比较适中,内容都是经过助教老师审定过的能够满足学习、使用需求,如果有需要的话可以放心下载使用。...