其实关于这个问题在Spark的官网www.igniterealtime.org上有很详尽的介绍,因此本文大部分内容是从英文文档引用而来的,其中还有一些个人的经验。
想了解更多关于"Spark"的文章,请点击这里.
- 安装JDK
这个不用说了,注意版本,最少要1.5,推荐使用
- 安装Eclipse3.3
a) 从官网下载Eclipse 3.3 (对Java开发者用的)
b) 假设你把eclipse安装在c:/program files/eclipse,进入这个文件夹,为eclipse.exe创造一个桌面图标,右击这个图标,选择“属性”,打开属性对话框,在“目标”的输入框里,输入如下
"C:\Program Files\Eclipse\eclipse.exe" -vm "C:\Program Files\Java\jdk1.6.0\bin\javaw"
熟悉eclipse的都知道这是为eclipse指定使用哪个Java VM。
-
为eclipse安装Subversive插件(这个是SVN插件)
a)用上面建的图标打开eclipse,下面开始安装Subversive插件,由于我用的是英文版的ecplipse,
下面的菜单我都用英文。
b) 点击Help-->Software Updates-->Find and Install...
c)点击 Search for new features to install ,点 Next
d)点New Remote Site... 按钮
e)在name的输入框里输入 Subversive ,并且在URL输入框里输入
http://www.polarion.org/projects/subversive/download/1.1/update-site
(最新的Subversive地址上 http://www.eclipse.org/subversive 查询)
f)点击Finish ,开始安装Subversive,eclipse将搜索网站,并且在下一个窗口中显示你想安装的功能
选择安装Subversive SVN Team Provider Plugin 和 Subversive Client Libraries下面所有的功能
g)点Next,eclipse开始安装过程,安装结束后重启eclipse。
-
利用svn方式下载spark代码
a)点击如下Windows-->Open Perspective-->Other...
b)弹出一个“Open Perspective”对话框,选择“SVN Repository Exploring”,单击OK
c)这是eclipse界面发生变化,在左边的“ SVN Repositories”面板上,右击鼠标
选择New-->Repository Location...
d)在“New Repository Location”的位置输入
“http://svn.igniterealtime.org/svn/repos”,单击 “Finish”
e)在 SVN Repositories面板上,会发生变化,展开它,找到spark的选项,右击
spark下面的trunk项,选择“Check Out”,下载spark的代码。
f)下载完成后,选择Window::Open Perspective::Java,在Project Explorer面板上,
看到Spark项目,删掉它,在弹出来的对话框中选择“Do not delete contents”
在工作目录下面找到spark文件夹,里面就是spark的源代码。
注:也可以不要这么麻烦,我在上面提供了一个链接,可以直接下载Spark源代码,上面的步骤都
可以省了.
- 创建Spark项目
1)新建一个java Project,这里起名为spark,其它名字也是可以的。
2)将spark源码包下的所有文件(主要包括了build,这个主要用到build.xml这个ant配置文件和lib下的jar包,其它可以删去;documentation,这个与数据库连接有关系,因为我没拷贝它进项目时,就会报数据库连接出错异常,还有它里面有其它什么功能我现在还不清楚;src,这个文件夹主要是存放源文件及源文件使用到的资源文件)拷贝到新建的spark项目中,选择覆盖或不覆盖src都可以。
3) 在项目的properties首选项中的Libraries选项卡中,将刚拷入来的build文件夹下的lib文件夹及子文件夹的.jar包全部加入到项目中。
4) 在Libraries选项卡中,将原来的JRE引用库remove掉,再Add Library加入JKD库,这里这么做主要的原因是在spark项目代码里面使用了sun公司的一些过时的类,只在JDK里找到在JRE里没有。
5) 在Source选项卡中,将原先的设定的src目录(这个项目是spark/src)作为源代码存放目录remove掉,再选择Add Folder将该项目的src下的java及resource目录作为源文件目录,这里会形成spark/src/java及spark/src/resources作为Source选项卡的内容,这里选择了resource的原因:源文件里用到的配置信息都在resource文件夹里,所以也让它加入到Source选项卡里,这里要清楚一点就是在Source选项卡里的就是加入类路径下,即在源代码编译后的文件及配置文件放入到class文件夹里。
- 生成Spark
1)点击Window-->Show View-->Ant
2)右击Ant面板,选择Add Buildfiles
3)展开spark-->build文件夹,选择build.xml,点击"OK"
4)在Ant面板,展开Spark,双击"release",等一段时间,会提示"Build Successful".
-
Create Project Builder
1)点击Run-->Open Debug Dialog...,出现"Run"窗口
2)选择"Java Application",点击"New"按钮.
3)在"Main"标签页,将New_configuration换成Spark或其它的这个无所谓.
4)点击Project-->Browse按钮,选择Spark,再点OK.
5)点击Main class-->Search按钮,选择main所在的类Startup-org.jivesoftware.launcher,
再点击OK
6)建议勾选Stop in main.
7)点击Classpath标签页,选择User Entries ,使得Advanced..按钮变的可用.点击Advanced
按钮.
8)在弹出来的Advanced Options窗口,选择Add Folders,再点OK,在Folder Selection窗口
选择spark-->src-->resources 文件夹,点击OK(这个在properties的Source选项卡里加入了,这里就不用加了,因这它已加入类路径了)
9)选择Common标签页,勾选Debug,Run前面的框
10)点击Apply,再点击Close
-
Run/Debug
点击Run-->Open Run Dialog..,在弹出的对话框选择Spark,然后点Run就行了.
分享到:
相关推荐
自己学习并应用Spark一段时间后,由于需要改源代码,就研究了下怎么编译源码,成功编译后,记录下了编译的步骤和遇到的问题,例如编译过程中,下载大量的依赖包,默认从国外下载,非常慢,可能要编译好几个小时,...
spark的源码部署和编译生成,本文适合于有一定JAVA开发基础的同学看,如果你尚不会配置JDK、尚不会myeclipse的基本操作,你应该先学会了这两项之后再来。
Spark源码编译 解决工作中避免出现的Bug ...● 创建一个目录克隆spark源代码 mkdir -p /projects/opensource cd /projects/opensource git clone https://github.com/apache/spark.git 详细内容见文档
基于Openfirer的IM开发在Eclipse下spark源代码部署及编译,
jdk 1.7以上哦。直接使用eclipse就可以导入了,ant编译之后,就直接可以运行。 具体情况我博客 http://blog.csdn.net/dao2012/article/details/52585152
Spark源代码在Eclipse3.5.2中的部署、编译、运行.docSpark源代码在Eclipse3.5.2中的部署、编译、运行.docSpark源代码在Eclipse3.5.2中的部署、编译、运行.doc
补丁文件包,依赖包,hive3.1.2-spark3.0.0和hive3.1.3-spark3.1.3二进制包已经全部放进该压缩
spark源码下载安装启动,包括遇到的问题,下载地址,.编译spark源码
使用hive3.1.2和spark...所以,如果想要使用高版本的hive和hadoop,我们要重新编译hive,兼容spark3.0.0。除了兼容spark3.0.0外,还将hive3.1.2的guava的版本进行了提升,和hadoop3.x保持一致,以便兼容hadoop3.1.3。
windows环境编译spark2.4.4源码环境要求环境安装源码下载源码编译注意事项后记 环境要求 操作系统环境:Windows 10(Windows7、Windows8亦可) Java版本: jdk1.8 Scala版本:2.11.0 Maven版本:3.5.4 Git版本:版本...
Apache Spark源码剖析,Apache Spark源码剖析,Apache Spark源码剖析
如果你只是想单纯的修改部分类的源码,并不需要网上教程的mvn build等操作。通过我这个教程即可
Spark1.6.1源码包,maven工程导入
Spark源代码在Eclipse中的部署、编译、运行.docSpark源代码在Eclipse中的部署、编译、运行.docSpark源代码在Eclipse中的部署、编译、运行.docSpark源代码在Eclipse中的部署、编译、运行.doc
centos7编译spark2.3v2生成安装包,需要hadoop、java8、maven环境
hbase2.3.5+spark-3.0.3源码编译包
本资源提供了一套基于Scala语言的Apache Spark源代码注释与翻译的设计源码,包含8170个文件。其中包括2245个Questionnaire文件,1297个Scala源代码文件,249个Java源代码文件,154个TXT文档,90个Python脚本文件,56...
酷玩 Spark: Spark 源代码解析、Spark 类库等。、。。。