下面讲一下linux上安装spark,以 Standalone Mode 安装
1)首先安装JDK
下载JDK:jdk-7u79-linux-x64.tar.gz ,版本是1.7以上都行,解压 tar -zxvf jdk-7u79-linux-x64.tar.gz
然后配置 ~/.bashrc
增加
export JAVA_HOME=/cdh/jdk1.7.0_79
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH
source .bashrc
验证: java -version能正常运行则说明安装成功
2)安装scala
请看: http://daizj.iteye.com/blog/2227128
3) 安装spark
1)首先从网 http://spark.apache.org/downloads.html 上下载需要的版本,目前下载的是spark-1.4.0-bin-cdh4.tgz
(2)将spark-1.4.0-bin-cdh4.tgz移到根目录,并解压
tar -zxvf spark-1.4.0-bin-cdh4.tgz
(3)配置环境变量
SPARK_HOME=/spark-1.4.0-bin-cdh4
path=$path:$SPARK_HOME/bin
(4)修改配置文件
1)cd /spark-1.4.0-bin-cdh4/conf
2)mv spark-env.sh.template spark-env.sh
3)vi spark-env.sh
添加以下内容:
export SCALA_HOME=/scala-2.11.6
export JAVA_HOME=/cdh/jdk1.7.0_79
export SPARK_MASTER_IP=192.168.212.15
export SPARK_WORKER_MEMORY=1024m
export master=spark://192.168.212.15:7070
4)修改slaves文件
mv slaves.template slaves
vi slaves
添加一下内容:
slave1
slave2
(5) 将/spark-1.4.0-bin-cdh4目录复制到work节点
(6)启动spark
pwd
/spark-1.4.0-bin-cdh4/sbin
执行 ./start-all.sh 命令。
注意,hadoop也有start-all.sh脚本,因此必须进入具体目录执行脚本,启动界面如下:
(7)验证
1)在master节点上执行jps
30859 Jps
30172 Master
2)在slaves节点上执行jps
30302 Worker
30859 Jps
(7)验证安装情况
1)运行自带示例
启动spark sql
进入spark_home/bin/ 运行 ./spark-sql
2)查看集群环境
http://master:8080/
3)进入spark-shell
$spark-shell
4)查看jobs等信息
http://master:4040/jobs/
相关推荐
Spark生态和安装部署Spark生态和安装部署Spark生态和安装部署Spark生态和安装部署Spark生态和安装部署
Linux安装Spark集群 Spark可以在只安装了JDK、scala的机器上直接单机安装,但是这样的话只能使用单机模式运行不涉及分布式运算和分布式存储的代码,例如可以单机安装Spark,单机运行计算圆周率的Spark程序。...
spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包...
spark安装部署手册
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上,关闭HDFS的安全模式: 3. 在 master 节点上
基于Linux环境安装spark的全套安装资源包
1. 解压Spark安装包 2. 配置Spark环境变量 2. 修改 spark-env.sh 文件,完成以下设置: 1. 设置运行master进程的节点, e
Spark支持独立部署模式,包括一个Spark master进程和多个 Spark worker进程.独立部署模式可以运行在单机上作为测试之用,也可以部署在集群上.如果你打算部署在集群上,可以使用我们提供的部署脚本启动一个集群。
需要自己先安装jdk和Hadoop,也可以去这里https://download.csdn.net/download/weixin_44033210/12657718,https://download.csdn.net/download/weixin_44033210/12657738,这里有自动安装jdk和Hadoop的脚本
自动化部署,spark分布式集群,全过程只需要输入密码即可,部署spark是分分钟的事。参考文章:http://blog.csdn.net/wangqi880/article/details/52875524
本资源从简介到开发,详细讲解了spark集群构建和初步开发,适合初学spark的或者学习了hadoop的,希望对大家有帮助。^_^
部署Spark集群,分析TiDB以及Hadoop的大数据,入门而已
最近要开发智能推荐引擎,后期系统需要搭载在Spark集群上,前期要开发相关脚本,需要一个测试环境,所以向公司申请了一台主机,平台是Linux,操作系统CentOS,背景交代完毕,现在需要在单机Linux主机上部署Spark。...
全程复制粘贴即可
1.Spark及其生态圈简介.pdf 2.Spark编译与部署(上)--基础环境搭建.pdf 2.Spark编译与部署(下)--Spark编译安装.pdf 2.Spark编译与部署(中)--Hadoop编译安装.pdf...10.分布式内存文件系统Tachyon介绍及安装部署.pdf
Spark开发环境搭建.pdf
按照自己部署OpenFire和Spark并制作的图解教程
单独搭建spark2.0,和spark1.3共存,适用于新老spark版本共存的情况
spark安装部署.doc