linux spark 安装
0.准备工作 hadoop 服务器
10.156.50.35 yanfabu2-35.base.app.dev.yf zk1 hadoop1 master1 master sparkmaster 10.156.50.36 yanfabu2-36.base.app.dev.yf zk2 hadoop2 master2 sparkwork1 10.156.50.37 yanfabu2-37.base.app.dev.yf zk3 hadoop3 slaver1 sparkwork2
1.安裝 scala
wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz scp -r scala-2.11.7.tgz zkkafka@10.156.50.36:/home/zkkafka/ scp -r scala-2.11.7.tgz zkkafka@10.156.50.37:/home/zkkafka/ tar -zxvf scala-2.11.7.tgz mv scala-2.11.7 scala vim ~/.bash_profile export SCALA_HOME=/home/zkkafka/scala export PATH=$PATH:$SCALA_HOME/bin source ~/.bash_profile
2.scala 測試
scala -version [zkkafka@yanfabu2-37 ~]$ scala -version Scala code runner version 2.11.7 -- Copyright 2002-2013, LAMP/EPFL
3.安裝 spark
wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.3/spark-2.3.3-bin-hadoop2.6.tgz tar xf spark-2.3.3-bin-hadoop2.6.tgz scp -r spark-2.3.3-bin-hadoop2.6.tgz zkkafka@10.156.50.37:/home/zkkafka/ rm -rf spark-2.3.3-bin-hadoop2.6.tgz mv spark-2.3.3-bin-hadoop2.6 spark vim ~/.bash_profile export SPARK_HOME=/home/zkkafka/spark export PATH=$PATH:$SPARK_HOME/bin source ~/.bash_profile scp -r ~/.bash_profile zkkafka@10.156.50.37:/home/zkkafka/
PATH=$PATH:$HOME/.local/bin:$HOME/bin export PATH export LANG="zh_CN.utf8" export JAVA_HOME=/home/zkkafka/jdk1.8.0_151 export ZOOKEEPER_HOME=/home/zkkafka/zookeeper-3.4.6 export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar: export PATH=$JAVA_HOME/bin:$PATH export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf export KAFKA_HOME=/home/zkkafka/kafka_2.11-2.1.1 export PATH=$KAFKA_HOME/bin:$PATH export HADOOP_HOME=/home/zkkafka/hadoop export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH export HBASE_HOME=/home/zkkafka/hbase export PATH=$HBASE_HOME/bin:$PATH export HIVE_HOME=/home/zkkafka/hive export PATH=$HIVE_HOME/bin:$PATH export HIVE_CONF_DIR=$HIVE_HOME/conf export SQOOP_HOME=/home/zkkafka/sqoop export PATH=$PATH:$SQOOP_HOME/bin #export SQOOP_HOME=/home/zkkafka/sqoop2 #export PATH=$PATH:$SQOOP_HOME/bin #export SQOOP_SERVER_EXTRA_LIB=$SQOOP_HOME/extra #export CATALINA_BASE=$SQOOP_HOME/server #export LOGDIR=$SQOOP_HOME/logs/ export PIG_HOME=/home/zkkafka/pig export PATH=$PATH:$PIG_HOME/bin export SCALA_HOME=/home/zkkafka/scala export PATH=$PATH:$SCALA_HOME/bin export SPARK_HOME=/home/zkkafka/spark export PATH=$PATH:$SPARK_HOME/bin
4.修改配置文件
cp conf/spark-env.sh.template conf/spark-env.sh vim conf/spark-env.sh export JAVA_HOME=/home/zkkafka/jdk1.8.0_151 export SCALA_HOME=/home/zkkafka/scala export HADOOP_HOME=/home/zkkafka/hadoop export HADOOP_CONF_DIR=/home/zkkafka/hadoop/etc/hadoop export SPARK_MASTER_IP=sparkmaster export SPARK_WORKER_MEMORY=1g export SPARK_WORKER_CORES=2 export SPARK_WORKER_INSTANCES=1 vim conf/slaves sparkwork1 sparkwork2
5.启动
sbin/start-all.sh 2>&1 >> /dev/null &
[zkkafka@yanfabu2-35 spark]$ jps 6880 JournalNode 95745 Master 59330 QuorumPeerMain 95815 Jps 56377 Kafka 7818 JobHistoryServer 7515 ResourceManager 7084 NameNode 7405 DFSZKFailoverController [zkkafka@yanfabu2-36 spark]$ jps 127409 NameNode 127123 JournalNode 54724 Jps 37365 QuorumPeerMain 54665 Worker 34571 Kafka 127293 DFSZKFailoverController [zkkafka@yanfabu2-37 ~]$ jps 28384 Worker 28433 Jps 129444 DataNode 42955 QuorumPeerMain 129370 JournalNode 40189 Kafka 129580 NodeManager
6. 访问 web-ui
http://10.156.50.35:8080/
捐助开发者
在兴趣的驱动下,写一个免费
的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(支持支付宝和微信 以及扣扣群),没钱捧个人场,谢谢各位。
个人主页:http://knight-black-bob.iteye.com/
谢谢您的赞助,我会做的更好!
相关推荐
spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包spark Linux 版本安装包...
Linux安装Spark集群 Spark可以在只安装了JDK、scala的机器上直接单机安装,但是这样的话只能使用单机模式运行不涉及分布式运算和分布式存储的代码,例如可以单机安装Spark,单机运行计算圆周率的Spark程序。...
基于Linux环境安装spark的全套安装资源包
Spark开发环境搭建.pdf
Spark环境搭建-Linux
需要自己先安装jdk和Hadoop,也可以去这里https://download.csdn.net/download/weixin_44033210/12657718,https://download.csdn.net/download/weixin_44033210/12657738,这里有自动安装jdk和Hadoop的脚本
spark-2.4.0-bin-hadoop2.6.tgz-----------------------------------------------linux spark安装
最近要开发智能推荐引擎,后期系统需要搭载在Spark集群上,前期要开发相关脚本,需要一个测试环境,所以向公司申请了一台主机,平台是Linux,操作系统CentOS,背景交代完毕,现在需要在单机Linux主机上部署Spark。...
记录我的学习之旅,每份文档倾心倾力,带我成我大牛,回头观望满脸笑意,望大家多多给予意见,有问题或错误,请联系 我将及时改正;借鉴文章标明出处,谢谢
本文档详细说明了在Linux环境下,hadoop与spark安装与配置的每一个步骤。
spark1.3Hadoop2.4的Linux下的安装包。Linux下安装可用
1、实验环境: ...(1) 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”,然后统计出文件的行数; 图3 spark统计行数 (2) 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”
附件是Linux环境下安装和使用 Spark教程,文件绿色安全,请大家放心下载,仅供交流学习使用,无任何商业目的!
2.1.1 在Linux集群上安装与配置Spark 2.1.2 在Windows上安装与配置Spark 2.2 Spark集群初试 2.3 本章小结 第3章 Spark计算模型 3.1 Spark程序模型 3.2 弹性分布式数据集 3.2.1 RDD简介 3.2.2 RDD与分布式共享内存的...
spark的安装包,Linux下使用,需要欢迎下载,spark-2.3.3-bin-hadoop2.7
Spark入门文档,来源于Linux公社
spark实验1:linux系统的安装和常用命令
文件名: spark-3.4.1-bin-hadoop3.tgz 这是 Apache Spark 3.4.1 版本的二进制文件,专为与 Hadoop 3 配合使用而设计。Spark 是一种快速、通用的集群计算系统,用于大规模数据处理。这个文件包含了所有必要的组件,...