1.安装规划
见 【大数据(一)-----HADOOP安装】
2.scala安装
- 在10.112.171.47机器上安装scala,安装目录为/usr/scala/scala-2.11.8
- 配置环境变量
vi /etc/profile #在文件中添加如下脚本 export SCALA_HOME=/usr/scala/scala-2.11.8 #在PATH中加入如下脚本 $SPARK_HOME/bin #保存后刷新配置 source /etc/profile
- 将scala拷贝到其他机器的同级目录下,并设置一样的环境变量
3.spark安装
- 在10.112.171.47机器上安装spark,安装目录为 /home/hadoop/spark-2.0.1-bin-hadoop2.7
- 配置环境变量
#配置环境变量 vi /etc/profile #在文件中加入如下脚本 export SPARK_HOME=/home/hadoop/spark-2.0.1-bin-hadoop2.7 #在PATH中加入如下脚本 $SPARK_HOME/bin #保存后刷新配置 source /etc/profile
- 设置spark主节点
cd /home/hadoop/spark-2.0.1-bin-hadoop2.7/conf vi spark-env.sh #在文件中添加主控节点配置 export JAVA_HOME=/usr/java/jdk1.7.0_45 export SPARK_WORKER_MEMORY=2g export SPARK_MASTER_IP=10.112.171.47 export MASTER=spark://10.112.171.47:7077 HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.2/etc/hadoop
- 配置slave节点
vi slaves #在文件中添加如下IP配置 10.112.171.48 10.112.171.49 10.112.171.50 10.112.171.51
- 将spark拷贝到其他机器的同级目录下,并设置一样的环境变量
4.spark启动
- 在10.112.171.47主节点上启动spark
cd /home/hadoop/spark-2.0.1-bin-hadoop2.7/sbin ./start-all.sh
- 启动spark-shell运行任务
cd /home/hadoop/spark-2.0.1-bin-hadoop2.7/bin ./spark-shell
- 启动成功后,可以在http://10.112.171.47:4040查看任务状态
相关推荐
大数据-- Apache Spark Semi-Structured data
大数据--Apache Spark 入门知识
大数据--Apache Spark实用详解
大数据--Apache Spark编程详解
大数据组件-监控-spark-driver/executor性能的prometheus-grafana模板插件
Spark MLlib(正确答案) B.MLS(机器学习服务)(正确答案) C.IBM SPSS Modeler(正确答案) D.Oracle Data Mining(正确答案) 3.以下哪些属于Python运算符? * A.算数运算符(正确答案) B.推理运算符 C.逻辑运算符(正确答案...
对于大数据Spark-Core的实战案例数据集,全面性和具体性可能因不同的应用场景、业务需求和数据源而异。然而,我可以为你提供一个概述和一些常见的实战案例数据集的示例,以帮助你理解其可能的应用范围。 Spark-Core...
完整版大数据课件集合12-大数据导论-第十二章-Spark(共22页).rar
大数据-spark-分析可视化自动推荐系统,用于学习大数据,有一系列的流程分析以及实现代码,最新的jar版本
大数据 spark
云帆大数据hadoop-1.2.1-PPT-02 Hadoop 1.x介绍、本地(单机)模式和伪分布式安装与测试
大数据全套视频教程。linux,hadoop,spark,storm,hive,flume,oozie,,hbase,zookeeper,mysql,mongodb,redis,多个项目实践等等,应有尽有。
【课程简介】 本课程适合所有需要学习大数据技术知识的同学,课件内容制作精细,由浅入深,适合入门或进行知识回顾。 【全部课程列表】 1-大数据导论-第一章-大数据概述...12-大数据导论-第十二章-Spark(共22页).ppt
针对大数据K-近邻(K-nearest neighbors,K-NN)...与基于MapReduce的K-NN和基于Spark的K-NN在运行时间和测试精度两方面进行试验比较。试验结果显示,在保持分类能力的前提下,提出的算法的运行时间远远低于其他两种方法。
12.1 Spark概述 12.2 Spark生态系统 12.3 Spark运行架构 12.3 Spark SQL 12.3 Spark的部署和应用方式
大数据最新spark-pdf链接大数据最新spark-pdf链接大数据最新spark-pdf链接
46488-Spark大数据技术与应用(1-3)46488-Spark大数据技术与应用(1-3)46488-Spark大数据技术与应用(1-3)46488-Spark大数据技术与应用(1-3)
spark大数据大型电商项目-spark-shopAnalyze
》数据存取-》数据挖掘与分析-》数据展示与应用 大数据技术生态 数据采集 数据存储 SQL 引擎 离线计算 流式计算 多维分析 数据挖掘 Sqoop Flume HDFS Hbase PGXZ MongoDB Spark SQL HAWQ Hive Impala MR Spark Storm...