spark 有四种运行模式:
1)local模式(单机模式)
2)standalone模式(伪分布模式)
3)yarn-client模式(driver运行在客户端,可通过4040端口查看客户端运行状态,client全程参与调度)
4)yarn-cluster模式(driver运行在服务端,需通过yarn-cluster的8088端口查看,client在提交完job之后就可以关闭了)
切换到SPARK_HOME目录
cd /usr/local/spark-2.1.0-bin-hadoop2.7
1. local模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.1.0.jar
2. standalone模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master.hadoop.zjportdns.gov.cn:7077 examples/jars/spark-examples_2.11-2.1.0.jar
3. yarn-client模式
3.4两种需要启动hadoop, 并设置环境变量。
echo -e "export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.3/etc/hadoop" >> /etc/profile
source /etc/profile
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client examples/jars/spark-examples_2.11-2.1.0.jar
访问:http://master.hadoop.zjportdns.gov.cn:4040/jobs
4. yarn-cluster模式
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.1.0.jar
访问:http://master.hadoop.zjportdns.gov.cn:8088/cluster
- 大小: 27.7 KB
- 大小: 40.8 KB
分享到:
相关推荐
大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包 资源列表: hadoop-2.7.4.tar.gz jdk-8u301-linux-x64.tar.gz zookeeper-3.4.10.tar.gz
Python学习笔记--皮大庆,非常适合零基础入门。对应英文版本《How to think like a computer scientist》
学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip 学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip 学习笔记HTML-css-JS.zip学习笔记HTML-css-JS.zip学习笔记...
zookeeper云的学习笔记-云的学习笔记系统-云的学习笔记系统源码-云的学习笔记管理系统-云的学习笔记管理系统java代码-云的学习笔记系统设计与实现-基于ssm的云的学习笔记系统-基于Web的云的学习笔记系统设计与实现-...
《IT学习资料》--Java 大数据学习笔记. 《IT学习资料》--Java 大数据学习笔记. 《IT学习资料》--Java 大数据学习笔记.
《大数据与机器学习-实践方法与行业案例》读书笔记&思维导图,看书时做的笔记,分章节写的,比较全,方便查找。
云计算大数据学习笔记,让你深入学习云计算大数据学习技术。
云的学习笔记-云的学习笔记系统-云的学习笔记系统源码-云的学习笔记管理系统-云的学习笔记管理系统java代码-云的学习笔记系统设计与实现-基于ssm的云的学习笔记系统-基于Web的云的学习笔记系统设计与实现-云的学习...
HotApp云笔记 - 精品开源demo-基于免费API(源代码+截图)HotApp云笔记 - 精品开源demo-基于免费API(源代码+截图)HotApp云笔记 - 精品开源demo-基于免费API(源代码+截图)HotApp云笔记 - 精品开源demo-基于免费API(源...
大数据笔记kafka-jvm.zip
大数据面试题整理,有道云笔记版以及pdf版,有道云笔记直接导入即可查看,认真整理了部分面试题,还有一些参考链接在里面,根据需要再自行查看 6.24更新,增加部分题,增加分类
LaTex教程--latex排版学习笔记---入门提高.pdf