【Spark109】Windows上运行spark-shell

如何在Windows上运行spark-shell

 

1. 下载winutils.exe，加入放置到d:/software/Hadoop/bin/winutils.exe目录下，注意，winutils.exe文件的上级目录一定是bin

2. 开启一个windows命令行窗口，在d:/software/Hadoop/bin目录下执行winutils.exe chmod 777 D:\tmp\hive

3. 打开一个windows命令行窗口，cd到解压的Spark的目录下，比如d:/software/spark-1.6.2/bin/执行如下命令

set HADOOP_HOME=d:/software/Hadoop

 

然后执行spark-shell，此时spark-shell正常启动，进入scala>命令行

 

在scala>提示符下输入

 sc.parallelize(List(1,2,3)).reduce(_+_)

 

 会提交spark任务，得到结果6