1. IDE支持Maven,建立一个最简单的Maven-quickstart类型的artifact.
2.编辑pom.xml,添加spark支持。
<dependency> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-resources-plugin</artifactId> <version>2.4.3</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.1.0</version> </dependency>
3.右击project maven-clean, maven-install.
4.添加一个Spark的分词代码
package MavenDemo.SparkDemoSrc; /** * Hello world! * */ /** 4 * User: hadoop 5 * Date: 2014/10/10 0010 6 * Time: 19:26 7 */ import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.FlatMapFunction; import org.apache.spark.api.java.function.Function2; import org.apache.spark.api.java.function.PairFunction; import scala.Tuple2; import java.util.Arrays; import java.util.List; import java.util.regex.Pattern; public final class App { private static final Pattern SPACE = Pattern.compile(" "); public static void main(String[] args) throws Exception { if (args.length < 1) { System.err.println("Usage: JavaWordCount <file>"); System.exit(1); } SparkConf sparkConf = new SparkConf().setAppName("JavaWordCount"); JavaSparkContext ctx = new JavaSparkContext(sparkConf); JavaRDD<String> lines = ctx.textFile(args[0], 1); JavaRDD<String> words = lines .flatMap(new FlatMapFunction<String, String>() { public Iterable<String> call(String s) { return Arrays.asList(SPACE.split(s)); } }); JavaPairRDD<String, Integer> ones = words .mapToPair(new PairFunction<String, String, Integer>() { public Tuple2<String, Integer> call(String s) { return new Tuple2<String, Integer>(s, 1); } }); JavaPairRDD<String, Integer> counts = ones .reduceByKey(new Function2<Integer, Integer, Integer>() { public Integer call(Integer i1, Integer i2) { return i1 + i2; } }); List<Tuple2<String, Integer>> output = counts.collect(); for (Tuple2<?, ?> tuple : output) { System.out.println(tuple._1() + ": " + tuple._2()); } ctx.stop(); } }
4. 用的是local模式运行main
5.
下载spark-1.6.0-bin-hadoop2.6,配置SPARK_HOME.
6.注意这个配置是专门为Windows服务的。
下载windows下hadoop工具包(分为32位和64位的),在本地新建一个hadoop目录,必须有 bin目录例如:D:\spark\hadoop-2.6.0\bin
然后将winutil等文件放在bin目录下
地址:https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin
配置HADOOP_HOME
7.运行main访问,可以看到分词结果
相关推荐
IDEA 搭建Spark环境时所需的依赖包配置,可以导入spark基本操作依赖包、机器学习依赖包等等。
基于Win7环境,IntelliJ IDEA 搭建Spark开发环境。
Apache Spark 大数据处理通用引擎,提供了分布式的内存抽象,其最大的特点就是快,比 Hadoop MapReduce 的处理速度快 100 倍,且提供了简单易用的 API,几行代码就能实现 WordCount。
spark学习 spark开发环境搭建spark学习 spark开发环境搭建spark学习 spark开发环境搭建spark学习 spark开发环境搭建
Spark入门文档,来源于Linux公社
Spark环境搭建-Linux
Eclipse搭建的spark开发环境,微云可下!Eclipse搭建的spark开发环境,微云可下!
Spark集群及开发环境搭建,适合初学者,一步一步并配有截图。 目录 一、 软件及下载 2 二、 集群环境信息 2 三、 机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、 基础环境搭建(hadoop用户下)...
spark环境搭建
Spark环境搭建-Windows
spark搭建手册
Ubuntu 16.04下JDK+Hadoop+Spark环境搭建 Ubuntu 16.04下JDK+Hadoop+Spark环境搭建
Spark纯净版安装包是一个用于安装Apache Spark的软件包,该软件包提供了Spark的基本功能...使用Spark纯净版安装包可以让用户更快速地搭建Spark环境,并且可以根据需要进行定制和扩展,是一种简便有效的安装Spark的方式
linux端的hadoop和spark环境搭建: Linux环境设置 1设置固定IP(静态) 2新增oracle用户 3设置oracle用户拥有root用户的命令 4设置网络映射 5关闭防火墙 vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0...
Apache Spark开发环境搭建
大数据环境搭建——>Spark安装配置
这是一个大数据主流平台SPARK搭建的完美教程,特别适合零基础者。
通过使用 Docker,可以快速的在本地搭建一套 Spark 环境,方便大家开发 Spark 应用,或者扩展到...下面这篇文章主要给大家介绍了使用docker快速搭建Spark集群的方法教程,需要的朋友可以参考借鉴,下面来一起看看吧。
四、 基础环境搭建(hadoop用户下) 7 1. 机器名HostName 7 2. 关闭防火墙 7 3. 系统更新及常用工具安装 8 4. IP配置 8 5. JDK安装 9 五、 Hadoop安装及配置 10 1. 安装 10 2. 配置 10 六、 机器集群搭建 ...