spark,又一个传说中的分布式实现,详情:http://spark-project.org/,
安装这里就不写了,因为网上已有中文介绍,这里主要是介绍一下入门,和hadoop一样,学习的时候,首先学习spark提供的字符统计例子:javaWordCount
原始代码如下:
import scala.Tuple2; import spark.api.java.JavaPairRDD; import spark.api.java.JavaRDD; import spark.api.java.JavaSparkContext; import spark.api.java.function.FlatMapFunction; import spark.api.java.function.Function2; import spark.api.java.function.PairFunction; import java.util.Arrays; import java.util.List; public class JavaWordCount { public static void main(String[] args) throws Exception { if (args.length < 2) { System.err.println("Usage: JavaWordCount <master> <file>"); System.exit(1); } JavaSparkContext ctx = new JavaSparkContext(args[0], "JavaWordCount", System.getenv("SPARK_HOME"), System.getenv("SPARK_EXAMPLES_JAR")); JavaRDD<String> lines = ctx.textFile(args[1], 1); JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() { public Iterable<String> call(String s) { return Arrays.asList(s.split(" ")); } }); JavaPairRDD<String, Integer> ones = words.map(new PairFunction<String, String, Integer>() { public Tuple2<String, Integer> call(String s) { return new Tuple2<String, Integer>(s, 1); } }); JavaPairRDD<String, Integer> counts = ones.reduceByKey(new Function2<Integer, Integer, Integer>() { public Integer call(Integer i1, Integer i2) { return i1 + i2; } }); List<Tuple2<String, Integer>> output = counts.collect(); for (Tuple2 tuple : output) { System.out.println(tuple._1 + ": " + tuple._2); } System.exit(0); } }
运行: ./run spark/examples/JavaWordCount local input.txt
local:不解析,自己查
input.txt:文件类容
Hello World Bye World goole
运行的结果和haddoop中运行的JavaWordCount 一样
goole: 1 World: 2 Hello: 1 Bye: 1
相关推荐
spark学习总结-入门
Spark是一个高效的分布式计算系统,发源...Spark立足于内存计算,相比Hadoop MapReduce,Spark在性能上要高100倍,而且Spark提供了比Hadoop更上层的API,同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。
spark学习文档spark学习文档spark学习文档spark学习文档spark学习文档spark学习文档
本源码项目是基于Scala的Spark学习仓库设计,包含282个文件,主要使用Scala编程语言。该项目是一个Spark学习仓库,旨在帮助开发者学习和实践Spark技术。系统提供了丰富的学习资源,包括Spark的示例代码、文档和教程...
Spark学习笔记 Spark学习笔记 Spark学习笔记
Spark学习笔记 Spark学习笔记 Spark学习笔记 Spark学习笔记
spark学习计划,关于spark的具体学习计划
本项目是基于Scala和Java开发的Spark学习项目设计源码,主要使用Scala进行开发。项目共包含576个文件,其中Scala源代码文件scala 533个,Java源代码文件java 21个,XML配置文件xml 10个,Properties配置文件...
spark学习笔记,包含spark SQL 在spark-shell的操作笔记
本设计源码提供了一个基于Scala的Spark学习项目。项目包含95个文件,主要使用Scala和Java编程语言。文件类型包括80个Scala源代码文件、4个XML配置文件、3个TXT文档、2个Markdown文档、2个Java源代码文件、1个GIT忽略...
包括:《Spark大数据处理:技术、应用与性能优 》 《Spark大数据处理技术》 《Spark高级数据分析》 《Spark快速数据处理_中文版》 《大数据Spark企业级实战》 《Spark 编程指南》 方便大家共同学习
spark学习资料,包括scala和python版本啊啊啊啊啊啊啊
本项目是基于Scala语言开发的Apache Spark学习与实践源码,共包含53个文件。其中,Scala源代码文件21个,文本文件7个,XML文件5个,Markdown文档5个,JSON配置文件3个,Avro Schema文件2个,CSV数据文件2个,...
spark学习 Spark: Cluster Computing withWorking Sets Matei
Spark学习思维脑图概括,包括SparkCore、SparkSQL、SparkStreaming的详细学习知识点。
Spark学习全套技术
大数据Spark学习资料
spark学习资料大全,文档,代码,ppt 从入门到精通,资料大全 spark2.0 spark源代码 Spark源码解读迷你书 深入理解Spark:核心思想与源码分析 Spark MLlib机器学习:算法、源码及实战详解试读