本节中所用到的内容是来自搜狗实验室,网址为:http://www.sogou.com/labs/dl/q.html
我们使用的是迷你版本的tar.gz格式的文件,其大小为87K,下载后如下所示:
上传到服务器后,解压并查看:
查看Sogou文件内容:
该文件的格式如下所示:
访问时间 \t 用户ID \t 查询词 \t 该URL在返回结果中的排名 \ t用户点击的顺序号 \t 用户点击的URL
把解压后的文件上传到hdfs的data目录下:
查看web控制台:
大功告成,文件上传hdfs成功
接下来 我们使用Spark获得搜索结果排名第一同时点击结果排名也是第一的数据量,也就是第四列值为1同时第五列的值也为1的总共的记录的个数。
先读取SogouQ.mini文件:
count操作后:
count之后有2000条记录
首先过滤出有效的数据:
可以发现该文件中的数据都是有效数据。
下面使用spark获得搜索结果排名第一同时点击结果排名也是第一的数据量:
可以发现搜索结果排名第一同时点击结果排名也是第一的数据量为794条;
使用toDebugString查看一下其lineage:
HadoopRDD->MappedRDD->MappedRDD->FilteredRDD->FilteredRDD->FilteredRDD
下面看用户ID查询次数排行榜:
对sortedSogouQRdd进行collect操作:(不要乱collect 会出现OOM的)
结果:
把结果保存在hdfs上:
hdfs命令行查询:
part-0000:
part-00001:
web控制台查询:
我们通过hadoop命令把上述两个文件的内容合并起来:
查看一下合并后的本地文件:
使用head命令查看其具体内容:
相关推荐
Spark实战高手之路-第5章Spark API编程动手实战(2)
Spark实战高手之路-第5章Spark API编程动手实战(1)
Spark实战高手之路-第5章Spark API编程动手实战(3).
【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(2) 【Spark亚太研究院系列丛书】Spark实战高手之路-...
【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(2) 【Spark亚太研究院系列丛书】Spark实战高手之路-...
Spark实战高手之路-第6章Spark SQL编程动手实战(1)
【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(2) 【Spark亚太研究院系列丛书】Spark实战高手之路-...
【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第5章Spark API编程动手实战(2) 【Spark亚太研究院系列丛书】Spark实战高手之路-...
Spark 入门实战系列,适合初学者,文档包括十部分内容,质量很好,为了感谢文档作者,也为了帮助更多的人入门,传播作者的心血,特此友情转贴: 1.Spark及其生态圈简介.pdf 2.Spark编译与部署(上)--基础环境搭建....
通过一个完整的具有代表性的Spark项目来贯穿Spark的方方面面,包括项目的架构设计,用的的技术剖析、开发实现、运维等等。
3.Spark编程模型(上)--概念及SparkShell实战.pdf 3.Spark编程模型(下)--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介...
Spark安装包:spark-3.1.3-bin-without-hadoop.tgz
-基础环境搭建.pdf2.Spark编译与部署(下)--Spark编译安装.pdf2.Spark编译与部署(中)--Hadoop编译安装.pdf3.Spark编程模型(上)--概念及SparkShell实战.pdf3.Spark编程模型(下)--IDEA搭建及实战.pdf4.Spark...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
在Ubuntu里安装spark,spark-2.1.0-bin-without-hadoop该版本直接下载到本地后解压即可使用。 Apache Spark 是一种用于大数据工作负载的分布式开源处理系统。它使用内存中缓存和优化的查询执行方式,可针对任何规模...
Apache Spark版本3.1.3。Linux安装包。spark-3.1.3-bin-hadoop3.2.tgz
3.Spark编程模型(上)--概念及SparkShell实战.pdf 3.Spark编程模型(下)--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介...
3.Spark编程模型(上)--概念及SparkShell实战.pdf 3.Spark编程模型(下)--IDEA搭建及实战.pdf 4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介...
本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载,本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载
spark-3.2.0-bin-hadoop3.2.tgz