Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。为什么要学习Spark SQL?如果大家了解Hive的话,应该知道它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduce的程序的复杂性,由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生,它是将Spark SQL转换成RDD,然后提交到集群执行,执行效率非常快!同时Spark SQL也支持从Hive中读取数据。
Spark SQL也能自动解析JSON数据集的Schema,读取JSON数据集为DataFrame格式。读取JSON数据集方法为SQLContext.read().json()。该方法将String格式的RDD或JSON文件转换为DataFrame。
需要注意的是,这里的JSON文件不是常规的JSON格式。JSON文件每一行必须包含一个独立的、自满足有效的JSON对象。如果用多行描述一个JSON对象,会导致读取出错。
-
需要用到的测试数据:people.json
{"name":"Michael"} {"name":"Andy", "age":30} {"name":"Justin", "age":19}
-
定义路径
val path ="/root/temp/people.json"
-
读取Json文件,生成DataFrame:
val peopleDF = spark.read.json(path)
-
打印Schema结构信息
peopleDF.printSchema()
-
创建临时视图
peopleDF.createOrReplaceTempView("people")
-
执行查询
spark.sql("SELECT name FROM people WHERE age=19").show
相关推荐
传智播客 赵强老师的Oracle课件 很实用 对于学习很有帮助
想要好好地学习Oracle数据库的朋友呀,你错过了她就太不值得了。里面有好多的Oracle操作命令可能你都没接触过吧。好了,话不多多说。坚信资料不错!你,值得拥有!OK.还有,之所有要你2分打赏,是我给了你这么好的...
教程名称:Oracle 数据库赵强视频教程【3天】教程目录:【】Oracle安装与管理、SQL语句(赵强)【】Orcale存储过程jdbc与Orcale大文本操作等(赵强)【】SQL简单查询触发器视图(赵强) 资源太大,传百度网盘了,链接在...
精通JSP编程 作者赵强 ISBN号7121022893 3-11章节
精通JSP编程 作者赵强 编 12-18节
Oracle中国有限公司高级技术顾问赵强老师大数据Hadoop+Spark精选课程。Hadoop、Spark和Storm,每个人都认为他们正在做一些与这些新的大数据技术相关的事情,但它不需要很长的时间遇到相同的模式。具体的实施可能有所...
二年级数学生活中的大数赵强PPT课件.pptx
[1120][赵强精通JSP编程][37M],提供下载地址,经典的资料,书籍,绝对经典!
资料为2013 10份上课学习整理,对于初学者比较有用
二年级数学生活中的大数赵强PPT学习教案.pptx
信息存储技术的发展赵强.doc
mongodb 安装 及分配配置 以及使用中遇到的情况
day2013-0110-webLogic配置和集群(赵强).zip,视频和文档齐全
LoadRunner性能测试巧匠训练营-完整版(带目录)-赵强邹伟伟无密码,解压就可看
1.1 主要平台首页用户浏览动机比较 1.2 用户浏览微信购物首页的痛点 1.3 不同平台用户痛点比较 1.4 用户在微信购物首页的内容需求 1.1 用户分群
游戏运营手册.pdf,赵强著,游戏运营,策划,游戏运营手册.pdf,赵强著,游戏运营,策划
java代码-46 赖赵强