【Spark十六】： Spark SQL第二部分数据源和注册表的几种方式

Spark SQL数据源和表的Schema

• case class

• apply schema

• parquet

• json

JSON数据源

准备源数据

{"name":"Jack", "age": 12, "addr":{"city":"beijing",  "zipcode":"111"}}
{"name":"Todd", "age": 22, "addr":{"city":"shandong", "zipcode":"222"}}
{"name":"Ted", "age": 32, "addr":{"city":"hebei",     "zipcode":"333"}}

 

 

这是一个嵌套的person信息，每一行是一个完整的JSON数据串，Spark SQL在解析的时候，也是按照行进行读

在Spark Shell上执行如下操作，即可得到结果Jack和Ted。

 

 

///创建SQL对象，传入当前的SparkContext
scala> val sqlContext= new org.apache.spark.sql.SQLContext(sc) 

///从本地磁盘加载json数据，从本地磁盘读取必须显式的执行URL　Scheme;不指定则默认使用hdfs
scala> val jsonpeople = sqlContext.jsonFile("file:///home/hadoop/software/spark-1.2.0-bin-hadoop2.4/examples/src/main/resources/people2.json")

///注册临时表，所谓临时是指该表是跟当前的SQLContext绑定的，其它的Context看不到这个表
///表共享如何做？
scala> jsonpeople.registerTempTable("jsonTable")

///查询操作
scala> sqlContext.sql("SELECT name FROM jsonTable WHERE addr.zipcode = 111 or age >= 30").map(t => "Name: " + t(0)).collect().foreach(println) 

 

 

可见，在Spark SQL操作JSON时，不需要因为RDD的隐式转换，因为这里没有RDD的隐式转换操作

 

val sqlContext= new org.apache.spark.sql.SQLContext(sc) 

 

 

 

未完待续