spark 日常

1、向spark集群上传大批数据，出现这样的错

GC overhead limit exceeded 和Java heap space

修改好多配置文件，最后发现是m1机的内存不够，最后要合并数据m1上的jdk负担不了，所以报错。之后换s1成功·

 

2、group by 后面不用where 用having，我好像搞错了spark sql 的where和groupby方法的意思，那些好像是操作RDD的 所以之前的spark sql总报错。

 

3、Scala这个语言好像是有点傻的=。= 之前没有写else····报错

def gender(SFZH:String):String = {
if (SFZH.size == 18){
SFZH.substring(16, 17).toInt % 2
}else
SFZH.size.toString
}

4，