hive增量对比后将增量数据插入原表

 

 

 

 

 

工作中，有个业务，需要将这个表每个月增加和修改的记录不断追加到这个表内：

 

 

sql如下：

f_courtannoucement_party:  法院公告

 

fct_pdffilename: pdf文件名称

fct_name: 公告名称

 

insert overwrite table f_courtannoucement_party

select * from f_courtannoucement_party_add_modify  union all

select a.* from  f_courtannoucement_party left out join f_courtannoucement_party_add_modify b

on

1=1  and  a.fct_pdffilename=b.fct_pdffilename and  a.fct_name=b.fct_name

where 1=1  and  b.fct_pdffilename is null  and  b.fct_name is null;

 

这里以

fct_pdffilename: pdf文件名称

fct_name: 公告名称

作为核准原表和增量表(增加和修改的记录)中审核的标准，以下图为例 下图用 stu1原表  stu2增量表模拟上面业务：

 

 

 

 

 

 

 

 

 

以业务主键为关联条件，案例如下：

 

 

 

 

得到原表中没有 修改和新增的记录(即没有变更的记录)：

 

 

然后这个数据在和 增量表 stu2 union all 后在 insert overwrite  table1  得到需要的结果：

 

insert overwrite table stu1 select * from stu2 union all select a.* from stu1 left join stu2 b on 1=1 and a.id=b.id where b.id is null;

 

 

 

 

总结写法规律：

 

insert overwrite  table 原表

    select * from 增量表  union all

    select  a.* from 原表 a  left join 增量表 b on 1=1 and a.业务不会变化的字段=b.业务不会变化的字段 where b.业务不会变化的字段 is null;