Mybatis Map保存到数据库，Mybatis Map动态同步表，Mybatis Map Foreach插入数据库

蕃薯耀

浏览: 1971549 次
性别:
来自: 深圳

最近访客更多访客>>

rbaggio10

彭恩静

jmq2007

oicefireo

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

java
Mybatis
蕃薯耀分享

Mybatis 保存Map Mybatis Map动态同步表 Mybatis Map保存到数据库 Mybatis Map Foreach插入数据库蕃薯耀

Mybatis Map保存到数据库，Mybatis Map动态同步表，Mybatis Map Foreach插入数据库

Mybatis 保存Map<String, Object>

================================

©Copyright 蕃薯耀 2021-01-29

http://fanshuyao.iteye.com/

一、情景描述

后台接口方式同步表数据。

为了让表数据同步自动化，避免后面重复开发，采取通过接收List<Map<String, Object>>对象的方式，将数据保存到相应的表中去。

后台程序代码自动将Map<String, Object>转换成insert语句，将数据保存到数据库中。其中Map<String, Object>的键为字段名，值为字段的内容。

二、相关代码逻辑和配置

1、mybatis mapper.xml配置

${tableName}为$符号

#{item}为#符号，使用#符号，不要使用statementType="STATEMENT"声明

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.xxx.dao.SyncDataDao">

    <!-- 使用#{}点位符时， 不要使用statementType="STATEMENT"声明 -->
    <insert id="saveData" parameterType="map">
        insert into ${tableName}
        <foreach collection="tableColumns" index="index" item="item" open="(" close=")" separator=",">
            ${index} 
        </foreach>
        values
        <foreach collection="tableColumns" index="index" item="item" open="(" close=")" separator=",">
            #{item}
        </foreach>
    </insert>
    
    
    <insert id="deleteAllData" parameterType="string">
        delete from ${tableName}
    </insert>
    
</mapper>

foreach 元素的功能非常强大，它允许你指定一个集合，声明可以在元素体内使用的集合项（item）和索引（index）变量。

它也允许你指定开头与结尾的字符串以及集合项迭代之间的分隔符。

提示：你可以将任何可迭代对象（如 List、Set 等）、Map 对象或者数组对象作为集合参数传递给 foreach。

当使用可迭代对象或者数组时，index 是当前迭代的序号，item 的值是本次迭代获取到的元素。

当使用 Map 对象（或者 Map.Entry 对象的集合）时，index 是键，item 是值。

2、Dao类

import java.util.Map;

import com.baomidou.mybatisplus.core.mapper.BaseMapper;

/**
 * <p>
 * 数据同步的配置表 Mapper 接口
 * </p>
 *
 * @since 2021-01-27
 */
public interface SyncDataDao extends BaseMapper<Object> {

    public void saveData(Map<String, Object> dataMap);
    
    public void deleteAllData(String tableName);
    
}

注：此处saveData方法的参数Map<String, Object> dataMap没有用@Param注解。如果使用了@Param("dataMap")，则Mapper配置文件也要增加

<insert id="saveData" parameterType="map">
        insert into ${dataMap.tableName}
        <foreach collection="dataMap.tableColumns" index="index" item="item" open="(" close=")" separator=",">
            ${index} 
        </foreach>
        values
        <foreach collection="dataMap.tableColumns" index="index" item="item" open="(" close=")" separator=",">
            #{item}
        </foreach>
    </insert>

当不加@Param("dataMap")时，其实默认是：_parameter，但可以忽略。

3、Service类

import java.util.List;
import java.util.Map;

import org.apache.commons.lang3.StringUtils;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;

import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.szpl.cu.biz.st.dao.SyncDataDao;
import com.szpl.cu.biz.st.service.SyncDataService;
import com.szpl.cu.security.exception.RunException;

/**
 * <p>
 * 数据同步的配置表 服务实现类
 * </p>
 *
 * @since 2021-01-27
 */
@Service
public class SyncDataServiceImpl extends ServiceImpl<SyncDataDao, Object> implements SyncDataService {
    
    @Transactional
    @Override
    public void saveData(Map<String, Object> dataMap) {
        this.baseMapper.saveData(dataMap);
    }
    
    @Transactional
    @Override
    public void deleteAllData(String tableName) {
        if(StringUtils.isBlank(tableName)) {
            RunException.run("参数错误");
        }
        this.baseMapper.deleteAllData(tableName);
    }
    
    
    @Transactional
    @Override
    public void saveAllDataByDeleteTable(String tableName, List<Map<String, Object>> datas) {
        //先删除，再新增
        this.deleteAllData(tableName);
        
        for (Map<String, Object> dataMap : datas) {
            this.saveData(dataMap);
        }
    }
    
    
}

4、调用方法（类似Controller）

//远程接口获取的数据
@SuppressWarnings("unchecked")
List<Map<String, Object>> datas = (List<Map<String, Object>>) result.getDatas();

//要保存的数据，通过datas转换
List<Map<String, Object>> newDatas = new ArrayList<Map<String,Object>>(datas.size());

//datas转换
for (Map<String, Object> data : datas) {
    LinkedHashMap<String, Object> dataMap = new LinkedHashMap<String, Object>();
    
    //处理时间类型的字段，因为返回的时间字段被转成字符串，不转换Mybatis识别不了
    Map<String, Object> newData = MapDataFormatUtil.format(data);
    
    //设置保存的表名
    dataMap.put("tableName", syncTableConfig.getTableName());
    //设置保存的字段
    dataMap.put("tableColumns", newData);
    
    newDatas.add(dataMap);
}

//保存同步数据
syncDataService.saveAllDataByDeleteTable(syncTableConfig.getTableName(), newDatas);

tableColumns、tableColumns对应Mapper文件的属性。

MapDataFormatUtil工具类：

import java.util.Map;

import org.apache.commons.lang3.StringUtils;

import com.szpl.cu.util.DateUtils;
import com.szpl.cu.util.RegUtils;

public class MapDataFormatUtil {

    public static Map<String, Object> format(Map<String, Object> dataMap) throws Exception{
        if(dataMap == null || dataMap.size() < 1) {
            return dataMap;
        }
        
        for (Map.Entry<String, Object> entry : dataMap.entrySet()) {
            Object value = entry.getValue();
            if(value instanceof String) {
                String tempValue = (String) entry.getValue();
                if(!StringUtils.isBlank(tempValue) && RegUtils.isDateTime(tempValue)) {
                    dataMap.put(entry.getKey(), DateUtils.parseDateTime(tempValue));
                }
            }
        }
        
        return dataMap;
    }
    
    
}

RegUtils工具类：

import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.commons.lang.StringUtils;

/**
 * 正则表达式工具类
 *
 */
public class RegUtils {
    /**
     * 邮箱
     */
    public static final String EMAIL = "^\\w+((-\\w+)|(\\.\\w+))*\\@[A-Za-z0-9]+((\\.|-)[A-Za-z0-9]+)*\\.[A-Za-z0-9]+$";
    /**
     * 手机号码
     */
    public static final String PHONE = "^(1[3-9]([0-9]{9}))$";
    /**
     * 仅中文
     */
    public static final String CHINESE = "^[\\u4E00-\\u9FA5\\uF900-\\uFA2D]+$";
    /**
     * 整数
     */
    public static final String INTEGER = "^-?[1-9]\\d*$";
    /**
     * 数字
     */
    public static final String NUMBER = "^([+-]?)\\d*\\.?\\d+$";
    /**
     * 正整数
     */
    public static final String INTEGER_POS = "^[1-9]\\d*$";
    /**
     * 浮点数
     */
    public static final String FLOAT = "^([+-]?)\\d*\\.\\d+$";
    /**
     * 正浮点数
     */
    public static final String FLOAT_POS = "^[1-9]\\d*.\\d*|0.\\d*[1-9]\\d*$";
    /**
     * 是否为正整数数字，包括0（00，01非数字）
     */
    public static final String INTEGER_WITH_ZERO_POS = "^(([0-9])|([1-9]([0-9]+)))$";
    /**
     * 是否为整数数字，包括正、负整数，包括0（00，01非数字）
     */
    public static final String NUMBER_WITH_ZERO = "^((-)?(([0-9])|([1-9]([0-9]+))))$";
    /**
     * 是否为数字字符串
     */
    public static final String NUMBER_TEXT = "^([0-9]+)$";
    /**
     * 数字(整数、0、浮点数），可以判断是否金额，也可以是负数
     */
    public static final String NUMBER_ALL = "^((-)?(([0-9])|([1-9][0-9]+))(\\.([0-9]+))?)$";
    /**
     * QQ，5-14位
     */
    public static final String QQ = "^[1-9][0-9]{4,13}$";
    /**
     * IP地址
     */
    public static final String IP = "((?:(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d)\\.){3}(?:25[0-5]|2[0-4]\\d|[01]?\\d?\\d))";
    /**
     * 邮编
     */
    public static final String POST_CODE = "[1-9]\\d{5}(?!\\d)";
    /**
     * 普通日期
     */
    public static final String DATE = "^[1-9]\\d{3}-((0[1-9])|(1[0-2]))-((0[1-9])|([1-2][0-9])|(3[0-1]))$";
    /**
     * 复杂日期，不区分闰年的2月
     * 日期格式：2017-10-19
     * 或2017/10/19
     * 或2017.10.19
     * 或2017年10月19日
     * 最大31天的月份：(((01|03|05|07|08|10|12))-((0[1-9])|([1-2][0-9])|(3[0-1])))
     * 最大30天的月份：(((04|06|11))-((0[1-9])|([1-2][0-9])|(30)))
     * 最大29天的月份：(02-((0[1-9])|([1-2][0-9])))
     */
    public static final String DATE_COMPLEX = "^(([1-2]\\d{3})(-|/|.|年)((((01|03|05|07|08|10|12))(-|/|.|月)((0[1-9])|([1-2][0-9])|(3[0-1])))|(((04|06|11))(-|/|.|月)((0[1-9])|([1-2][0-9])|(30)))|(02-((0[1-9])|([1-2][0-9]))))(日)?)$";
    
    /**
     * 复杂的日期，区分闰年的2月
     * 这个日期校验能区分闰年的2月，格式如下：2017-10-19
     * （见：http://www.jb51.net/article/50905.htm）
     * ^((?!0000)[0-9]{4}-((0[1-9]|1[0-2])-(0[1-9]|1[0-9]|2[0-8])|(0[13-9]|1[0-2])-(29|30)|(0[13578]|1[02])-31)|([0-9]{2}(0[48]|[2468][048]|[13579][26])|(0[48]|[2468][048]|[13579][26])00)-02-29)$
     */
    public static final String DATE_COMPLEX_LEAP_YEAR = "^(?:(?!0000)[0-9]{4}-(?:(?:0[1-9]|1[0-2])-(?:0[1-9]|1[0-9]|2[0-8])|(?:0[13-9]|1[0-2])-(?:29|30)|(?:0[13578]|1[02])-31)|(?:[0-9]{2}(?:0[48]|[2468][048]|[13579][26])|(?:0[48]|[2468][048]|[13579][26])00)-02-29)$";
    
    
    /**
     * 普通日期，带时间
     */
    public static final String DATE_TIME = "^[1-9]\\d{3}-((0[1-9])|(1[0-2]))-((0[1-9])|([1-2][0-9])|(3[0-1])) \\d{2}:\\d{2}:\\d{2}$";
    
    /**
     * 正则表达式校验,符合返回True
     * @param regex 正则表达式
     * @param content 校验的内容
     * @return
     */
    public static boolean isMatch(String regex, CharSequence content){
        return Pattern.matches(regex, content);
    }
    
    
    /**
     * 校验手机号码
     * @param mobile
     * @return
     */
    public static final boolean isMoblie(String mobile){
        boolean flag = false;
        if (null != mobile && !mobile.trim().equals("") && mobile.trim().length() == 11) {
            Pattern pattern = Pattern.compile(PHONE);
            Matcher matcher = pattern.matcher(mobile.trim());
            flag = matcher.matches();
        }
        return flag;
    }
    
    
    /**
     * 校验邮箱
     * @param value
     * @return
     */
    public static final boolean isEmail(String value){
        boolean flag = false;
        if (null != value && !value.trim().equals("")) {
            Pattern pattern = Pattern.compile(EMAIL);
            Matcher matcher = pattern.matcher(value.trim());
            flag = matcher.matches();
        }
        return flag;
    }
    
    
    /**
     * 校验密码
     * @param password
     * @return 长度符合返回true，否则为false
     */
    public static final boolean isPassword(String password){
        boolean flag = false;
        if (null != password && !password.trim().equals("")) {
            password = password.trim();
            if(password.length() >= 6 && password.length() <= 30){
                return true;
            }
        }
        return flag;
    }
    
    
    /**
     * 校验手机验证码
     * @param value
     * @return 符合正则表达式返回true，否则返回false
     */
    public static final boolean isPhoneValidateCode(String value){
        boolean flag = false;
        if (null != value && !value.trim().equals("")) {
            Pattern pattern = Pattern.compile("^8\\d{5}$");
            Matcher matcher = pattern.matcher(value.trim());
            flag = matcher.matches();
        }
        return flag;
    }

    
    /**
     * 判断是否全部大写字母
     * @param str
     * @return
     */
    public static boolean isUpperCase(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        String reg = "^[A-Z]$";
        return isMatch(reg,str);
    }
    
    
    /**
     * 判断是否全部小写字母
     * @param str
     * @return
     */
    public static boolean isLowercase(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        String reg = "^[a-z]$";
        return isMatch(reg,str);
    }
    
    
    /**
     * 是否ip地址
     * @param str
     * @return
     */
    public static boolean isIP(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        return isMatch(IP, str);
    }
    
    /**
     * 符合返回true，区分30、31天和闰年的2月份（最严格的校验），格式为2017-10-19
     * @param str
     * @return
     */
    public static boolean isDate(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        return isMatch(DATE_COMPLEX_LEAP_YEAR, str);
    }
    
    
    /**
     * 简单日期校验，不那么严格
     * @param str
     * @return
     */
    public static boolean isDateSimple(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        return isMatch(DATE, str);
    }
    
    
    /**
     * 区分30、31天，但没有区分闰年的2月份
     * @param str
     * @return
     */
    public static boolean isDateComplex(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        return isMatch(DATE_COMPLEX, str);
    }
    
    /**
     * 简单日期-带时间
     * @param str
     * @return
     */
    public static boolean isDateTime(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        return isMatch(DATE_TIME, str);
    }
    
    
    /**
     * 判断是否为数字字符串，如0011，10101，01
     * @param str
     * @return
     */
    public static boolean isNumberText(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        return isMatch(NUMBER_TEXT, str);
    }
    
    
    /**
     * 判断所有类型的数字，数字(整数、0、浮点数），可以判断是否金额，也可以是负数
     * @param str
     * @return
     */
    public static boolean isNumberAll(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        return isMatch(NUMBER_ALL, str);
    }
    
    
    /**
     * 是否为正整数数字，包括0（00，01非数字）
     * @param str
     * @return
     */
    public static boolean isIntegerWithZeroPos(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        return isMatch(INTEGER_WITH_ZERO_POS, str);
    }
    
    
    /**
     * 是否为整数，包括正、负整数，包括0（00，01非数字）
     * @param str
     * @return
     */
    public static boolean isIntegerWithZero(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        return isMatch(NUMBER_WITH_ZERO, str);
    }
    
    
    /**
     * 符合返回true,QQ，5-14位
     * @param str
     * @return
     */
    public static boolean isQQ(String str){
        if(StringUtils.isEmpty(str)){
            return false;
        }
        return isMatch(QQ, str);
    }
    
    
    public static void main(String[] args) {
        System.out.println(isMoblie("13430800244"));
        System.out.println(isMoblie("17730800244"));
        System.out.println(isMoblie("17630800244"));
        System.out.println(isMoblie("14730800244"));
        System.out.println(isMoblie("18330800244"));
        System.out.println(isMoblie("19330800244"));
        System.out.println(isMoblie("1333000244"));
    }
    

}

三、数据同步，查询数据的逻辑（2021-02-20补充）

设计思想：

通过字典表配置一个数据同步的开关，根据密钥（设置密钥更加安全，多个系统可以设置不同的密钥）查询开关，如果开关存在且允许同步，则下一步，否则返回错误信息
通过字典配置允许同步的表，其中包括表名（大写）、表的查询sql、表的过滤条件、关联的数据同步开关id

　　表名：是为了匹配允许同步的表

　　表的查询sql：如果为空，则取出表的所有字段，这个作为默认方式；如果不为空，则根据sql进行查询，可以自定义返回的字段，也可以多表关联查询，如果sql过长，还可以写成视图

　　表的过滤条件：定义查询的过滤条件，为空，则是全部；不为空，则根据条件查询。

　　关联的数据同步开关id：字典的parent_id设置成关联的数据同步开关id，表示该开关下允许同步的表。根据开关的id和表名，确定该表是否允许同步

校验通过，则查询出数据返回；不通过，则返回错误提示

1、mybatis xml配置文件

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.xxx.biz.common.dao.SyncDataDao">

    <select id="getTable" parameterType="map" resultType="map">
        <if test="tableSelectSql == null">
            SELECT * from ${tableSelectName} 
        </if>
        <if test="tableSelectSql != null">
            ${tableSelectSql}
        </if>
        
        <if test="tableWhereSql != null">
             ${tableWhereSql}
        </if>
    </select>

</mapper>

2、Dao

import java.util.List;
import java.util.Map;

import com.baomidou.mybatisplus.core.mapper.BaseMapper;

public interface SyncDataDao extends BaseMapper<Object> {
    
    public List<Map<String, Object>> getTable(Map<String, Object> paramsMap);
}

3、service

import java.util.HashMap;
import java.util.List;
import java.util.Map;

import javax.servlet.http.HttpServletRequest;

import org.apache.commons.lang3.StringUtils;
import org.apache.log4j.Logger;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;

import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;

@Service
public class SyncDataServiceImpl extends ServiceImpl<SyncDataDao, Object> implements SyncDataService {

    private static Logger log = Logger.getLogger(SyncDataServiceImpl.class);
    
    @Transactional(readOnly = true)
    @Override
    public List<Map<String, Object>> getTable(HttpServletRequest request, Map<String, String> requestMap){
        //校验请求的参数
        String tableName = requestMap.get("tableName");//表名
        String xx = requestMap.get("xx");//密钥
        log.info("tableName = " + tableName);
        log.info("xx = " + xx);
        
        if(StringUtils.isBlank(tableName)) {
            RunException.error("表名参数错误，请确认");
        }
        if(StringUtils.isBlank(xx)) {
            RunException.error("密钥错误，请确认");
        }
        
        
        //先获取字典，判断有没有开启数据同步，密钥可以配置在字典中，将密钥作为查询条件，如果查询不到，证明密钥不正确
        ……//省略部分代码
        if(switch == null) {
            RunException.error("未配置数据同步");
        }

        
        //从字典表获取同步的具体表，将具体的表和上面数据同步开关的id作为具体的parent_id，这样直接能根据parent_id判断系统配置需要同步的表，
        ……//省略部分代码
        //查询到根据parent_id和参数传入的表名进行查询，看表是否在同步的表配置中
        
        //查询到表在同步表配置中，获取表相应的数据，表名tableName一定要从配置表获取，不是参数传进来的表名，避免参数的表名有sql注入（虽然前面根据表名查询，确认表名没问题，但养成良好习惯没什么不好）。
        Map<String, Object> paramsMap = new HashMap<String, Object>();
        paramsMap.put(TABLE_SELECT_NAME, tableName);
        
        if(!StringUtils.isBlank(tableSelectSql)) {
            paramsMap.put(TABLE_SELECT_SQL, tableSelectSql);
        }
        
        if(!StringUtils.isBlank(tableWhereSql)) {
            paramsMap.put(TABLE_WHERE_SQL, tableWhereSql);
        }
        
        return this.baseMapper.getTable(paramsMap);
    }
    
    
}

4、controller

@RestController
@RequestMapping("/api")
public class SyncDataController {

    @Autowired
    private SyncDataService syncDataService;
    
    
    /**
     * 同步数据
     * @param request
     * @param response
     * @param requestMap
     * @return
     * @throws Exception
     */
    @RequestMapping("/syncData")
    public Result syncData(HttpServletRequest request, HttpServletResponse response, 
            @RequestBody Map<String, String> requestMap) throws Exception {
        
        return Result.ok(syncDataService.getTable(request, requestMap));
        
    }
    
    
}

（如果文章对您有所帮助，欢迎捐赠，^_^）

================================

http://fanshuyao.iteye.com/

1
顶

0
踩

分享到：

elasticsearch安装和配置，elasticsearch ... | Java 获取Exception详细信息，Java获取异 ...

2021-01-29 10:30
浏览 636
评论(0)
分类:编程语言
查看更多

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论