快捷導(dǎo)航

MySql批量插入時(shí)如何不重復(fù)插入數(shù)據(jù)

更新時(shí)間：2021年06月22日 10:23:26 作者：DT辰白

Mysql插入不重復(fù)的數(shù)據(jù)，當(dāng)大數(shù)據(jù)量的數(shù)據(jù)需要插入值時(shí)，要判斷插入是否重復(fù)，然后再插入，那么如何提高效率，本文就詳細(xì)的介紹一下，感興趣的可以了解一下

前言

Mysql插入不重復(fù)的數(shù)據(jù)，當(dāng)大數(shù)據(jù)量的數(shù)據(jù)需要插入值時(shí)，要判斷插入是否重復(fù)，然后再插入，那么如何提高效率？解決的辦法有很多種，不同的場(chǎng)景解決方案也不一樣，數(shù)據(jù)量很小的情況下，怎么搞都行，但是數(shù)據(jù)量很大的時(shí)候，這就不是一個(gè)簡(jiǎn)單的問題了。

一、insert ignore into

會(huì)忽略數(shù)據(jù)庫(kù)中已經(jīng)存在的數(shù)據(jù)，如果數(shù)據(jù)庫(kù)沒有數(shù)據(jù)，就插入新的數(shù)據(jù)，如果有數(shù)據(jù)的話就跳過當(dāng)前插入的這條數(shù)據(jù)。這樣就可以保留數(shù)據(jù)庫(kù)中已經(jīng)存在數(shù)據(jù)，達(dá)到在間隙中插入數(shù)據(jù)的目的。

控制器方法：

/**
 * 插入員工數(shù)據(jù)
 */
@PostMapping("save")
@ResponseBody
public CommonResult<Employee> save(@RequestBody Employee employee){
    return employeeService.saveEmp(employee);
}

INSERT INTO 插入數(shù)據(jù)

<!--插入員工數(shù)據(jù)-->
<insert id="saveEmp" parameterType="com.dt.springbootdemo.entity.Employee">
    INSERT INTO t_employee(id, name, age, salary, department_id)
    VALUES (#{id},#{name},#{age},#{salary},#{departmentId})
</insert>

在這里插入圖片描述

我們新增一條主鍵ID為1的員工記錄。

當(dāng)我再發(fā)送一次請(qǐng)求的時(shí)候，會(huì)報(bào)SQL語句執(zhí)行錯(cuò)誤，因?yàn)橹麈I唯一，并且ID=1的記錄已經(jīng)存在了。

在這里插入圖片描述

加上ignore，再次添加一條ID=1的員工記錄

INSERT IGNORE INTO

在這里插入圖片描述

并沒有報(bào)錯(cuò)，但是也沒有添加成功，忽略了重復(fù)數(shù)據(jù)的添加。

二、on duplicate key update

當(dāng)主鍵或者唯一鍵重復(fù)時(shí)，則執(zhí)行update語句。

 ON DUPLICATE KEY UPDATE id = id

我們?nèi)稳徊迦隝D=1的員工記錄，并且修改一下其他字段（age=25）：

在這里插入圖片描述

查看數(shù)據(jù)庫(kù)記錄：

在這里插入圖片描述

可以看到并沒有改變，數(shù)據(jù)也只有一條，并且返回了成功的提示。

這種方法有個(gè)前提條件，就是，需要插入的約束，需要是主鍵或者唯一約束（在你的業(yè)務(wù)中那個(gè)要作為唯一的判斷就將那個(gè)字段設(shè)置為唯一約束也就是unique key）。

擴(kuò)展：這種方式還有其他業(yè)務(wù)場(chǎng)景的需求->>>定時(shí)更新其他字段。

我們?cè)趩T工表中，再加入一個(gè)時(shí)間字段：

private Date updateTime;

在這里插入圖片描述

然后我們根據(jù)updateTime字段來插入數(shù)據(jù)：

<insert id="saveEmp" parameterType="com.dt.springbootdemo.entity.Employee">
    INSERT INTO t_employee(id, name, age, salary, department_id,update_time)
    VALUES (#{id},#{name},#{age},#{salary},#{departmentId},now())
    ON DUPLICATE KEY UPDATE update_time = now()
</insert>

在這里插入圖片描述

如果插入的時(shí)候需要更新其他字段（比如age）,該怎么做呢？

在這里插入圖片描述

三、replace into

如果存在primary or unique相同的記錄，則先刪除掉。再插入新記錄。

REPLACE INTO

 <!--插入員工數(shù)據(jù)-->
<insert id="saveEmp" parameterType="com.dt.springbootdemo.entity.Employee">
    REPLACE INTO t_employee(id, name, age, salary, department_id,update_time)
    VALUES (#{id},#{name},#{age},#{salary},#{departmentId},now())
</insert>

在這里插入圖片描述

總結(jié)：實(shí)際開發(fā)中，用得最多的就是第二種方式，進(jìn)行的批量加。

<!--插入員工數(shù)據(jù)-->
<insert id="saveEmp" parameterType="java.util.List">
    INSERT INTO t_employee(id, name, age, salary, department_id,update_time)
    VALUES
    <foreach collection="list" item="item" index="index" separator=",">
        (#{item.id},#{item.name},#{item.age},#{item.salary},#{item.departmentId},now())
    </foreach>
    ON DUPLICATE KEY UPDATE id = id
</insert>

控制器：

@PostMapping("save")
@ResponseBody
public CommonResult<Employee> save(@RequestBody List<Employee> employeeList){
    return employeeService.saveEmp(employeeList);
}

在這里插入圖片描述