腳本之家服務器常用軟件

快捷導航

mybatis和mybatisplus批量插入問題示例詳解

更新時間：2023年04月12日 11:51:53 作者：又?欠

最近在處理一個功能的時候,需要批量插入數據,這篇文章主要給大家介紹了關于mybatis和mybatisplus批量插入問題的相關資料,文中通過實例代碼介紹非常詳細,需要的朋友可以參考下

1. 思路分析：

批量插入是我們日常開放經常會使用到的場景，一般情況下我們也會有兩種方案進行實施，如下所示。

方案一就是用 for 循環(huán)循環(huán)插入：

優(yōu)點：JDBC 中的 PreparedStatement 有預編譯功能，預編譯之后會緩存起來，后面的 SQL 執(zhí)行會比較快并且JDBC 可以開啟批處理，這個批處理執(zhí)行非常給力。

缺點：很多時候我們的 SQL 服務器和應用服務器可能并不是同一臺，所以必須要考慮網絡 IO，如果網絡 IO 比較費時間的話，那么可能會拖慢
SQL 執(zhí)行的速度。

再來說第二種方案，就是生成一條 SQL 插入：

優(yōu)勢：這種方案的優(yōu)勢在于只有一次網絡 IO，即使分片處理也只是數次網絡 IO，所以這種方案不會在網絡 IO 上花費太多時間。

缺點一是 SQL 太長了，甚至可能需要分片后批量處理；

缺點二是無法充分發(fā)揮 PreparedStatement 預編譯的優(yōu)勢，SQL 要重新解析且無法復用；三是最終生成的 SQL
太長了，數據庫管理器解析這么長的 SQL 也需要時間。

2. rewriteBatchedStatements=true

在jdbc連接后面加上 rewriteBatchedStatements=true ，加上后才是真正的批量插入。

jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8&rewriteBatchedStatements=true

3.使用mybatis批量插入：

方案一：使用foreach進行插入（生成一條 SQL 插入）

mapper文件

   <insert id="save" parameterType="java.util.List">
        INSERT INTO test
        (
        id,
        a,
        b,
        c
        )
        VALUES
        <foreach collection="list" item="item" index="index" separator=",">
            (
            #{item.id},
            #{item.a},
            #{item.b},
            #{item.c}
            )
        </foreach>
    </insert>

調用方法

 @Override
    public void add() {
        //時間 一
        long l = System.currentTimeMillis();
        List<TestEntity> list=new ArrayList<>();
        for (int i=0;i<1000;i++){
            TestEntity testEntity=new TestEntity();
            testEntity.setC(i);
            list.add(testEntity);
        }
       testMapper.save(list);
        //時間 二
        long l1 = System.currentTimeMillis();
        System.out.println("耗時"+(l1-l));
    }

插入了1000條數據，耗時535毫秒。

插入了50000條數據，直接報錯。

報錯原因是因為我們一條SQL進行插入導致SQL太長

解決辦法：

1.修改MySQL配置

2.對新增數據進行分片

方案二：一條條插入

mapper

   <insert id="addUserOneByOne" parameterType="com.ruoyi.system.domain.TestEntity">
    insert into test (id,a,b,c) values (#{id},#{a},#,#{c})
    </insert>

測試代碼

@Service
public class TestServiceimpl extends ServiceImpl<TestMapper, TestEntity> implements TestService {

    @Autowired
  private   TestMapper testMapper;

    @Autowired
  private SqlSessionFactory sqlSessionFactory;
    
    public void addUserOneByOne(List<TestEntity> users) {
        SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH);
        TestMapper um = session.getMapper(TestMapper.class);
        long startTime = System.currentTimeMillis();
        for (TestEntity user : users) {
            um.addUserOneByOne(user);
        }
        session.commit();
        long endTime = System.currentTimeMillis();
        System.out.println("耗時"+(endTime - startTime));
    }
}

插入了1000條數據，耗時959毫秒。

插入50000條數據，耗時11214毫秒。

對比分析：

如果我們批量插入少部分數據，可以使用方式一，一條SQL進行插入。這樣是比較快的。

如果我們插入數據達到，1w條，10來萬條，這時建議用方式二進行插入是比較快的。

4. 使用mybatisplus批量插入

使用saveBatch（）方法進行批量插入

@Service
public class TestServiceimpl extends ServiceImpl<TestMapper, TestEntity> implements TestService {
    
    @Autowired
  private   TestMapper testMapper;

    @Autowired
  private SqlSessionFactory sqlSessionFactory;

    @Override
    public void add() {
        //時間 一
        long l = System.currentTimeMillis();
        List<TestEntity> list=new ArrayList<>();
        for (int i=0;i<50000;i++){
            TestEntity testEntity=new TestEntity();
            testEntity.setC(i);
            list.add(testEntity);
        }
        saveBatch(list);
        //時間 二
        long l1 = System.currentTimeMillis();
        System.out.println("耗時"+(l1-l));
    }

插入50000條數據，耗時19516毫秒

源碼分析

   public boolean saveBatch(Collection<T> entityList, int batchSize) {
        String sqlStatement = this.getSqlStatement(SqlMethod.INSERT_ONE);
        return this.executeBatch(entityList, batchSize, (sqlSession, entity) -> {
            sqlSession.insert(sqlStatement, entity);
        });
    }

這里注意 return 中的第三個參數，是一個 lambda 表達式，這也是 MP 中批量插入的核心邏輯，可以看到，MP 先對數據進行分片（默認分片大小是 1000），分片完成之后，也是一條一條的插入。

 public static <E> boolean executeBatch(Class<?> entityClass, Log log, Collection<E> list, int batchSize, BiConsumer<SqlSession, E> consumer) {
        Assert.isFalse(batchSize < 1, "batchSize must not be less than one", new Object[0]);
        return !CollectionUtils.isEmpty(list) && executeBatch(entityClass, log, (sqlSession) -> {
            int size = list.size();
            int i = 1;

            for(Iterator var6 = list.iterator(); var6.hasNext(); ++i) {
                E element = var6.next();
                consumer.accept(sqlSession, element);
                if (i % batchSize == 0 || i == size) {
                    sqlSession.flushStatements();
                }
            }

        });
    }

繼續(xù)查看 executeBatch 方法，就會發(fā)現這里的 sqlSession 其實也是一個批處理的 sqlSession，并非普通的 sqlSession。和我們mybatis使用的方法二一致。

5業(yè)務場景一對多怎么處理：

比如，如下這種一對多場景。

新增的時候保存都好理解，形成一個數組一起保存。

而修改的時候就有點難處理了，比如我修改了第二條，刪除了第三條，這時統一保存應該怎么處理？

使用 ON DUPLICATE KEY UPDATE （發(fā)生主鍵沖突就更新，沒有發(fā)生主鍵沖突就新增）

有時候由于業(yè)務需求，可能需要先去根據某一字段值查詢數據庫中是否有記錄，有則更新，沒有則插入。這個時候就可以用到ON DUPLICATE key update這個sql語句了

mapper如下所示

   <insert id="save" parameterType="java.util.List">
        INSERT INTO test
        (
        id,
        a,
        b,
        c
        )
        VALUES
        <foreach collection="list" item="item" index="index" separator=",">
            (
            #{item.id},
            #{item.a},
            #{item.b},
            #{item.c}
            )
        </foreach>
        ON DUPLICATE KEY UPDATE
        id=id,
        a = VALUES(a) ,
        b = VALUES(b),
        c = VALUES(c)
    </insert>

或者在使用mybatisplus時，使用saveOrUpdate（）方法進行一條數據的新增或更新。 saveOrUpdateBatch()方法進行批量數據的新增或更新。