怎樣提高mybatis-plus中saveBatch方法的效率

更新時(shí)間：2023年07月14日 10:57:38 作者：草履蟲稽亞娜

這篇文章主要介紹了怎樣提高mybatis-plus中saveBatch方法的效率問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教

提高mybatis-plus中saveBatch方法的效率

MyBatis-Plus中的saveBatch方法是一個(gè)很方便的批量插入數(shù)據(jù)的方法，但是如果插入的數(shù)據(jù)量很大時(shí)，可能會(huì)出現(xiàn)效率較低的情況。

提高saveBatch方法效率的方法

1.批量插入的數(shù)據(jù)量不宜過大，否則可能會(huì)導(dǎo)致內(nèi)存溢出。建議根據(jù)實(shí)際情況選擇合適的批量插入數(shù)據(jù)的數(shù)量。

2.如果插入的數(shù)據(jù)是從文件或其他數(shù)據(jù)源中讀取的，可以使用流式插入的方式，將數(shù)據(jù)流分批插入數(shù)據(jù)庫，可以減小內(nèi)存壓力。

3.在執(zhí)行saveBatch方法前，可以通過開啟MyBatis-Plus的批量插入功能，將多條SQL語句合并成一條執(zhí)行，減少與數(shù)據(jù)庫的交互次數(shù)?？梢酝ㄟ^以下代碼開啟批

mybatis-plus saveOrUpdateBatch踩坑

mybatis-plus版本: 3.5.1

調(diào)用方法

@Transactional(rollbackFor = Exception.class) ?
default boolean saveOrUpdateBatch(Collection<T> entityList) { ?
? ? return saveOrUpdateBatch(entityList, DEFAULT_BATCH_SIZE); ?
}

問題說明

當(dāng)對(duì)entityList進(jìn)行批量更新操作時(shí)，方法內(nèi)部會(huì)根據(jù)主鍵查詢?cè)撚涗?，?dǎo)致批量更新操作十分緩慢，具體代碼如下

@Transactional(rollbackFor = Exception.class)
@Override
public boolean saveOrUpdateBatch(Collection<T> entityList, int batchSize) {
? ? TableInfo tableInfo = TableInfoHelper.getTableInfo(entityClass);
? ? Assert.notNull(tableInfo, "error: can not execute. because can not find cache of TableInfo for entity!");
? ? String keyProperty = tableInfo.getKeyProperty();
? ? Assert.notEmpty(keyProperty, "error: can not execute. because can not find column for id from entity!");
? ? return SqlHelper.saveOrUpdateBatch(this.entityClass, this.mapperClass, this.log, entityList, batchSize, (sqlSession, entity) -> {
? ? ? ? Object idVal = tableInfo.getPropertyValue(entity, keyProperty);
? ? ? ? // 當(dāng)主鍵存在時(shí)，會(huì)執(zhí)行sqlSession.selectList(getSqlStatement(SqlMethod.SELECT_BY_ID), entity)查詢?cè)摋l記錄
? ? ? ? return StringUtils.checkValNull(idVal) || CollectionUtils.isEmpty(sqlSession.selectList(getSqlStatement(SqlMethod.SELECT_BY_ID), entity));
? ? }, (sqlSession, entity) -> {
? ? ? ? MapperMethod.ParamMap<T> param = new MapperMethod.ParamMap<>();
? ? ? ? param.put(Constants.ENTITY, entity);
? ? ? ? sqlSession.update(getSqlStatement(SqlMethod.UPDATE_BY_ID), param);
? ? });
}

public static <E> boolean saveOrUpdateBatch(Class<?> entityClass, Class<?> mapper, Log log, Collection<E> list, int batchSize, BiPredicate<SqlSession, E> predicate, BiConsumer<SqlSession, E> consumer) {
?? ?String sqlStatement = getSqlStatement(mapper, SqlMethod.INSERT_ONE);
?? ?return executeBatch(entityClass, log, list, batchSize, (sqlSession, entity) -> {
?? ??? ?// 執(zhí)行predicate
?? ??? ?if (predicate.test(sqlSession, entity)) {
?? ??? ??? ?sqlSession.insert(sqlStatement, entity);
?? ??? ?} else {
?? ??? ??? ?consumer.accept(sqlSession, entity);
?? ??? ?}
?? ?});
}

public static <E> boolean executeBatch(Class<?> entityClass, Log log, Collection<E> list, int batchSize, BiConsumer<SqlSession, E> consumer) {
?? ?Assert.isFalse(batchSize < 1, "batchSize must not be less than one");
?? ?return !CollectionUtils.isEmpty(list) && executeBatch(entityClass, log, sqlSession -> {
?? ??? ?int size = list.size();
?? ??? ?int idxLimit = Math.min(batchSize, size);
?? ??? ?int i = 1;
?? ??? ?for (E element : list) {
?? ??? ??? ?// 循環(huán)每條記錄，執(zhí)行consumer，在此次調(diào)用中，consumer中會(huì)執(zhí)行predicate，當(dāng)該條記錄主鍵不為空時(shí)，會(huì)通過主鍵查詢?cè)撚涗?
?? ??? ??? ?consumer.accept(sqlSession, element);
?? ??? ??? ?if (i == idxLimit) {
?? ??? ??? ??? ?sqlSession.flushStatements();
?? ??? ??? ??? ?idxLimit = Math.min(idxLimit + batchSize, size);
?? ??? ??? ?}
?? ??? ??? ?i++;
?? ??? ?}
?? ?});
}