怎樣提高mybatis-plus中saveBatch方法的效率
提高mybatis-plus中saveBatch方法的效率
MyBatis-Plus中的saveBatch方法是一個(gè)很方便的批量插入數(shù)據(jù)的方法,但是如果插入的數(shù)據(jù)量很大時(shí),可能會(huì)出現(xiàn)效率較低的情況。
提高saveBatch方法效率的方法
1.批量插入的數(shù)據(jù)量不宜過(guò)大,否則可能會(huì)導(dǎo)致內(nèi)存溢出。建議根據(jù)實(shí)際情況選擇合適的批量插入數(shù)據(jù)的數(shù)量。
2.如果插入的數(shù)據(jù)是從文件或其他數(shù)據(jù)源中讀取的,可以使用流式插入的方式,將數(shù)據(jù)流分批插入數(shù)據(jù)庫(kù),可以減小內(nèi)存壓力。
3.在執(zhí)行saveBatch方法前,可以通過(guò)開啟MyBatis-Plus的批量插入功能,將多條SQL語(yǔ)句合并成一條執(zhí)行,減少與數(shù)據(jù)庫(kù)的交互次數(shù)。可以通過(guò)以下代碼開啟批
mybatis-plus saveOrUpdateBatch踩坑
mybatis-plus版本: 3.5.1
調(diào)用方法
@Transactional(rollbackFor = Exception.class) ? default boolean saveOrUpdateBatch(Collection<T> entityList) { ? ? ? return saveOrUpdateBatch(entityList, DEFAULT_BATCH_SIZE); ? }
問(wèn)題說(shuō)明
當(dāng)對(duì)entityList進(jìn)行批量更新操作時(shí),方法內(nèi)部會(huì)根據(jù)主鍵查詢?cè)撚涗?,?dǎo)致批量更新操作十分緩慢,具體代碼如下
@Transactional(rollbackFor = Exception.class) @Override public boolean saveOrUpdateBatch(Collection<T> entityList, int batchSize) { ? ? TableInfo tableInfo = TableInfoHelper.getTableInfo(entityClass); ? ? Assert.notNull(tableInfo, "error: can not execute. because can not find cache of TableInfo for entity!"); ? ? String keyProperty = tableInfo.getKeyProperty(); ? ? Assert.notEmpty(keyProperty, "error: can not execute. because can not find column for id from entity!"); ? ? return SqlHelper.saveOrUpdateBatch(this.entityClass, this.mapperClass, this.log, entityList, batchSize, (sqlSession, entity) -> { ? ? ? ? Object idVal = tableInfo.getPropertyValue(entity, keyProperty); ? ? ? ? // 當(dāng)主鍵存在時(shí),會(huì)執(zhí)行sqlSession.selectList(getSqlStatement(SqlMethod.SELECT_BY_ID), entity)查詢?cè)摋l記錄 ? ? ? ? return StringUtils.checkValNull(idVal) || CollectionUtils.isEmpty(sqlSession.selectList(getSqlStatement(SqlMethod.SELECT_BY_ID), entity)); ? ? }, (sqlSession, entity) -> { ? ? ? ? MapperMethod.ParamMap<T> param = new MapperMethod.ParamMap<>(); ? ? ? ? param.put(Constants.ENTITY, entity); ? ? ? ? sqlSession.update(getSqlStatement(SqlMethod.UPDATE_BY_ID), param); ? ? }); }
public static <E> boolean saveOrUpdateBatch(Class<?> entityClass, Class<?> mapper, Log log, Collection<E> list, int batchSize, BiPredicate<SqlSession, E> predicate, BiConsumer<SqlSession, E> consumer) { ?? ?String sqlStatement = getSqlStatement(mapper, SqlMethod.INSERT_ONE); ?? ?return executeBatch(entityClass, log, list, batchSize, (sqlSession, entity) -> { ?? ??? ?// 執(zhí)行predicate ?? ??? ?if (predicate.test(sqlSession, entity)) { ?? ??? ??? ?sqlSession.insert(sqlStatement, entity); ?? ??? ?} else { ?? ??? ??? ?consumer.accept(sqlSession, entity); ?? ??? ?} ?? ?}); }
public static <E> boolean executeBatch(Class<?> entityClass, Log log, Collection<E> list, int batchSize, BiConsumer<SqlSession, E> consumer) { ?? ?Assert.isFalse(batchSize < 1, "batchSize must not be less than one"); ?? ?return !CollectionUtils.isEmpty(list) && executeBatch(entityClass, log, sqlSession -> { ?? ??? ?int size = list.size(); ?? ??? ?int idxLimit = Math.min(batchSize, size); ?? ??? ?int i = 1; ?? ??? ?for (E element : list) { ?? ??? ??? ?// 循環(huán)每條記錄,執(zhí)行consumer,在此次調(diào)用中,consumer中會(huì)執(zhí)行predicate,當(dāng)該條記錄主鍵不為空時(shí),會(huì)通過(guò)主鍵查詢?cè)撚涗? ?? ??? ??? ?consumer.accept(sqlSession, element); ?? ??? ??? ?if (i == idxLimit) { ?? ??? ??? ??? ?sqlSession.flushStatements(); ?? ??? ??? ??? ?idxLimit = Math.min(idxLimit + batchSize, size); ?? ??? ??? ?} ?? ??? ??? ?i++; ?? ??? ?} ?? ?}); }
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Java中創(chuàng)建對(duì)象的5種方式總結(jié)
本篇文章主要介紹了Java中創(chuàng)建對(duì)象的5種方式總結(jié),小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-02-02SpringBoot自動(dòng)裝配原理詳細(xì)解析
這篇文章主要介紹了SpringBoot自動(dòng)裝配原理詳細(xì)解析,一個(gè)對(duì)象交給Spring來(lái)管理的三種方式 @Bean @Compoment @Import,2024-01-01
@Bean主要在@Configuration中,通過(guò)方法進(jìn)行注入相關(guān)的Bean,@Compoent與@Service歸為一類,在類上加注入對(duì)應(yīng)的類,需要的朋友可以參考下SpringBoot 二維碼生成base64并上傳OSS的實(shí)現(xiàn)示例
本文主要介紹了SpringBoot 二維碼生成base64并上傳OSS的實(shí)現(xiàn)示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-05-05淺談異常結(jié)構(gòu)圖、編譯期異常和運(yùn)行期異常的區(qū)別
下面小編就為大家?guī)?lái)一篇淺談異常結(jié)構(gòu)圖、編譯期異常和運(yùn)行期異常的區(qū)別。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2016-09-09Java?多個(gè)時(shí)間區(qū)間進(jìn)行合并處理方法
用戶在選擇多個(gè)時(shí)間區(qū)間之后,如選擇的時(shí)間區(qū)間連續(xù)或者有重疊,需要對(duì)所選的時(shí)間區(qū)間進(jìn)行合并,這其實(shí)是一個(gè)區(qū)間合并問(wèn)題,下面通過(guò)本文給大家介紹Java?多個(gè)時(shí)間區(qū)間進(jìn)行合并處理的解決方案,一起看看吧2024-02-02