使用SpringBoot和JPA實(shí)現(xiàn)批量處理新增、修改
jpa的sava與saveAll
save()方法
@Transactional
public <S extends T> S save(S entity) {
if (this.entityInformation.isNew(entity)) {
this.em.persist(entity);
return entity;
} else {
return this.em.merge(entity);
}
}根據(jù)源碼我們可以看出來(lái),save是先通過(guò)判斷這個(gè)對(duì)象是不是新的,新的便會(huì)新增,否則就是執(zhí)行的修改。整個(gè)是有分兩步進(jìn)行的,先查詢(xún)?cè)傩略?/p>
saveAll()方法
@Transactional
public <S extends T> List<S> saveAll(Iterable<S> entities) {
Assert.notNull(entities, "The given Iterable of entities not be null!");
List<S> result = new ArrayList();
Iterator var3 = entities.iterator();
while(var3.hasNext()) {
S entity = var3.next();
result.add(this.save(entity));
}
return result;
}saveAll()方法是一種更新多條的一種方式,里面?zhèn)鞯拇鎸?duì)象的集合。分析源碼我們可以看出saveAll()底層還是調(diào)用的save()方法,也就是每次需要先查詢(xún)?cè)僮鲂薷?。在使用上方便,但是因每次涉及到查?xún)、新增,事務(wù)的關(guān)系,導(dǎo)致修改或者新增耗時(shí)得非常的久。
那么下面我們將結(jié)合EntityManager對(duì)批量新增,修改做出優(yōu)化。
jpa結(jié)合Batch
配置文件
spring:
#配置 Jpa
jpa:
properties:
hibernate:
generate_statistics: false
order_insert: true //配置批量新增
order_update: true //配置批量修改
dialect: org.hibernate.dialect.MySQL5InnoDBDialect
jdbc:
batch_size: 1000 //容器內(nèi)批量的大小
open-in-view: trueEntityManager
EntityManager其實(shí)就是一個(gè)容器,通過(guò)注解引入EntityManager對(duì)象 使用EntityManager對(duì)新增,修改進(jìn)行批量處理
/**
* @author 程序員panda
* @date
* @desc 批量處理
*/
@Service
@Transactional
public class BatchService {
@PersistenceContext
private EntityManager entityManager;
//配置文件中每次批量提交的數(shù)量
@Value("${spring.jpa.properties.hibernate.jdbc.batch_size}")
private long batchSize;
/**
* 批量插入
*
* @param list 實(shí)體類(lèi)集合
* @param <T> 表對(duì)應(yīng)的實(shí)體類(lèi)
*/
public <T> void batchInsert(List<T> list) {
if (!ObjectUtils.isEmpty(list)){
for (int i = 0; i < list.size(); i++) {
entityManager.persist(list.get(i));
if (i % batchSize == 0) {
entityManager.flush();
entityManager.clear();
}
}
entityManager.flush();
entityManager.clear();
}
}
/**
* 批量更新
*
* @param list 實(shí)體類(lèi)集合
* @param <T> 表對(duì)應(yīng)的實(shí)體類(lèi)
*/
public <T> void batchUpdate(List<T> list) {
if (!ObjectUtils.isEmpty(list)){
for (int i = 0; i < list.size(); i++) {
entityManager.merge(list.get(i));
if (i % batchSize == 0) {
entityManager.flush();
entityManager.clear();
}
}
entityManager.flush();
entityManager.clear();
}
}
}實(shí)際運(yùn)用
選擇一個(gè)需要新增的table,將原有的saveAll(),改為調(diào)用自定義的batchInsert()方法
public JSONObject sumbitPhone(MultipartFile phoneFile) {
long timeIdStart = System.currentTimeMillis();
JSONObject result=new JSONObject();
List<CheckPhone> phoneList=getPhoneListEn(phoneFile);
batchService.batchInsert(phoneList);
result.put("code",200);
result.put("msg","提交成功");
logger.info("提交預(yù)校驗(yàn)數(shù)據(jù)用時(shí):"+(System.currentTimeMillis() - timeIdStart) / 1000.0+"秒");
return result;
}注意
使用batch批量新增的時(shí)候,表的主鍵不能使用自增的形式,需要使用uuid來(lái)才能使用批量的新增
運(yùn)行時(shí)間對(duì)比
使用saveall()方法耗時(shí)(提交1000個(gè)號(hào)碼文件) 從sql監(jiān)控中可以看到,新增1000個(gè)號(hào)碼,執(zhí)行了7.962秒,執(zhí)行了1000次的事務(wù),都是一個(gè)個(gè)提交的
使用batch批量新增(同為1000個(gè)號(hào)碼)此時(shí)執(zhí)行,提交了兩次,執(zhí)行了兩次事務(wù)。因?yàn)槲以O(shè)置了batch_size為1000。此時(shí)用是196毫秒。看一看出他是按999條數(shù)據(jù),然后統(tǒng)一提交的
總結(jié)
到此這篇關(guān)于使用SpringBoot和JPA實(shí)現(xiàn)批量處理新增、修改的文章就介紹到這了,更多相關(guān)SpringBoot JPA批量處理新增修改內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- SpringbootJPA分頁(yè) PageRequest過(guò)時(shí)的替代方法
- Springboot JPA打印SQL語(yǔ)句及參數(shù)的實(shí)現(xiàn)
- SpringBoot整合JPA詳細(xì)代碼實(shí)例
- springboot Jpa多數(shù)據(jù)源(不同庫(kù))配置過(guò)程
- SpringBoot中的JPA(Java?Persistence?API)詳解
- SpringBoot集成Jpa對(duì)數(shù)據(jù)進(jìn)行排序、分頁(yè)、條件查詢(xún)和過(guò)濾操作
- SpringBoot整合JPA方法及配置解析
- SpringBoot整合JPA 基礎(chǔ)使用示例教程
相關(guān)文章
Spring Data JPA中的動(dòng)態(tài)查詢(xún)實(shí)例
本篇文章主要介紹了詳解Spring Data JPA中的動(dòng)態(tài)查詢(xún)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-04-04
探索分析Redis?AOF日志與數(shù)據(jù)持久性
這篇文章主要為大家介紹了探索分析Redis?AOF日志與數(shù)據(jù)持久性詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12
MybatisGenerator文件生成不出對(duì)應(yīng)文件的問(wèn)題
本文介紹了使用MybatisGenerator生成文件時(shí)遇到的問(wèn)題及解決方法,主要步驟包括檢查目標(biāo)表是否存在、是否能連接到數(shù)據(jù)庫(kù)、配置生成器的路徑等,通過(guò)在項(xiàng)目結(jié)構(gòu)中引入相應(yīng)的jar包,并在GeneratorSqlmap.java文件中運(yùn)行,可以成功生成對(duì)應(yīng)的文件2025-01-01
Springboot FeignClient調(diào)用Method has too m
本文主要介紹了Springboot FeignClient微服務(wù)間調(diào)用Method has too many Body parameters 解決,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-12-12
SpringBoot3整合Hutool-captcha實(shí)現(xiàn)圖形驗(yàn)證碼
在整合技術(shù)框架的時(shí)候,想找一個(gè)圖形驗(yàn)證碼相關(guān)的框架,看到很多驗(yàn)證碼的maven庫(kù)不再更新了或中央倉(cāng)庫(kù)下載不下來(lái),還需要多引入依賴(lài),后面看到了Hutool圖形驗(yàn)證碼(Hutool-captcha)中對(duì)驗(yàn)證碼的實(shí)現(xiàn),所以本文介紹了SpringBoot3整合Hutool-captcha實(shí)現(xiàn)圖形驗(yàn)證碼2024-11-11
Java實(shí)現(xiàn)視頻初步壓縮和解壓的代碼示例
從攝像頭讀取每一幀的圖片,用一些簡(jiǎn)單的方法將多張圖片信息壓縮到一份文件中(自定義的視頻文件),自定義解碼器讀取視頻文件,并將每幀圖片展示成視頻,本文主要介紹了Java實(shí)現(xiàn)視頻初步壓縮和解壓,需要的朋友可以參考下2023-10-10

