Springboot?手動(dòng)分頁查詢分批批量插入數(shù)據(jù)的實(shí)現(xiàn)流程
前言
業(yè)務(wù)場(chǎng)景是什么?
就是數(shù)據(jù)庫的一批數(shù)據(jù),量不少,需要執(zhí)行同步插入到別的地方。
簡(jiǎn)單點(diǎn)肯定是一次性查出來,然后循環(huán)一個(gè)個(gè)插入,完事。
考慮點(diǎn):
① 數(shù)據(jù)量大,一次性查出來操作,很爆炸。
② 循環(huán)里面一次一次地去插入,如果非業(yè)務(wù)場(chǎng)景必要,基本是不會(huì)在循環(huán)里面使用sql操作的。
所以該篇作為拋磚引玉(還有很多需要考慮的點(diǎn)),給出一種解決上面場(chǎng)景的代碼編寫方案, 手動(dòng)分頁,查詢后批量插入。
正文
實(shí)現(xiàn)的流程簡(jiǎn)圖:

看看最終實(shí)現(xiàn)的效果,通過代碼日志記錄了這個(gè)實(shí)現(xiàn)后的效果 :

開始實(shí)戰(zhàn):
代碼大體就這樣:

代碼:
//獲取數(shù)據(jù)總計(jì)數(shù)
UserQueryCondition userQueryCondition=new UserQueryCondition();
Integer totalCount = userService.getAllUserCount(userQueryCondition);
//每批同步的數(shù)據(jù)條數(shù)
Integer batchSizeLimit = 500;
//分批切割處理
List<PageLimitDTO> pageLimitGroupList = getPageLimitGroupList(totalCount, batchSizeLimit);
int count=1;
//物理批次查詢
for (PageLimitDTO pageBatchLimit:pageLimitGroupList){
List<User> pageBatchList = userService.getPageList(
userQueryCondition, pageBatchLimit.getCurrIndex(), pageBatchLimit.getPageSize()
);
if (!CollectionUtils.isEmpty(pageBatchList)){
//批量插入
Boolean syncAddResult = userSyncService.batchSyncAdd(pageBatchList);
//做其余業(yè)務(wù)
if (syncAddResult){
log.info("第{}次,user數(shù)據(jù)批量插入成功",count);
}
}
log.info("第{}批次,user數(shù)據(jù)同步批量插入業(yè)務(wù)結(jié)束執(zhí)行",count);
count=count+1;
}切割函數(shù)getPageLimitGroupList:
public List<PageLimitDTO> getPageLimitGroupList(Integer totalCount, Integer batchSizeLimit ) {
log.info("這一次處理的總數(shù)據(jù)條數(shù)為 ={} 條, 每一批次處理?xiàng)l數(shù)為 ={} 條,現(xiàn)在開始做分批切割處理。",totalCount,batchSizeLimit);
int pageNum = totalCount / batchSizeLimit;
int surplus = totalCount % batchSizeLimit;
if (surplus > 0) {
pageNum = pageNum + 1;
}
List<PageLimitDTO> pageLimitGroupList =new LinkedList<>();
for(int i = 0; i < pageNum; i++){
Integer currIndex = i * batchSizeLimit;
PageLimitDTO pageLimitDTO=new PageLimitDTO();
pageLimitDTO.setPageSize(batchSizeLimit);
pageLimitDTO.setCurrIndex(currIndex);
pageLimitDTO.setDealDataCount(currIndex+batchSizeLimit);
pageLimitGroupList.add(pageLimitDTO);
log.info("分批切割,第={}次,每次={}條,最終會(huì)處理到={}條。",pageLimitGroupList.size(),batchSizeLimit,currIndex+batchSizeLimit);
}
log.info("這一次處理的總數(shù)據(jù)條數(shù)為 ={} 條, 每一批次處理?xiàng)l數(shù)為 ={} 條,總共切割分成了 ={} 次,一切準(zhǔn)備就緒,可以開始批量插入。",totalCount,batchSizeLimit,pageLimitGroupList.size());
return pageLimitGroupList;
}物理分頁查詢的mybatis sql寫法示例(核心手動(dòng)切割分頁查詢紅色部分):

代碼:
<select id="getPageList" resultMap="BaseResultMap">
SELECT *
FROM user
<where>
<if test="merchantId != null and merchantId != 0">
and MERCHANT_ID = #{merchantId}
</if>
<if test="nameList != null and !nameList.isEmpty()">
and NAME in
<foreach collection="nameList" separator="," open="(" close=")" item="name">
#{name}
</foreach>
</if>
</where>
LIMIT #{currIndex} , #{pageSize}
</select>批量插入示例:
<!--批量插入信息-->
<insert id="batchSyncAdd" parameterType="java.util.List">
insert into user(
id,
name,
age
)
values
<foreach collection="list" item="item" index="index" separator=",">
(
#{item.id,jdbcType=BIGINT},
#{item.name,jdbcType=VARCHAR},
#{item.age,jdbcType=INTEGER}
)
</foreach>
</insert>然后就是我們美如畫的,手動(dòng)批次切割查詢插入:

當(dāng)前方案作為拋磚引玉,還有比較多可優(yōu)化的點(diǎn),但是我不做擴(kuò)展了,簡(jiǎn)單列舉一下:
1. 每次切割分頁查詢,其實(shí)可以優(yōu)化。 例如取上一次的id作為下一次的起始條件。
2. 同步異步的封裝,可以更動(dòng)態(tài)化。
3. 是否完全需要分批? 動(dòng)態(tài)設(shè)置數(shù)據(jù)超過多少才開始分批切割,不超過,不需要走切割這些流程代碼。
到此這篇關(guān)于Springboot 手動(dòng)分頁查詢,分批批量插入數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Springboot 分頁查詢內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
OpenFeign在傳遞參數(shù)為對(duì)象類型是為空的問題
這篇文章主要介紹了OpenFeign在傳遞參數(shù)為對(duì)象類型是為空的問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-03-03
java中優(yōu)化大量if...else...方法總結(jié)
在我們平時(shí)的開發(fā)過程中,經(jīng)??赡軙?huì)出現(xiàn)大量If else的場(chǎng)景,代碼顯的很臃腫,非常不優(yōu)雅,下面這篇文章主要給大家介紹了關(guān)于java中優(yōu)化大量if...else...方法的相關(guān)資料,需要的朋友可以參考下2023-03-03
手把手教你寫一個(gè)SpringBoot+gRPC服務(wù)
本文將在本地環(huán)境下搭建gRPC客戶端和服務(wù)端,并成功建立通訊發(fā)送消息的方式,從而幫助大家深入了解gRPC在Spring Boot項(xiàng)目中的應(yīng)用,有需要的小伙伴可以參考下2023-12-12
Java實(shí)現(xiàn)簡(jiǎn)單的抽牌游戲
這篇文章主要為大家詳細(xì)介紹了Java實(shí)現(xiàn)簡(jiǎn)單的抽牌游戲,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2020-04-04
Java中為什么重寫equals()也需要重寫hashCode方法
這篇文章主要介紹了Java中為什么重寫equals()也需要重寫hashCode(),本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-04-04

