MyBatis-Plus流式查詢的實(shí)現(xiàn)示例
在使用 MyBatis-Plus 進(jìn)行流式查詢時(shí),通常是為了處理大量數(shù)據(jù)而避免一次性加載所有數(shù)據(jù)到內(nèi)存中,從而減少內(nèi)存消耗并提高性能。
MyBatis-Plus 從 3.5.4 版本開始支持流式查詢,這是 MyBatis 的原生功能,通過 ResultHandler 接口實(shí)現(xiàn)結(jié)果集的流式查詢。這種查詢方式適用于數(shù)據(jù)跑批或處理大數(shù)據(jù)的業(yè)務(wù)場(chǎng)景。
在 BaseMapper 中,新增了多個(gè)重載方法,包括 selectList, selectByMap, selectBatchIds, selectMaps, selectObjs,這些方法可以與流式查詢結(jié)合使用。
需要注意的是,在低版本的 MyBatis-Plus 中,如果自定義 ResultHandler 結(jié)合分頁查詢,可能會(huì)出現(xiàn)錯(cuò)誤。在這種情況下,需要手動(dòng)關(guān)閉 count 查詢。
使用示例
批量數(shù)據(jù)錄入
剛好順便學(xué)習(xí)下mybatisplus 批量數(shù)據(jù)錄入
數(shù)據(jù)準(zhǔn)備 10萬條數(shù)據(jù)
@Autowired private MybatisUserService mybatisUserService; @Test void contextLoads() { List<MybatisUser> mybatisUsers = new ArrayList<>(); for (int i = 0; i < 100000; i++) { MybatisUser mybatisUser = new MybatisUser(); mybatisUser.setId(i); mybatisUser.setName("A"+i); mybatisUser.setSex(SexEnum.MAN); mybatisUsers.add(mybatisUser); } mybatisUserService.insertBatch(mybatisUsers); }
MybatisBatch方式
// 記錄開始時(shí)間,用于計(jì)算執(zhí)行耗時(shí) long startTime = System.nanoTime(); // 使用 nanoTime 獲取更精確的時(shí)間 // 創(chuàng)建 MybatisBatch 對(duì)象,用于執(zhí)行批量操作 MybatisBatch<MybatisUser> mybatisBatch = new MybatisBatch<>(sqlSessionFactory, mybatisUser); // 創(chuàng)建 MybatisBatch.Method 對(duì)象,指定具體的操作方法 MybatisBatch.Method<MybatisUser> method = new MybatisBatch.Method<>(MybatisUserDao.class); // 執(zhí)行插入操作 mybatisBatch.execute(method.insert()); // 記錄結(jié)束時(shí)間,用于計(jì)算執(zhí)行耗時(shí) long endTime = System.nanoTime(); // 獲取結(jié)束時(shí)間 // 計(jì)算執(zhí)行時(shí)間并打印 long executionTime = endTime - startTime; System.out.println("Execution time: " + executionTime + " nanoseconds");
SQL values方式
@Insert("<script>" + "INSERT INTO `mybatis_user`(`id`, `name`, `sex`) " + "VALUES " + "<foreach collection= 'list' item= 'item' separator= ','> " + "(#{item.id},#{item.name},#{item.sex})" + "</foreach></script>") int insertBatchSql(@Param("list") List<MybatisUser> list);
雖然插入很快,但是不是特別推薦,當(dāng)實(shí)體數(shù)據(jù)過多的時(shí)候,sql拼接可能會(huì)出問題。
推薦的話 還是用多線程來分批插入。
流式查詢
/** * 選擇并處理數(shù)據(jù)庫中的所有用戶記錄 * 此方法使用baseMapper從數(shù)據(jù)庫中選擇所有用戶記錄,并使用ResultHandler進(jìn)行處理 * 每處理一條記錄,都會(huì)在控制臺(tái)輸出當(dāng)前記錄的信息 */ public void selectAll() { // 從數(shù)據(jù)庫獲取表所有記錄,做數(shù)據(jù)處理 baseMapper.selectList(Wrappers.emptyWrapper(), new ResultHandler<MybatisUser>() { // 初始化計(jì)數(shù)器,用于記錄當(dāng)前處理的記錄數(shù) int count = 0; /** * 處理查詢結(jié)果 * 此方法在查詢到每條記錄時(shí)被調(diào)用,用于處理單個(gè)查詢結(jié)果 * @param resultContext 包含查詢結(jié)果的上下文 */ @Override public void handleResult(ResultContext<? extends MybatisUser> resultContext) { // 獲取當(dāng)前處理的用戶記錄 MybatisUser mybatisUser = resultContext.getResultObject(); // 在控制臺(tái)輸出當(dāng)前處理的記錄信息 System.out.println("當(dāng)前處理第" + (++count) + "條記錄: " + mybatisUser); } }); }
下面是一下常用方法
- getResultObject: 獲取數(shù)據(jù)庫中的每一條記錄。
- getResultCount: 獲取當(dāng)前處理的結(jié)果集條數(shù),每處理一條記錄,該計(jì)數(shù)器會(huì)加1,計(jì)數(shù)從1開始。
- stop: 停止繼續(xù)處理結(jié)果集,相當(dāng)于在循環(huán)中使用 break 語句。
比如當(dāng)我們需要導(dǎo)出大量數(shù)據(jù)的情況下,使用普通查詢導(dǎo)出是因?yàn)橐淮涡园阉袛?shù)據(jù)查詢出來放在集合中,這時(shí)候垃圾處理器釋放不了這一部分內(nèi)存,如果內(nèi)存不夠就會(huì)使程序掛掉。使用mybatis-plus的流式查詢, 一邊查詢一邊導(dǎo)出 ,這樣用過的數(shù)據(jù)寫入流之后垃圾處理器回收掉內(nèi)存空間,使內(nèi)存得到合理應(yīng)用 。
到此這篇關(guān)于MyBatis-Plus流式查詢的實(shí)現(xiàn)示例的文章就介紹到這了,更多相關(guān)MyBatis-Plus流式查詢內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
DecimalFormat數(shù)字格式化 0和# 的區(qū)別及說明
這篇文章主要介紹了DecimalFormat數(shù)字格式化 0和# 的區(qū)別及說明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-10-10spring cloud升級(jí)到spring boot 2.x/Finchley.RELEASE遇到的坑
這篇文章主要介紹了spring cloud升級(jí)到spring boot 2.x/Finchley.RELEASE遇到的坑,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-08-08Java獲取resources下文件路徑的幾種方法及遇到的問題
這篇文章主要給大家介紹了關(guān)于Java獲取resources下文件路徑的幾種方法及遇到的問題,在Java開發(fā)中經(jīng)常需要讀取項(xiàng)目中resources目錄下的文件或獲取資源路徑,需要的朋友可以參考下2023-12-12Nacos下線服務(wù)時(shí),下線報(bào)錯(cuò)選舉Leader失敗問題以及解決
這篇文章主要介紹了Nacos下線服務(wù)時(shí),下線報(bào)錯(cuò)選舉Leader失敗問題以及解決,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-07-07springboot中spring.profiles.include的妙用分享
這篇文章主要介紹了springboot中spring.profiles.include的妙用,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-08-08java編寫的簡(jiǎn)單移動(dòng)方塊小游戲代碼
這篇文章主要介紹了java編寫的簡(jiǎn)單移動(dòng)方塊小游戲代碼,涉及Java簡(jiǎn)單圖形繪制與事件響應(yīng)的相關(guān)技巧,需要的朋友可以參考下2015-12-12