MyBatis-Plus流式查詢的實現(xiàn)示例
在使用 MyBatis-Plus 進行流式查詢時,通常是為了處理大量數(shù)據(jù)而避免一次性加載所有數(shù)據(jù)到內(nèi)存中,從而減少內(nèi)存消耗并提高性能。
MyBatis-Plus 從 3.5.4 版本開始支持流式查詢,這是 MyBatis 的原生功能,通過 ResultHandler 接口實現(xiàn)結(jié)果集的流式查詢。這種查詢方式適用于數(shù)據(jù)跑批或處理大數(shù)據(jù)的業(yè)務(wù)場景。
在 BaseMapper 中,新增了多個重載方法,包括 selectList, selectByMap, selectBatchIds, selectMaps, selectObjs,這些方法可以與流式查詢結(jié)合使用。
需要注意的是,在低版本的 MyBatis-Plus 中,如果自定義 ResultHandler 結(jié)合分頁查詢,可能會出現(xiàn)錯誤。在這種情況下,需要手動關(guān)閉 count 查詢。
使用示例
批量數(shù)據(jù)錄入
剛好順便學習下mybatisplus 批量數(shù)據(jù)錄入
數(shù)據(jù)準備 10萬條數(shù)據(jù)
@Autowired private MybatisUserService mybatisUserService; @Test void contextLoads() { List<MybatisUser> mybatisUsers = new ArrayList<>(); for (int i = 0; i < 100000; i++) { MybatisUser mybatisUser = new MybatisUser(); mybatisUser.setId(i); mybatisUser.setName("A"+i); mybatisUser.setSex(SexEnum.MAN); mybatisUsers.add(mybatisUser); } mybatisUserService.insertBatch(mybatisUsers); }
MybatisBatch方式
// 記錄開始時間,用于計算執(zhí)行耗時 long startTime = System.nanoTime(); // 使用 nanoTime 獲取更精確的時間 // 創(chuàng)建 MybatisBatch 對象,用于執(zhí)行批量操作 MybatisBatch<MybatisUser> mybatisBatch = new MybatisBatch<>(sqlSessionFactory, mybatisUser); // 創(chuàng)建 MybatisBatch.Method 對象,指定具體的操作方法 MybatisBatch.Method<MybatisUser> method = new MybatisBatch.Method<>(MybatisUserDao.class); // 執(zhí)行插入操作 mybatisBatch.execute(method.insert()); // 記錄結(jié)束時間,用于計算執(zhí)行耗時 long endTime = System.nanoTime(); // 獲取結(jié)束時間 // 計算執(zhí)行時間并打印 long executionTime = endTime - startTime; System.out.println("Execution time: " + executionTime + " nanoseconds");
SQL values方式
@Insert("<script>" + "INSERT INTO `mybatis_user`(`id`, `name`, `sex`) " + "VALUES " + "<foreach collection= 'list' item= 'item' separator= ','> " + "(#{item.id},#{item.name},#{item.sex})" + "</foreach></script>") int insertBatchSql(@Param("list") List<MybatisUser> list);
雖然插入很快,但是不是特別推薦,當實體數(shù)據(jù)過多的時候,sql拼接可能會出問題。
推薦的話 還是用多線程來分批插入。
流式查詢
/** * 選擇并處理數(shù)據(jù)庫中的所有用戶記錄 * 此方法使用baseMapper從數(shù)據(jù)庫中選擇所有用戶記錄,并使用ResultHandler進行處理 * 每處理一條記錄,都會在控制臺輸出當前記錄的信息 */ public void selectAll() { // 從數(shù)據(jù)庫獲取表所有記錄,做數(shù)據(jù)處理 baseMapper.selectList(Wrappers.emptyWrapper(), new ResultHandler<MybatisUser>() { // 初始化計數(shù)器,用于記錄當前處理的記錄數(shù) int count = 0; /** * 處理查詢結(jié)果 * 此方法在查詢到每條記錄時被調(diào)用,用于處理單個查詢結(jié)果 * @param resultContext 包含查詢結(jié)果的上下文 */ @Override public void handleResult(ResultContext<? extends MybatisUser> resultContext) { // 獲取當前處理的用戶記錄 MybatisUser mybatisUser = resultContext.getResultObject(); // 在控制臺輸出當前處理的記錄信息 System.out.println("當前處理第" + (++count) + "條記錄: " + mybatisUser); } }); }
下面是一下常用方法
- getResultObject: 獲取數(shù)據(jù)庫中的每一條記錄。
- getResultCount: 獲取當前處理的結(jié)果集條數(shù),每處理一條記錄,該計數(shù)器會加1,計數(shù)從1開始。
- stop: 停止繼續(xù)處理結(jié)果集,相當于在循環(huán)中使用 break 語句。
比如當我們需要導出大量數(shù)據(jù)的情況下,使用普通查詢導出是因為一次性把所有數(shù)據(jù)查詢出來放在集合中,這時候垃圾處理器釋放不了這一部分內(nèi)存,如果內(nèi)存不夠就會使程序掛掉。使用mybatis-plus的流式查詢, 一邊查詢一邊導出 ,這樣用過的數(shù)據(jù)寫入流之后垃圾處理器回收掉內(nèi)存空間,使內(nèi)存得到合理應(yīng)用 。
到此這篇關(guān)于MyBatis-Plus流式查詢的實現(xiàn)示例的文章就介紹到這了,更多相關(guān)MyBatis-Plus流式查詢內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
DecimalFormat數(shù)字格式化 0和# 的區(qū)別及說明
這篇文章主要介紹了DecimalFormat數(shù)字格式化 0和# 的區(qū)別及說明,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-10-10spring cloud升級到spring boot 2.x/Finchley.RELEASE遇到的坑
這篇文章主要介紹了spring cloud升級到spring boot 2.x/Finchley.RELEASE遇到的坑,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-08-08Java獲取resources下文件路徑的幾種方法及遇到的問題
這篇文章主要給大家介紹了關(guān)于Java獲取resources下文件路徑的幾種方法及遇到的問題,在Java開發(fā)中經(jīng)常需要讀取項目中resources目錄下的文件或獲取資源路徑,需要的朋友可以參考下2023-12-12Nacos下線服務(wù)時,下線報錯選舉Leader失敗問題以及解決
這篇文章主要介紹了Nacos下線服務(wù)時,下線報錯選舉Leader失敗問題以及解決,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-07-07springboot中spring.profiles.include的妙用分享
這篇文章主要介紹了springboot中spring.profiles.include的妙用,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-08-08