Java項目中大批量數(shù)據(jù)查詢導(dǎo)致OOM的解決
背景
項目中有時候一次性將大批量數(shù)據(jù)都查出來到內(nèi)存中導(dǎo)致內(nèi)存占用過多很可能會導(dǎo)致內(nèi)存溢出
內(nèi)存溢出的具體原因
在JVM內(nèi)存結(jié)構(gòu)中分為以下幾個模塊
- 程序計數(shù)器
- 虛擬機棧
- 本地方法棧
- 堆內(nèi)存
- 方法區(qū)
程序中的實例對象包括從數(shù)據(jù)庫讀取的數(shù)據(jù)是存在堆內(nèi)存中的。所以這里的OutOfMemoryError
是因為數(shù)據(jù)量過大超過了堆內(nèi)存中設(shè)置的最大內(nèi)存,一次性讀取的數(shù)據(jù)太多導(dǎo)致內(nèi)存容納不下,拋出了內(nèi)存異常
錯誤模擬
如果堆的內(nèi)存大小超過 -Xmx
設(shè)定的最大內(nèi)存, 就會拋出 OutOfMemoryError
異常,先準(zhǔn)備好數(shù)據(jù)在啟動項目時把堆內(nèi)存的最大值設(shè)置小一點就可以進行模擬內(nèi)存溢出的異常
搭建一個本地項目。需求描述:查詢表call_task中待撥打的數(shù)據(jù)進行撥打,call_task中一次可能會有大批量數(shù)據(jù)需要處理。本次準(zhǔn)備了1萬條數(shù)據(jù)
/** * 查詢數(shù)據(jù)執(zhí)行撥打 **/ @Override public void waitingCall() { List<CallTask> waitingTaskList = list(Wrappers.<CallTask>lambdaQuery() .eq(CallTask::getCallStatus, "WAITING") .le(CallTask::getReqTime, new Date()) ); if (CollUtil.isEmpty(waitingTaskList)) { return; } call(waitingTaskList); } /** * 模擬執(zhí)行具體撥打數(shù)據(jù) **/ private void call(List<CallTask> waitingTaskList) { try { TimeUnit.SECONDS.sleep(5); } catch (InterruptedException e) { throw new RuntimeException(e); } }
啟動項目時將JVM堆內(nèi)存的大小調(diào)整到合適數(shù)值(可以造成內(nèi)存溢出的情況)。本次最大設(shè)置的20m,最小設(shè)置的10m
- -Xmx用來表示堆的最大內(nèi)存
- -Xms用來表示堆的最小內(nèi)存
idea設(shè)置方式, 選擇 run/debug configurations
設(shè)置 VM options
問題復(fù)現(xiàn)
啟動程序執(zhí)行方法,程序出現(xiàn)錯誤 java.lang.OutOfMemoryError: Java heap space
解決辦法
既然是數(shù)據(jù)量過大導(dǎo)致的問題,我們可以減少每次查詢的數(shù)據(jù)來解決這個問題
使用分頁查詢,避免一次性查詢所有的數(shù)據(jù),分批次處理
public void methodOne() { long page = 1; long limit = 500; long total; do { Page<CallTask> taskPage = new Page<>(page, limit); Page<CallTask> pagResult = page(taskPage, Wrappers.<CallTask>lambdaQuery() .eq(CallTask::getCallStatus, "WAITING") .le(CallTask::getReqTime, new Date())); total = pagResult.getTotal(); List<CallTask> records = pagResult.getRecords(); if (CollUtil.isEmpty(records)) { break; } call(records); page++; } while (page * limit < total); }
使用流式查詢
public void methodTwo() { Date reqDate = new Date(); LambdaQueryWrapper<CallTask> wrapper = Wrappers.<CallTask>lambdaQuery() .eq(CallTask::getCallStatus, "WAITING") .le(CallTask::getReqTime, reqDate); int batchSize = 1000; int offset = 0; while (true) { List<CallTask> taskList = list(wrapper.last("limit " + offset + "," + batchSize)); if (CollUtil.isEmpty(taskList)) { break; } offset += batchSize; call(taskList); } }
流式查詢和分頁查詢的使用場景
分頁查詢通常用于展示數(shù)據(jù),如在網(wǎng)頁上顯示數(shù)據(jù)列表,需要分頁展示。而流式查詢通常用于數(shù)據(jù)處理,如在數(shù)據(jù)清洗、數(shù)據(jù)分析等場景中
查詢數(shù)據(jù)的建議
減少查詢字段,避免 select *
到此這篇關(guān)于Java項目中大批量數(shù)據(jù)查詢導(dǎo)致OOM的解決的文章就介紹到這了,更多相關(guān)Java數(shù)據(jù)查詢導(dǎo)致OOM內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Spring中@Autowired @Resource @Inject三個注解有什么區(qū)別
在我們使用Spring框架進行日常開發(fā)過程中,經(jīng)常會使用@Autowired, @Resource, @Inject注解來進行依賴注入,下面來介紹一下這三個注解有什么區(qū)別2023-03-03MyBatis SpringMVC整合實現(xiàn)步驟詳解
這篇文章主要介紹了MyBatis SpringMVC整合實現(xiàn)步驟詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-08-08feign遠(yuǎn)程調(diào)用無法傳遞對象屬性405的問題
這篇文章主要介紹了feign遠(yuǎn)程調(diào)用無法傳遞對象屬性405的問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-03-03IDEA JarEditor編輯jar包方式(直接新增,修改,刪除jar包內(nèi)的class文件)
文章主要介紹了如何使用IDEA的JarEditor插件直接修改jar包內(nèi)的class文件,而不需要手動解壓、反編譯和重新打包,通過該插件,可以更方便地進行jar包的修改和測試2025-01-01如何在java 8 stream表達(dá)式實現(xiàn)if/else邏輯
這篇文章主要介紹了如何在java 8 stream表達(dá)式實現(xiàn)if/else邏輯,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-04-04Spring?Data?JPA框架的Repository自定義實現(xiàn)詳解
Spring?Data?JPA是Spring基于JPA規(guī)范的基礎(chǔ)上封裝的?套?JPA?應(yīng)?框架,可使開發(fā)者?極簡的代碼即可實現(xiàn)對數(shù)據(jù)庫的訪問和操作,本篇我們來了解Spring?Data?JPA框架的Repository自定義實現(xiàn)2022-04-04