Java項目中大批量數(shù)據(jù)查詢導(dǎo)致OOM的解決
背景
項目中有時候一次性將大批量數(shù)據(jù)都查出來到內(nèi)存中導(dǎo)致內(nèi)存占用過多很可能會導(dǎo)致內(nèi)存溢出
內(nèi)存溢出的具體原因
在JVM內(nèi)存結(jié)構(gòu)中分為以下幾個模塊
- 程序計數(shù)器
- 虛擬機棧
- 本地方法棧
- 堆內(nèi)存
- 方法區(qū)
程序中的實例對象包括從數(shù)據(jù)庫讀取的數(shù)據(jù)是存在堆內(nèi)存中的。所以這里的OutOfMemoryError是因為數(shù)據(jù)量過大超過了堆內(nèi)存中設(shè)置的最大內(nèi)存,一次性讀取的數(shù)據(jù)太多導(dǎo)致內(nèi)存容納不下,拋出了內(nèi)存異常
錯誤模擬
如果堆的內(nèi)存大小超過 -Xmx 設(shè)定的最大內(nèi)存, 就會拋出 OutOfMemoryError 異常,先準(zhǔn)備好數(shù)據(jù)在啟動項目時把堆內(nèi)存的最大值設(shè)置小一點就可以進行模擬內(nèi)存溢出的異常
搭建一個本地項目。需求描述:查詢表call_task中待撥打的數(shù)據(jù)進行撥打,call_task中一次可能會有大批量數(shù)據(jù)需要處理。本次準(zhǔn)備了1萬條數(shù)據(jù)
/**
* 查詢數(shù)據(jù)執(zhí)行撥打
**/
@Override
public void waitingCall() {
List<CallTask> waitingTaskList = list(Wrappers.<CallTask>lambdaQuery()
.eq(CallTask::getCallStatus, "WAITING")
.le(CallTask::getReqTime, new Date())
);
if (CollUtil.isEmpty(waitingTaskList)) {
return;
}
call(waitingTaskList);
}
/**
* 模擬執(zhí)行具體撥打數(shù)據(jù)
**/
private void call(List<CallTask> waitingTaskList) {
try {
TimeUnit.SECONDS.sleep(5);
} catch (InterruptedException e) {
throw new RuntimeException(e);
}
}啟動項目時將JVM堆內(nèi)存的大小調(diào)整到合適數(shù)值(可以造成內(nèi)存溢出的情況)。本次最大設(shè)置的20m,最小設(shè)置的10m
- -Xmx用來表示堆的最大內(nèi)存
- -Xms用來表示堆的最小內(nèi)存
idea設(shè)置方式, 選擇 run/debug configurations 設(shè)置 VM options

問題復(fù)現(xiàn)
啟動程序執(zhí)行方法,程序出現(xiàn)錯誤 java.lang.OutOfMemoryError: Java heap space

解決辦法
既然是數(shù)據(jù)量過大導(dǎo)致的問題,我們可以減少每次查詢的數(shù)據(jù)來解決這個問題
使用分頁查詢,避免一次性查詢所有的數(shù)據(jù),分批次處理
public void methodOne() {
long page = 1;
long limit = 500;
long total;
do {
Page<CallTask> taskPage = new Page<>(page, limit);
Page<CallTask> pagResult = page(taskPage,
Wrappers.<CallTask>lambdaQuery()
.eq(CallTask::getCallStatus, "WAITING")
.le(CallTask::getReqTime, new Date()));
total = pagResult.getTotal();
List<CallTask> records = pagResult.getRecords();
if (CollUtil.isEmpty(records)) {
break;
}
call(records);
page++;
} while (page * limit < total);
}使用流式查詢
public void methodTwo() {
Date reqDate = new Date();
LambdaQueryWrapper<CallTask> wrapper = Wrappers.<CallTask>lambdaQuery()
.eq(CallTask::getCallStatus, "WAITING")
.le(CallTask::getReqTime, reqDate);
int batchSize = 1000;
int offset = 0;
while (true) {
List<CallTask> taskList = list(wrapper.last("limit " + offset + "," + batchSize));
if (CollUtil.isEmpty(taskList)) {
break;
}
offset += batchSize;
call(taskList);
}
}流式查詢和分頁查詢的使用場景
分頁查詢通常用于展示數(shù)據(jù),如在網(wǎng)頁上顯示數(shù)據(jù)列表,需要分頁展示。而流式查詢通常用于數(shù)據(jù)處理,如在數(shù)據(jù)清洗、數(shù)據(jù)分析等場景中
查詢數(shù)據(jù)的建議
減少查詢字段,避免 select *
到此這篇關(guān)于Java項目中大批量數(shù)據(jù)查詢導(dǎo)致OOM的解決的文章就介紹到這了,更多相關(guān)Java數(shù)據(jù)查詢導(dǎo)致OOM內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Spring中@Autowired @Resource @Inject三個注解有什么區(qū)別
在我們使用Spring框架進行日常開發(fā)過程中,經(jīng)常會使用@Autowired, @Resource, @Inject注解來進行依賴注入,下面來介紹一下這三個注解有什么區(qū)別2023-03-03
MyBatis SpringMVC整合實現(xiàn)步驟詳解
這篇文章主要介紹了MyBatis SpringMVC整合實現(xiàn)步驟詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-08-08
feign遠(yuǎn)程調(diào)用無法傳遞對象屬性405的問題
這篇文章主要介紹了feign遠(yuǎn)程調(diào)用無法傳遞對象屬性405的問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-03-03
IDEA JarEditor編輯jar包方式(直接新增,修改,刪除jar包內(nèi)的class文件)
文章主要介紹了如何使用IDEA的JarEditor插件直接修改jar包內(nèi)的class文件,而不需要手動解壓、反編譯和重新打包,通過該插件,可以更方便地進行jar包的修改和測試2025-01-01
如何在java 8 stream表達(dá)式實現(xiàn)if/else邏輯
這篇文章主要介紹了如何在java 8 stream表達(dá)式實現(xiàn)if/else邏輯,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-04-04
Spring?Data?JPA框架的Repository自定義實現(xiàn)詳解
Spring?Data?JPA是Spring基于JPA規(guī)范的基礎(chǔ)上封裝的?套?JPA?應(yīng)?框架,可使開發(fā)者?極簡的代碼即可實現(xiàn)對數(shù)據(jù)庫的訪問和操作,本篇我們來了解Spring?Data?JPA框架的Repository自定義實現(xiàn)2022-04-04

