Java項(xiàng)目中大批量數(shù)據(jù)查詢導(dǎo)致OOM的解決
背景
項(xiàng)目中有時(shí)候一次性將大批量數(shù)據(jù)都查出來(lái)到內(nèi)存中導(dǎo)致內(nèi)存占用過(guò)多很可能會(huì)導(dǎo)致內(nèi)存溢出
內(nèi)存溢出的具體原因
在JVM內(nèi)存結(jié)構(gòu)中分為以下幾個(gè)模塊
- 程序計(jì)數(shù)器
- 虛擬機(jī)棧
- 本地方法棧
- 堆內(nèi)存
- 方法區(qū)
程序中的實(shí)例對(duì)象包括從數(shù)據(jù)庫(kù)讀取的數(shù)據(jù)是存在堆內(nèi)存中的。所以這里的OutOfMemoryError
是因?yàn)閿?shù)據(jù)量過(guò)大超過(guò)了堆內(nèi)存中設(shè)置的最大內(nèi)存,一次性讀取的數(shù)據(jù)太多導(dǎo)致內(nèi)存容納不下,拋出了內(nèi)存異常
錯(cuò)誤模擬
如果堆的內(nèi)存大小超過(guò) -Xmx
設(shè)定的最大內(nèi)存, 就會(huì)拋出 OutOfMemoryError
異常,先準(zhǔn)備好數(shù)據(jù)在啟動(dòng)項(xiàng)目時(shí)把堆內(nèi)存的最大值設(shè)置小一點(diǎn)就可以進(jìn)行模擬內(nèi)存溢出的異常
搭建一個(gè)本地項(xiàng)目。需求描述:查詢表call_task中待撥打的數(shù)據(jù)進(jìn)行撥打,call_task中一次可能會(huì)有大批量數(shù)據(jù)需要處理。本次準(zhǔn)備了1萬(wàn)條數(shù)據(jù)
/** * 查詢數(shù)據(jù)執(zhí)行撥打 **/ @Override public void waitingCall() { List<CallTask> waitingTaskList = list(Wrappers.<CallTask>lambdaQuery() .eq(CallTask::getCallStatus, "WAITING") .le(CallTask::getReqTime, new Date()) ); if (CollUtil.isEmpty(waitingTaskList)) { return; } call(waitingTaskList); } /** * 模擬執(zhí)行具體撥打數(shù)據(jù) **/ private void call(List<CallTask> waitingTaskList) { try { TimeUnit.SECONDS.sleep(5); } catch (InterruptedException e) { throw new RuntimeException(e); } }
啟動(dòng)項(xiàng)目時(shí)將JVM堆內(nèi)存的大小調(diào)整到合適數(shù)值(可以造成內(nèi)存溢出的情況)。本次最大設(shè)置的20m,最小設(shè)置的10m
- -Xmx用來(lái)表示堆的最大內(nèi)存
- -Xms用來(lái)表示堆的最小內(nèi)存
idea設(shè)置方式, 選擇 run/debug configurations
設(shè)置 VM options
問(wèn)題復(fù)現(xiàn)
啟動(dòng)程序執(zhí)行方法,程序出現(xiàn)錯(cuò)誤 java.lang.OutOfMemoryError: Java heap space
解決辦法
既然是數(shù)據(jù)量過(guò)大導(dǎo)致的問(wèn)題,我們可以減少每次查詢的數(shù)據(jù)來(lái)解決這個(gè)問(wèn)題
使用分頁(yè)查詢,避免一次性查詢所有的數(shù)據(jù),分批次處理
public void methodOne() { long page = 1; long limit = 500; long total; do { Page<CallTask> taskPage = new Page<>(page, limit); Page<CallTask> pagResult = page(taskPage, Wrappers.<CallTask>lambdaQuery() .eq(CallTask::getCallStatus, "WAITING") .le(CallTask::getReqTime, new Date())); total = pagResult.getTotal(); List<CallTask> records = pagResult.getRecords(); if (CollUtil.isEmpty(records)) { break; } call(records); page++; } while (page * limit < total); }
使用流式查詢
public void methodTwo() { Date reqDate = new Date(); LambdaQueryWrapper<CallTask> wrapper = Wrappers.<CallTask>lambdaQuery() .eq(CallTask::getCallStatus, "WAITING") .le(CallTask::getReqTime, reqDate); int batchSize = 1000; int offset = 0; while (true) { List<CallTask> taskList = list(wrapper.last("limit " + offset + "," + batchSize)); if (CollUtil.isEmpty(taskList)) { break; } offset += batchSize; call(taskList); } }
流式查詢和分頁(yè)查詢的使用場(chǎng)景
分頁(yè)查詢通常用于展示數(shù)據(jù),如在網(wǎng)頁(yè)上顯示數(shù)據(jù)列表,需要分頁(yè)展示。而流式查詢通常用于數(shù)據(jù)處理,如在數(shù)據(jù)清洗、數(shù)據(jù)分析等場(chǎng)景中
查詢數(shù)據(jù)的建議
減少查詢字段,避免 select *
到此這篇關(guān)于Java項(xiàng)目中大批量數(shù)據(jù)查詢導(dǎo)致OOM的解決的文章就介紹到這了,更多相關(guān)Java數(shù)據(jù)查詢導(dǎo)致OOM內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Spring中@Autowired @Resource @Inject三個(gè)注解有什么區(qū)別
在我們使用Spring框架進(jìn)行日常開發(fā)過(guò)程中,經(jīng)常會(huì)使用@Autowired, @Resource, @Inject注解來(lái)進(jìn)行依賴注入,下面來(lái)介紹一下這三個(gè)注解有什么區(qū)別2023-03-03MyBatis SpringMVC整合實(shí)現(xiàn)步驟詳解
這篇文章主要介紹了MyBatis SpringMVC整合實(shí)現(xiàn)步驟詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08feign遠(yuǎn)程調(diào)用無(wú)法傳遞對(duì)象屬性405的問(wèn)題
這篇文章主要介紹了feign遠(yuǎn)程調(diào)用無(wú)法傳遞對(duì)象屬性405的問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-03-03IDEA JarEditor編輯jar包方式(直接新增,修改,刪除jar包內(nèi)的class文件)
文章主要介紹了如何使用IDEA的JarEditor插件直接修改jar包內(nèi)的class文件,而不需要手動(dòng)解壓、反編譯和重新打包,通過(guò)該插件,可以更方便地進(jìn)行jar包的修改和測(cè)試2025-01-01如何在java 8 stream表達(dá)式實(shí)現(xiàn)if/else邏輯
這篇文章主要介紹了如何在java 8 stream表達(dá)式實(shí)現(xiàn)if/else邏輯,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04Spring?Data?JPA框架的Repository自定義實(shí)現(xiàn)詳解
Spring?Data?JPA是Spring基于JPA規(guī)范的基礎(chǔ)上封裝的?套?JPA?應(yīng)?框架,可使開發(fā)者?極簡(jiǎn)的代碼即可實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)和操作,本篇我們來(lái)了解Spring?Data?JPA框架的Repository自定義實(shí)現(xiàn)2022-04-04Java實(shí)現(xiàn)購(gòu)物管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了Java實(shí)現(xiàn)購(gòu)物管理系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-01-01