欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Java項目中大批量數(shù)據(jù)查詢導(dǎo)致OOM的解決

 更新時間:2023年06月26日 11:48:50   作者:逆流°只是風(fēng)景-bjhxcc  
本文主要介紹了Java項目中大批量數(shù)據(jù)查詢導(dǎo)致OOM的解決,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

背景

項目中有時候一次性將大批量數(shù)據(jù)都查出來到內(nèi)存中導(dǎo)致內(nèi)存占用過多很可能會導(dǎo)致內(nèi)存溢出

內(nèi)存溢出的具體原因

在JVM內(nèi)存結(jié)構(gòu)中分為以下幾個模塊

  • 程序計數(shù)器
  • 虛擬機棧
  • 本地方法棧
  • 堆內(nèi)存
  • 方法區(qū)

程序中的實例對象包括從數(shù)據(jù)庫讀取的數(shù)據(jù)是存在堆內(nèi)存中的。所以這里的OutOfMemoryError是因為數(shù)據(jù)量過大超過了堆內(nèi)存中設(shè)置的最大內(nèi)存,一次性讀取的數(shù)據(jù)太多導(dǎo)致內(nèi)存容納不下,拋出了內(nèi)存異常

錯誤模擬

如果堆的內(nèi)存大小超過 -Xmx 設(shè)定的最大內(nèi)存, 就會拋出 OutOfMemoryError 異常,先準(zhǔn)備好數(shù)據(jù)在啟動項目時把堆內(nèi)存的最大值設(shè)置小一點就可以進行模擬內(nèi)存溢出的異常

搭建一個本地項目。需求描述:查詢表call_task中待撥打的數(shù)據(jù)進行撥打,call_task中一次可能會有大批量數(shù)據(jù)需要處理。本次準(zhǔn)備了1萬條數(shù)據(jù)

/**
 * 查詢數(shù)據(jù)執(zhí)行撥打
 **/
@Override
public void waitingCall() {
    List<CallTask> waitingTaskList = list(Wrappers.<CallTask>lambdaQuery()
            .eq(CallTask::getCallStatus, "WAITING")
            .le(CallTask::getReqTime, new Date())
    );
    if (CollUtil.isEmpty(waitingTaskList)) {
        return;
    }
    call(waitingTaskList);
}
/**
 * 模擬執(zhí)行具體撥打數(shù)據(jù)
 **/
private void call(List<CallTask> waitingTaskList) {
    try {
        TimeUnit.SECONDS.sleep(5);
    } catch (InterruptedException e) {
        throw new RuntimeException(e);
    }
}

啟動項目時將JVM堆內(nèi)存的大小調(diào)整到合適數(shù)值(可以造成內(nèi)存溢出的情況)。本次最大設(shè)置的20m,最小設(shè)置的10m

  • -Xmx用來表示堆的最大內(nèi)存
  • -Xms用來表示堆的最小內(nèi)存

idea設(shè)置方式, 選擇 run/debug configurations 設(shè)置 VM options

問題復(fù)現(xiàn)

啟動程序執(zhí)行方法,程序出現(xiàn)錯誤 java.lang.OutOfMemoryError: Java heap space

解決辦法

既然是數(shù)據(jù)量過大導(dǎo)致的問題,我們可以減少每次查詢的數(shù)據(jù)來解決這個問題

使用分頁查詢,避免一次性查詢所有的數(shù)據(jù),分批次處理

public void methodOne() {
    long page = 1;
    long limit = 500;
    long total;
    do {
        Page<CallTask> taskPage = new Page<>(page, limit);
        Page<CallTask> pagResult = page(taskPage,
                Wrappers.<CallTask>lambdaQuery()
                        .eq(CallTask::getCallStatus, "WAITING")
                        .le(CallTask::getReqTime, new Date()));
        total = pagResult.getTotal();
        List<CallTask> records = pagResult.getRecords();
        if (CollUtil.isEmpty(records)) {
            break;
        }
        call(records);
        page++;
    } while (page * limit < total);
}

使用流式查詢

public void methodTwo() {
    Date reqDate = new Date();
    LambdaQueryWrapper<CallTask> wrapper = Wrappers.<CallTask>lambdaQuery()
            .eq(CallTask::getCallStatus, "WAITING")
            .le(CallTask::getReqTime, reqDate);
    int batchSize = 1000;
    int offset = 0;
    while (true) {
        List<CallTask> taskList = list(wrapper.last("limit " + offset + "," + batchSize));
        if (CollUtil.isEmpty(taskList)) {
            break;
        }
        offset += batchSize;
        call(taskList);
    }
}

流式查詢和分頁查詢的使用場景

分頁查詢通常用于展示數(shù)據(jù),如在網(wǎng)頁上顯示數(shù)據(jù)列表,需要分頁展示。而流式查詢通常用于數(shù)據(jù)處理,如在數(shù)據(jù)清洗、數(shù)據(jù)分析等場景中

查詢數(shù)據(jù)的建議

減少查詢字段,避免 select *

到此這篇關(guān)于Java項目中大批量數(shù)據(jù)查詢導(dǎo)致OOM的解決的文章就介紹到這了,更多相關(guān)Java數(shù)據(jù)查詢導(dǎo)致OOM內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Spring中基于XML的AOP配置詳解

    Spring中基于XML的AOP配置詳解

    這篇文章主要介紹了Spring中基于XML的AOP配置,本文通過圖文實例相結(jié)合給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-10-10
  • Spring中@Autowired @Resource @Inject三個注解有什么區(qū)別

    Spring中@Autowired @Resource @Inject三個注解有什么區(qū)別

    在我們使用Spring框架進行日常開發(fā)過程中,經(jīng)常會使用@Autowired, @Resource, @Inject注解來進行依賴注入,下面來介紹一下這三個注解有什么區(qū)別
    2023-03-03
  • Java深入講解Bean作用域與生命周期

    Java深入講解Bean作用域與生命周期

    這篇文章主要介紹了淺談Spring中Bean的作用域和生命周期,從創(chuàng)建到消亡的完整過程,例如人從出生到死亡的整個過程就是一個生命周期。本文將通過示例為大家詳細(xì)講講,感興趣的可以學(xué)習(xí)一下
    2022-06-06
  • MyBatis SpringMVC整合實現(xiàn)步驟詳解

    MyBatis SpringMVC整合實現(xiàn)步驟詳解

    這篇文章主要介紹了MyBatis SpringMVC整合實現(xiàn)步驟詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-08-08
  • feign遠(yuǎn)程調(diào)用無法傳遞對象屬性405的問題

    feign遠(yuǎn)程調(diào)用無法傳遞對象屬性405的問題

    這篇文章主要介紹了feign遠(yuǎn)程調(diào)用無法傳遞對象屬性405的問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-03-03
  • IDEA JarEditor編輯jar包方式(直接新增,修改,刪除jar包內(nèi)的class文件)

    IDEA JarEditor編輯jar包方式(直接新增,修改,刪除jar包內(nèi)的class文件)

    文章主要介紹了如何使用IDEA的JarEditor插件直接修改jar包內(nèi)的class文件,而不需要手動解壓、反編譯和重新打包,通過該插件,可以更方便地進行jar包的修改和測試
    2025-01-01
  • 如何在java 8 stream表達(dá)式實現(xiàn)if/else邏輯

    如何在java 8 stream表達(dá)式實現(xiàn)if/else邏輯

    這篇文章主要介紹了如何在java 8 stream表達(dá)式實現(xiàn)if/else邏輯,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-04-04
  • Spring?Data?JPA框架的Repository自定義實現(xiàn)詳解

    Spring?Data?JPA框架的Repository自定義實現(xiàn)詳解

    Spring?Data?JPA是Spring基于JPA規(guī)范的基礎(chǔ)上封裝的?套?JPA?應(yīng)?框架,可使開發(fā)者?極簡的代碼即可實現(xiàn)對數(shù)據(jù)庫的訪問和操作,本篇我們來了解Spring?Data?JPA框架的Repository自定義實現(xiàn)
    2022-04-04
  • java實現(xiàn)2048小游戲(含注釋)

    java實現(xiàn)2048小游戲(含注釋)

    這篇文章主要為大家介紹了java實現(xiàn)2048小游戲,含詳細(xì)注釋,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-04-04
  • Java實現(xiàn)購物管理系統(tǒng)

    Java實現(xiàn)購物管理系統(tǒng)

    這篇文章主要為大家詳細(xì)介紹了Java實現(xiàn)購物管理系統(tǒng),文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-01-01

最新評論