欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Java多線程導致CPU占用100%解決及線程池正確關(guān)閉方式

 更新時間:2021年05月27日 09:39:58   作者:levi125  
1000萬表數(shù)據(jù)導入內(nèi)存數(shù)據(jù)庫,按分頁大小10000查詢,多線程,15條線程跑,最后發(fā)現(xiàn)CPU占用100%卡死,那么如何解決,本文就來介紹一下,感興趣的朋友可以了解一下

簡介

情景:1000萬表數(shù)據(jù)導入內(nèi)存數(shù)據(jù)庫,按分頁大小10000查詢,多線程,15條線程跑。
使用了ExecutorService executor = Executors.newFixedThreadPool(15)
本地跑了一段時間后,發(fā)現(xiàn)電腦CPU逐漸升高,最后CPU占用100%卡死,內(nèi)存使用也高達80%。

排查問題

Debug 發(fā)現(xiàn)雖然創(chuàng)建了定長15的線程池,但是因為數(shù)據(jù)量大,在For中循環(huán)分頁查詢的List會持續(xù)加入LinkedBlockingQueue()
隊列中每一個等待的任務,又加載了1萬的數(shù)據(jù)。所以不管是線程數(shù)的CPU搶占,還是內(nèi)存的消耗都是極高。
所以是不是能夠控制等待隊列LinkedBlockingQueue的上限就可以了。

解決辦法

使用AtomicLong 統(tǒng)計線程是否完成,再執(zhí)行executor.submit()提交新的任務導隊列中。
偽代碼如下:

private AtomicLong threadNum = new AtomicLong(0);

public void init() throws Exception {
	ExecutorService executor = Executors.newFixedThreadPool(15);

	Integer total = accountMapper.selectCount(new QueryWrapper<>());
	Integer pageSize = 10000;  // 頁大小
	Integer pageCount = (total + pageSize -1) / pageSize; // 總頁數(shù)

	for (Integer start = 1; start <= pageCount; start++) {

		List<Account> list = accountMapper.selectPage(new Page<>(start, pageSize), query).getRecords();

		//等待線程任務完成,設置30,可令運行線程數(shù)為15,等待隊列線程數(shù)為15
		while (threadNum.get() >= 30){
			Thread.sleep(5000);
		}

		//開啟1個線程+1
		threadNum.incrementAndGet();
	
		executor.submit(() -> {

			try {
				// 處理業(yè)務
				dealMessage(list);
				// 任務完成 -1
				threadNum.decrementAndGet();
			} catch (Exception e) {
				e.printStackTrace();
			}

		});

	}
        executor.shutdown();
        executor.awaitTermination(1, TimeUnit.DAYS);

}

效果就是CPU保持在15~45%之間,內(nèi)存占用也只有45%。

目前只想到這樣的方式,控制等待隊列LinkedBlockingQueue的上限,還有更好的方式請告知,感謝!

2021-02-03-分割線
最近又用到了多線程開發(fā),發(fā)現(xiàn)了還是有很多方式控制的。簡單的使用java的Semaphore令牌限流控制也能實現(xiàn)。

多線程:

  • 線程池必須關(guān)閉,main主線程才能結(jié)束(接口才會返回)finally { executorService.shutdown(); }
  • 主線程等待保證多線程所有子線程任務執(zhí)行完畢,再結(jié)束。 -> executorService.awaitTermination(1, TimeUnit.DAYS);
  • semaphore 令牌限流控制fixedThread線程池,本例子就是最多同時擁有2個線程進行工作
  • fixedThread.execute() fixedThread.submit() 的差別除了后者可以返回結(jié)果外,后者還會catch掉異常信息,無法拋到主線程中。

public static void main(String[] args) {
    final List<String> tableNames = new ArrayList<>();
    tableNames.add("a");
    tableNames.add("b");
    tableNames.add("c");
    tableNames.add("d");
    tableNames.add("e");
    tableNames.add("f");

    final Semaphore semaphore = new Semaphore(2);
    final ExecutorService fixedThread = Executors.newCachedThreadPool();
    for (final String tableName : tableNames) {
        //阻塞,獲取令牌
        try {
            semaphore.acquire();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        //do
        fixedThread.execute(() -> {  //can throw ex log
            final ExecutorService executorService = Executors.newCachedThreadPool();
            try {
                executorService.submit(() -> { //can't throw ex log
                    //int i = 1/0;
                    System.out.println("tableName2:" + tableName);
                });
                //int i = 1/0;
                System.out.println("tableName:" + tableName);
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                executorService.shutdown();
                try {
                    executorService.awaitTermination(1, TimeUnit.DAYS);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                semaphore.release();
                System.out.println("semaphore.release");
            }
        });
    }
    // 記得關(guān)閉線程池
    fixedThread.shutdown();
    try {
        fixedThread.awaitTermination(1, TimeUnit.DAYS);
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    System.out.println("主線程...");
}

打印結(jié)果

tableName:b
tableName2:b
tableName:a
tableName2:a
semaphore.release
semaphore.release
tableName:d
tableName2:d
tableName:c
semaphore.release
tableName:e
tableName2:c
semaphore.release
tableName:f
tableName2:e
semaphore.release
tableName2:f
semaphore.release
主線程...

到此這篇關(guān)于Java多線程導致CPU占用100%解決及線程池正確關(guān)閉方式的文章就介紹到這了,更多相關(guān)Java多線程CPU占用100%內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • SpringBoot事件發(fā)布和監(jiān)聽詳解

    SpringBoot事件發(fā)布和監(jiān)聽詳解

    今天去官網(wǎng)查看spring boot資料時,在特性中看見了系統(tǒng)的事件及監(jiān)聽章節(jié),所以下面這篇文章主要給大家介紹了關(guān)于SpringBoot事件發(fā)布和監(jiān)聽的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2021-11-11
  • Alibaba?SpringCloud集成Nacos、openFeign實現(xiàn)負載均衡的解決方案

    Alibaba?SpringCloud集成Nacos、openFeign實現(xiàn)負載均衡的解決方案

    Spring?Cloud?Alibaba?致力于提供微服務開發(fā)的一站式解決方案,此項目包含開發(fā)分布式應用微服務的必需組件,這篇文章主要介紹了Alibaba?SpringCloud集成Nacos、openFeign實現(xiàn)負載均衡,需要的朋友可以參考下
    2024-05-05
  • startJVM錯誤Unable to load native library: libjvm.so解決方法

    startJVM錯誤Unable to load native library: libjvm.so解決方法

    這篇文章主要介紹了startJVM錯誤Unable to load native library: libjvm.so解決方法,需要的朋友可以參考下
    2014-07-07
  • Java 發(fā)送http請求上傳文件功能實例

    Java 發(fā)送http請求上傳文件功能實例

    本文通過實例代碼給大家介紹了Java 發(fā)送http請求上傳文件功能,需要的朋友參考下吧
    2017-06-06
  • Java使用阻塞隊列控制線程通信的方法實例詳解

    Java使用阻塞隊列控制線程通信的方法實例詳解

    這篇文章主要介紹了Java使用阻塞隊列控制線程通信的方法,結(jié)合實例形式詳細分析了java使用阻塞隊列控制線程通信的相關(guān)原理、方法及操作注意事項,需要的朋友可以參考下
    2019-09-09
  • 淺談Java安全編碼之文件和共享目錄的安全性

    淺談Java安全編碼之文件和共享目錄的安全性

    Java程序是跨平臺的,可以運行在windows也可以運行在linux。但是平臺不同,平臺中的文件權(quán)限也是不同的。windows大家經(jīng)常使用,并且是可視化的權(quán)限管理,這里就不多講了。本文主要講講linux下面的文件的權(quán)限和安全性問題,并且探討一下如何在java程序中考慮文件的安全性
    2021-06-06
  • 詳解Java內(nèi)存泄露的示例代碼

    詳解Java內(nèi)存泄露的示例代碼

    這篇文章通過一個Demo來簡要介紹下ThreadLocal和ClassLoader導致內(nèi)存泄露最終OutOfMemory的場景。下面通過示例代碼給大家分享Java內(nèi)存泄露的相關(guān)知識,感興趣的朋友一起看看吧
    2017-12-12
  • java中jdbcTemplate的queryForList(坑)

    java中jdbcTemplate的queryForList(坑)

    本文主要介紹了java中jdbcTemplate的queryForList,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-09-09
  • Linux?Ubuntu系統(tǒng)下配置JDK環(huán)境、MySQL環(huán)境全過程

    Linux?Ubuntu系統(tǒng)下配置JDK環(huán)境、MySQL環(huán)境全過程

    眾所周知Ubuntu是一種基于Linux的操作系統(tǒng),它提供了一個穩(wěn)定、安全和易于使用的環(huán)境,下面這篇文章主要給大家介紹了關(guān)于Linux?Ubuntu系統(tǒng)下配置JDK環(huán)境、MySQL環(huán)境的相關(guān)資料,文中通過代碼介紹的非常詳細,需要的朋友可以參考下
    2024-07-07
  • 關(guān)于mybatis resulttype 返回值異常的問題

    關(guān)于mybatis resulttype 返回值異常的問題

    這篇文章主要介紹了mybatis resulttype 返回值異常的問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-08-08

最新評論