關(guān)于線程池異步線程中再次獲取線程池資源的問(wèn)題
問(wèn)題描述
在線上發(fā)生的一次問(wèn)題,在場(chǎng)景中有這樣一個(gè)業(yè)務(wù),需要異步執(zhí)行一個(gè)主任務(wù),主任務(wù)中又包含著N個(gè)子任務(wù),為了整個(gè)主任務(wù)能夠快速處理,又將子任務(wù)按照數(shù)量獲取線程資源異步處理,即異步線程A中再異步調(diào)用A1,A2,A3. A可能同時(shí)存在多個(gè).
實(shí)際場(chǎng)景中,由于系統(tǒng)線程池分配數(shù)量較小,且一段時(shí)間內(nèi)先后啟動(dòng)了多個(gè)主任務(wù),耗時(shí)的主任務(wù)中又用子任務(wù)取申請(qǐng)線程導(dǎo)致線程池資源耗盡
問(wèn)題原因
1. 主任務(wù)是從線程池中獲取的線程資源,同時(shí)主任務(wù)比較耗時(shí)?
2. 每個(gè)主任務(wù)中包含的N的子任務(wù),會(huì)再申請(qǐng)線程,處理完畢釋放回線程池
3. 啟動(dòng)了多個(gè)主任務(wù)時(shí),每個(gè)主任務(wù)在未結(jié)束之前,都會(huì)占用自身一個(gè)線程不會(huì)釋放,消耗一個(gè)線程池資源
4. 后期頻繁啟動(dòng)主任務(wù),可能使數(shù)量=線程池線程數(shù),此時(shí)子任務(wù)無(wú)法再?gòu)木€程池獲得資源,就進(jìn)入隊(duì)列等待
5. 最終結(jié)果就造成了每個(gè)主任務(wù)都占用線程,但主任務(wù)內(nèi)的子任務(wù)無(wú)法獲取線程,線程池癱瘓不可用
問(wèn)題復(fù)現(xiàn)
package test;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.RandomUtils;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
/**
* @title 線程池異步線程中再次獲取線程池資源的問(wèn)題
* @author Xingbz
* @description
* 記;
*
* 究其原因在于:
*
* @createDate 2020-7-17
*/
@Slf4j
public class TestWork {
private static final ThreadPoolTaskExecutor EXECUTOR;
static {
EXECUTOR = myExecutor();
}
/** 初始化線程池 */
public static ThreadPoolTaskExecutor myExecutor() {
ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
// 核心線程數(shù)
executor.setCorePoolSize(5);
// 最大線程數(shù)
executor.setMaxPoolSize(20);
// 排隊(duì)任務(wù)隊(duì)列
executor.setQueueCapacity(100);
// 線程名稱前綴
executor.setThreadNamePrefix("異步線程-");
// 隊(duì)列滿后拒絕策略
executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
// 線程最大回收時(shí)間
executor.setKeepAliveSeconds(100);
// 初始化線程
executor.initialize();
return executor;
}
/** 模擬測(cè)試 */
public static void main(String[] args) throws Exception {
// 主任務(wù)數(shù)量
int mainJobNum = 20;
CountDownLatch mainDownLatch = new CountDownLatch(mainJobNum);
for (int i = 0; i < mainJobNum; i++) {
// 主任務(wù)編號(hào), 方便區(qū)分
int index = i + 1;
// 模擬每1秒開(kāi)始一個(gè)主任務(wù)
TimeUnit.SECONDS.sleep(1);
EXECUTOR.submit(() -> {
try {
log.debug("\t執(zhí)行主任務(wù)" + index);
// 每個(gè)主任務(wù)隨機(jī)包含N個(gè)子任務(wù), 再異步調(diào)用線程池資源處理
int subJobNum = RandomUtils.nextInt(2, 3);
subJobWorkAsync(subJobNum, index);
} finally {
mainDownLatch.countDown();
}
});
}
mainDownLatch.await();
EXECUTOR.shutdown();
log.info("完成所有任務(wù) > > >");
}
/** 異步執(zhí)行子任務(wù) */
private static void subJobWorkAsync(int subJobNum, int index) {
CountDownLatch subDownLatch = new CountDownLatch(subJobNum);
for (int j = 0; j < subJobNum; j++) {
EXECUTOR.submit(() -> {
try {
log.warn("\t\t\t執(zhí)行一個(gè)" + index + "的子任務(wù)");
// 每個(gè)子任務(wù)模擬耗時(shí)
TimeUnit.SECONDS.sleep(3);
} catch (InterruptedException e) {
e.printStackTrace();
} finally {
subDownLatch.countDown();
}
});
}
try {
subDownLatch.await();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}執(zhí)行代碼,結(jié)果如下:

可以看到,線程池很快就被主任務(wù)耗盡, 導(dǎo)致子任務(wù)無(wú)法執(zhí)行.
解決方案
1. 異步線程中不能再獲取異步線程
既然主方法是異步執(zhí)行了,那么其中的子任務(wù)也相對(duì)不那么要求時(shí)間.此處是我為了業(yè)務(wù)給另外一個(gè)業(yè)務(wù)復(fù)用導(dǎo)致了線程再調(diào)線程
2. 如果異步中確實(shí)需要再獲取異步線程,需要使用新的線程池. 不能再使用自身的線程池
這是當(dāng)前我們的解決方案,在系統(tǒng)中又單獨(dú)構(gòu)建了一個(gè)線程池負(fù)責(zé)子任務(wù)的業(yè)務(wù)
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Java實(shí)現(xiàn)簡(jiǎn)單計(jì)算器小程序
這篇文章主要為大家詳細(xì)介紹了Java實(shí)現(xiàn)簡(jiǎn)單計(jì)算器小程序,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-07-07
Java.SE數(shù)組的一些常見(jiàn)練習(xí)題
數(shù)組可以看成是相同類型元素的一個(gè)集合,在內(nèi)存中是一段連續(xù)的空間,這篇文章主要給大家介紹了關(guān)于Java.SE數(shù)組的一些常見(jiàn)練習(xí)題,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-02-02
Java并發(fā)編程中的ReentrantLock類詳解
這篇文章主要介紹了Java并發(fā)編程中的ReentrantLock類詳解,ReentrantLock是juc.locks包中的一個(gè)獨(dú)占式可重入鎖,相比synchronized,它可以創(chuàng)建多個(gè)條件等待隊(duì)列,還支持公平/非公平鎖、可中斷、超時(shí)、輪詢等特性,需要的朋友可以參考下2023-12-12
Java反射之通過(guò)反射獲取一個(gè)對(duì)象的方法信息(實(shí)例代碼)
下面小編就為大家?guī)?lái)一篇Java反射之通過(guò)反射獲取一個(gè)對(duì)象的方法信息(實(shí)例代碼)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2016-10-10
Spring整合mybatis、springMVC總結(jié)
這篇文章主要為大家詳細(xì)介紹了Java整合Mybatis,SpringMVC,文中有詳細(xì)的代碼示例,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2023-05-05
SpringBoot整合微信登錄功能的實(shí)現(xiàn)方案
今天通過(guò)本文給大家分享微信登錄與SpringBoot整合過(guò)程,微信掃描登錄實(shí)現(xiàn)代碼知道掃描后點(diǎn)擊登錄的全部過(guò)程,本文給大家介紹的非常詳細(xì),需要的朋友可以參考下2021-10-10
java實(shí)現(xiàn)將ftp和http的文件直接傳送到hdfs
前面幾篇文章,我們已經(jīng)做了很好的鋪墊了,幾個(gè)要用到的工具我們都做了出來(lái),本文就是將他們集合起來(lái),說(shuō)下具體的用法,小伙伴們可以參考下。2015-03-03

