Java中多線程下載圖片并壓縮能提高效率嗎
前言
需求 導(dǎo)出Excel:本身以為是一個簡單得導(dǎo)出,但是每行得記錄文件中有一列為圖片url,需要下載所有記錄行對應(yīng)得圖片,然后壓縮整個文件夾。
這里只做4.5.得代碼講解描述,其它也沒什么好說得,話不多說上代碼.
實現(xiàn)思路
多線程實現(xiàn)使用了線程池,Jdk1.8并發(fā)包下的CompletableFuture
第一步:得到基礎(chǔ)數(shù)值
// 線程數(shù) Integer threadNum = 10; // 每條線程需要處理的圖片數(shù) int dataNum = imageInfoVos.size() / threadNum; // 寫入線程數(shù) List<Integer> threadS = new ArrayList<>(); for(int i=0; i<threadNum; i++){ threadS.add(i); }
首先我們保存了需要下載的圖片的Url列表,多線程的方式下載我們需要保證每個線程下載的圖片不會重復(fù),因此我們需要根據(jù)規(guī)則來切割保存Url列表的集合,從而保證每個線程下載屬于自己的任務(wù),上代碼:
// 接上文代碼 threadS.stream().map(item -> CompletableFuture.runAsync(() ->{ List<Image> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size())); threadDownPic(theadItem,item,dirName); },threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{ try { item.get(); }catch (Exception e){ log.error("============ 多線程down執(zhí)行等待異常 msg:{} =============", e.getMessage()); } });
這里進行拆分講解
使用CompletableFuture.runAsync 走異步方式,遍歷item
如item=10,也就是線程數(shù)為10,則直接執(zhí)行10次(有線程池的前提下
)
// 使用CompletableFuture.runAsync 走異步方式,遍歷item // 如item=10,也就是線程數(shù)為10,則直接執(zhí)行10次(有線程池的前提下) threadS.stream().map(item -> CompletableFuture.runAsync(() ->{
規(guī)則:
根據(jù)item數(shù)值通過sublist 從開始到結(jié)束,截取對應(yīng)線程所需要下載的Url列表
例:dataNum為每個線程需要完成的下載數(shù)如上文 dataNum為100時
如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100
(item+1)==threadNum?imageInfoVos.size() 此次是為了保證最后一個線程處理最后不足的圖片
根據(jù)如上規(guī)則即可得到每個線程需要下載的圖片Url保證不會重復(fù)
// 根據(jù)item數(shù)值通過sublist 從開始到結(jié)束,截取對應(yīng)線程所需要下載的Url列表 // 例:dataNum為每個線程需要完成的下載數(shù)如上文 dataNum為100時 // 如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100 // 根據(jù)如上規(guī)則即可得到每個線程需要下載的圖片Url保證不會重復(fù) // (item+1)==threadNum?imageInfoVos.size() 此次是為了保證最后一個線程處理最后不足的圖片 List<ImageInfoVo> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size())); // theadItem:圖片Url item:所屬下標 dirName:寫入路徑url threadDownPic(theadItem,item,dirName);
由于執(zhí)行的異步方式,此處是為了線程池中所有線程都結(jié)束才能往下走,執(zhí)行壓縮文件步驟,這里提一嘴,如果沒有手動賦予線程池,CompletableFuture默認使用ForkJoinPool.commonPool,會根據(jù)電腦核心數(shù)來指定,
比如:我本機未指定就是7個線程,執(zhí)行方法時,會執(zhí)行完前面7個線程任務(wù),才會繼續(xù)創(chuàng)建3個線程繼續(xù)執(zhí)行后續(xù)未完成的
},threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{ try { item.get(); }catch (Exception e){ log.error("============ 多線程down執(zhí)行等待異常 msg:{} =============", e.getMessage()); } });
實測
主要代碼也寫完了,這種方式真的能提高效率嗎?下面我貼幾張測試圖來說明
其實這種方式并沒有顯著的提高效率,當然這是我本機環(huán)境測試的。
效率是由網(wǎng)速決定,而不是由本機Cpu和io決定,比如10M帶寬,一個線程一個一個順序下載,但速度是10M,10個線程,可能每個線程的速度是1M,結(jié)果沒有什么兩樣。
相對于網(wǎng)速,多線程帶來的cpu以及io節(jié)省的時間幾乎可以忽略,瓶頸還是在網(wǎng)速.
到此這篇關(guān)于Java中多線程下載圖片并壓縮能提高效率嗎的文章就介紹到這了,更多相關(guān)Java 多線程下載提高效率內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Java操作Jenkins操作憑證(Credential)信息方式
這篇文章主要介紹了Java操作Jenkins操作憑證(Credential)信息方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05Java ArrayList.toArray(T[]) 方法的參數(shù)類型是 T 而不是 E的原因分析
這篇文章主要介紹了Java ArrayList.toArray(T[]) 方法的參數(shù)類型是 T 而不是 E的原因分析的相關(guān)資料,需要的朋友可以參考下2016-04-04關(guān)于Java并發(fā)編程中線程間協(xié)作的兩種方式
這篇文章主要介紹了關(guān)于Java并發(fā)編程中線程間協(xié)作的兩種方式,當隊列滿時,生產(chǎn)者需要等待隊列有空間才能繼續(xù)往里面放入商品,而在等待的期間內(nèi),生產(chǎn)者必須釋放對臨界資源的占用權(quán),這是消費者模式,需要的朋友可以參考下2023-07-07Java多線程之循環(huán)柵欄技術(shù)CyclicBarrier使用探索
這篇文章主要介紹了Java多線程之循環(huán)柵欄技術(shù)CyclicBarrier,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪<BR>2024-01-01spring-cloud-stream結(jié)合kafka使用詳解
這篇文章主要介紹了spring-cloud-stream結(jié)合kafka使用詳解,本文通過實例代碼給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-08-08