欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Java中多線程下載圖片并壓縮能提高效率嗎

 更新時(shí)間:2021年07月01日 10:44:13   作者:馬男波杰克  
本文主要介紹了Java中多線程下載圖片并壓縮能提高效率嗎,很多人都想知道這個(gè)問(wèn)題,本文就來(lái)詳細(xì)介紹一下,感興趣的小伙伴們可以參考一下

前言

需求 導(dǎo)出Excel:本身以為是一個(gè)簡(jiǎn)單得導(dǎo)出,但是每行得記錄文件中有一列為圖片url,需要下載所有記錄行對(duì)應(yīng)得圖片,然后壓縮整個(gè)文件夾。

這里只做4.5.得代碼講解描述,其它也沒(méi)什么好說(shuō)得,話不多說(shuō)上代碼.

實(shí)現(xiàn)思路

多線程實(shí)現(xiàn)使用了線程池,Jdk1.8并發(fā)包下的CompletableFuture

第一步:得到基礎(chǔ)數(shù)值

        // 線程數(shù)
        Integer threadNum = 10;
        // 每條線程需要處理的圖片數(shù)  
        int dataNum = imageInfoVos.size() / threadNum;
        // 寫入線程數(shù)
        List<Integer> threadS = new ArrayList<>();
        for(int i=0; i<threadNum; i++){
                threadS.add(i);
        }

首先我們保存了需要下載的圖片的Url列表,多線程的方式下載我們需要保證每個(gè)線程下載的圖片不會(huì)重復(fù),因此我們需要根據(jù)規(guī)則來(lái)切割保存Url列表的集合,從而保證每個(gè)線程下載屬于自己的任務(wù),上代碼:

 // 接上文代碼
 threadS.stream().map(item -> CompletableFuture.runAsync(() ->{
                List<Image> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size()));
                        threadDownPic(theadItem,item,dirName);
            },threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{
                try {
                    item.get();
                }catch (Exception e){
                    log.error("============  多線程down執(zhí)行等待異常 msg:{} =============", e.getMessage());
                }
    });

這里進(jìn)行拆分講解

使用CompletableFuture.runAsync 走異步方式,遍歷item

如item=10,也就是線程數(shù)為10,則直接執(zhí)行10次(有線程池的前提下)

 // 使用CompletableFuture.runAsync 走異步方式,遍歷item
 // 如item=10,也就是線程數(shù)為10,則直接執(zhí)行10次(有線程池的前提下)
 threadS.stream().map(item -> CompletableFuture.runAsync(() ->{

規(guī)則:根據(jù)item數(shù)值通過(guò)sublist 從開(kāi)始到結(jié)束,截取對(duì)應(yīng)線程所需要下載的Url列表

例:dataNum為每個(gè)線程需要完成的下載數(shù)如上文 dataNum為100時(shí)

如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100

(item+1)==threadNum?imageInfoVos.size() 此次是為了保證最后一個(gè)線程處理最后不足的圖片

根據(jù)如上規(guī)則即可得到每個(gè)線程需要下載的圖片Url保證不會(huì)重復(fù)

   // 根據(jù)item數(shù)值通過(guò)sublist 從開(kāi)始到結(jié)束,截取對(duì)應(yīng)線程所需要下載的Url列表
   // 例:dataNum為每個(gè)線程需要完成的下載數(shù)如上文 dataNum為100時(shí)
   // 如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100
   // 根據(jù)如上規(guī)則即可得到每個(gè)線程需要下載的圖片Url保證不會(huì)重復(fù)
   // (item+1)==threadNum?imageInfoVos.size() 此次是為了保證最后一個(gè)線程處理最后不足的圖片
   List<ImageInfoVo> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size()));
   // theadItem:圖片Url  item:所屬下標(biāo)  dirName:寫入路徑url
   threadDownPic(theadItem,item,dirName);

由于執(zhí)行的異步方式,此處是為了線程池中所有線程都結(jié)束才能往下走,執(zhí)行壓縮文件步驟,這里提一嘴,如果沒(méi)有手動(dòng)賦予線程池,CompletableFuture默認(rèn)使用ForkJoinPool.commonPool,會(huì)根據(jù)電腦核心數(shù)來(lái)指定,
比如:我本機(jī)未指定就是7個(gè)線程,執(zhí)行方法時(shí),會(huì)執(zhí)行完前面7個(gè)線程任務(wù),才會(huì)繼續(xù)創(chuàng)建3個(gè)線程繼續(xù)執(zhí)行后續(xù)未完成的

   },threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{
                try {
                    item.get();
                }catch (Exception e){
                    log.error("============  多線程down執(zhí)行等待異常 msg:{} =============", e.getMessage());
                }
            });

實(shí)測(cè)

主要代碼也寫完了,這種方式真的能提高效率嗎?下面我貼幾張測(cè)試圖來(lái)說(shuō)明

其實(shí)這種方式并沒(méi)有顯著的提高效率,當(dāng)然這是我本機(jī)環(huán)境測(cè)試的。

效率是由網(wǎng)速?zèng)Q定,而不是由本機(jī)Cpu和io決定,比如10M帶寬,一個(gè)線程一個(gè)一個(gè)順序下載,但速度是10M,10個(gè)線程,可能每個(gè)線程的速度是1M,結(jié)果沒(méi)有什么兩樣。

相對(duì)于網(wǎng)速,多線程帶來(lái)的cpu以及io節(jié)省的時(shí)間幾乎可以忽略,瓶頸還是在網(wǎng)速.

到此這篇關(guān)于Java中多線程下載圖片并壓縮能提高效率嗎的文章就介紹到這了,更多相關(guān)Java 多線程下載提高效率內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Java操作Jenkins操作憑證(Credential)信息方式

    Java操作Jenkins操作憑證(Credential)信息方式

    這篇文章主要介紹了Java操作Jenkins操作憑證(Credential)信息方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-05-05
  • Java ArrayList.toArray(T[]) 方法的參數(shù)類型是 T 而不是 E的原因分析

    Java ArrayList.toArray(T[]) 方法的參數(shù)類型是 T 而不是 E的原因分析

    這篇文章主要介紹了Java ArrayList.toArray(T[]) 方法的參數(shù)類型是 T 而不是 E的原因分析的相關(guān)資料,需要的朋友可以參考下
    2016-04-04
  • 關(guān)于Java并發(fā)編程中線程間協(xié)作的兩種方式

    關(guān)于Java并發(fā)編程中線程間協(xié)作的兩種方式

    這篇文章主要介紹了關(guān)于Java并發(fā)編程中線程間協(xié)作的兩種方式,當(dāng)隊(duì)列滿時(shí),生產(chǎn)者需要等待隊(duì)列有空間才能繼續(xù)往里面放入商品,而在等待的期間內(nèi),生產(chǎn)者必須釋放對(duì)臨界資源的占用權(quán),這是消費(fèi)者模式,需要的朋友可以參考下
    2023-07-07
  • java實(shí)現(xiàn)留言板功能實(shí)例

    java實(shí)現(xiàn)留言板功能實(shí)例

    這篇文章主要為大家詳細(xì)介紹了JSP+JavaBean的留言板技術(shù) ,JavaWeb登陸功能實(shí)現(xiàn)代碼,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2017-04-04
  • 在java中使用dom解析xml的示例分析

    在java中使用dom解析xml的示例分析

    本篇文章介紹了,在java中使用dom解析xml的示例分析。需要的朋友參考下
    2013-05-05
  • Java多線程之循環(huán)柵欄技術(shù)CyclicBarrier使用探索

    Java多線程之循環(huán)柵欄技術(shù)CyclicBarrier使用探索

    這篇文章主要介紹了Java多線程之循環(huán)柵欄技術(shù)CyclicBarrier,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪<BR>
    2024-01-01
  • 一起來(lái)了解Java的File類和IO流

    一起來(lái)了解Java的File類和IO流

    這篇文章主要為大家詳細(xì)介紹了Java?File類和IO流,在Java學(xué)習(xí)中,file類與io流是非常重要的部分,感興趣的小伙伴們可以參考一下,希望能夠給你帶來(lái)幫助
    2022-03-03
  • 深入理解Java中的EnumMap和EnumSet

    深入理解Java中的EnumMap和EnumSet

    這篇文章主要介紹了深入理解Java中的EnumMap和EnumSet,一般來(lái)說(shuō)我們會(huì)選擇使用HashMap來(lái)存儲(chǔ)key-value格式的數(shù)據(jù),考慮這樣的特殊情況,一個(gè)HashMap的key都來(lái)自于一個(gè)Enum類,這樣的情況則可以考慮使用本文要講的EnumMap,需要的朋友可以參考下
    2023-11-11
  • spring-cloud-stream結(jié)合kafka使用詳解

    spring-cloud-stream結(jié)合kafka使用詳解

    這篇文章主要介紹了spring-cloud-stream結(jié)合kafka使用詳解,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-08-08
  • Java設(shè)計(jì)模式之橋接模式的示例詳解

    Java設(shè)計(jì)模式之橋接模式的示例詳解

    橋梁模式是對(duì)象的結(jié)構(gòu)模式。又稱為柄體(Handle and Body)模式或接口(Interface)模式。本文將通過(guò)示例來(lái)詳細(xì)講解一下這個(gè)模式,感興趣的可以學(xué)習(xí)一下
    2022-02-02

最新評(píng)論