Java中多線程下載圖片并壓縮能提高效率嗎

更新時(shí)間：2021年07月01日 10:44:13 作者：馬男波杰克

本文主要介紹了Java中多線程下載圖片并壓縮能提高效率嗎，很多人都想知道這個(gè)問(wèn)題，本文就來(lái)詳細(xì)介紹一下，感興趣的小伙伴們可以參考一下

前言

需求導(dǎo)出Excel：本身以為是一個(gè)簡(jiǎn)單得導(dǎo)出,但是每行得記錄文件中有一列為圖片url,需要下載所有記錄行對(duì)應(yīng)得圖片，然后壓縮整個(gè)文件夾。

這里只做4.5.得代碼講解描述,其它也沒(méi)什么好說(shuō)得，話不多說(shuō)上代碼.

實(shí)現(xiàn)思路

多線程實(shí)現(xiàn)使用了線程池,Jdk1.8并發(fā)包下的CompletableFuture

第一步：得到基礎(chǔ)數(shù)值

        // 線程數(shù)
        Integer threadNum = 10;
        // 每條線程需要處理的圖片數(shù)  
        int dataNum = imageInfoVos.size() / threadNum;
        // 寫入線程數(shù)
        List<Integer> threadS = new ArrayList<>();
        for(int i=0; i<threadNum; i++){
                threadS.add(i);
        }

首先我們保存了需要下載的圖片的Url列表，多線程的方式下載我們需要保證每個(gè)線程下載的圖片不會(huì)重復(fù),因此我們需要根據(jù)規(guī)則來(lái)切割保存Url列表的集合，從而保證每個(gè)線程下載屬于自己的任務(wù),上代碼：

 // 接上文代碼
 threadS.stream().map(item -> CompletableFuture.runAsync(() ->{
                List<Image> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size()));
                        threadDownPic(theadItem,item,dirName);
            },threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{
                try {
                    item.get();
                }catch (Exception e){
                    log.error("============  多線程down執(zhí)行等待異常 msg:{} =============", e.getMessage());
                }
    });

這里進(jìn)行拆分講解

使用CompletableFuture.runAsync 走異步方式,遍歷item

如item=10,也就是線程數(shù)為10,則直接執(zhí)行10次(有線程池的前提下)

 // 使用CompletableFuture.runAsync 走異步方式,遍歷item
 // 如item=10,也就是線程數(shù)為10,則直接執(zhí)行10次(有線程池的前提下)
 threadS.stream().map(item -> CompletableFuture.runAsync(() ->{

規(guī)則：根據(jù)item數(shù)值通過(guò)sublist 從開(kāi)始到結(jié)束,截取對(duì)應(yīng)線程所需要下載的Url列表

例：dataNum為每個(gè)線程需要完成的下載數(shù)如上文 dataNum為100時(shí)

如：item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100

(item+1)==threadNum?imageInfoVos.size() 此次是為了保證最后一個(gè)線程處理最后不足的圖片

根據(jù)如上規(guī)則即可得到每個(gè)線程需要下載的圖片Url保證不會(huì)重復(fù)

   // 根據(jù)item數(shù)值通過(guò)sublist 從開(kāi)始到結(jié)束,截取對(duì)應(yīng)線程所需要下載的Url列表
   // 例：dataNum為每個(gè)線程需要完成的下載數(shù)如上文 dataNum為100時(shí)
   // 如：item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100
   // 根據(jù)如上規(guī)則即可得到每個(gè)線程需要下載的圖片Url保證不會(huì)重復(fù)
   // (item+1)==threadNum?imageInfoVos.size() 此次是為了保證最后一個(gè)線程處理最后不足的圖片
   List<ImageInfoVo> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size()));
   // theadItem:圖片Url  item：所屬下標(biāo)  dirName：寫入路徑url
   threadDownPic(theadItem,item,dirName);

由于執(zhí)行的異步方式,此處是為了線程池中所有線程都結(jié)束才能往下走,執(zhí)行壓縮文件步驟，這里提一嘴，如果沒(méi)有手動(dòng)賦予線程池，CompletableFuture默認(rèn)使用ForkJoinPool.commonPool,會(huì)根據(jù)電腦核心數(shù)來(lái)指定，
比如：我本機(jī)未指定就是7個(gè)線程，執(zhí)行方法時(shí)，會(huì)執(zhí)行完前面7個(gè)線程任務(wù)，才會(huì)繼續(xù)創(chuàng)建3個(gè)線程繼續(xù)執(zhí)行后續(xù)未完成的

   },threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{
                try {
                    item.get();
                }catch (Exception e){
                    log.error("============  多線程down執(zhí)行等待異常 msg:{} =============", e.getMessage());
                }
            });