java多線程下載實(shí)例詳解
本文實(shí)例講述了java多線程下載。分享給大家供大家參考,具體如下:
使用多線程下載文件可以更快完成文件的下載,多線程下載文件之所以快,是因?yàn)槠鋼屨嫉姆?wù)器資源多。如:假設(shè)服務(wù)器同時(shí)最多服務(wù)100個(gè)用戶,在服務(wù)器中一條線程對應(yīng)一個(gè)用戶,100條線程在計(jì)算機(jī)中并非并發(fā)執(zhí)行,而是由CPU劃分時(shí)間片輪流執(zhí)行,如果A應(yīng)用使用了99條線程下載文件,那么相當(dāng)于占用了99個(gè)用戶的資源,假設(shè)一秒內(nèi)CPU分配給每條線程的平均執(zhí)行時(shí)間是10ms,A應(yīng)用在服務(wù)器中一秒內(nèi)就得到了990ms的執(zhí)行時(shí)間,而其他應(yīng)用在一秒內(nèi)只有10ms的執(zhí)行時(shí)間。就如同一個(gè)水龍頭,每秒出水量相等的情況下,放990毫秒的水肯定比放10毫秒的水要多。
多線程下載的實(shí)現(xiàn)過程:
1.首先得到下載文件的長度,然后設(shè)置本地文件的長度。
HttpURLConnection.getContentLength(); RandomAccessFile file = new RandomAccessFile("youdao.exe","rw"); file.setLength(filesize);//設(shè)置本地文件的長度
2.根據(jù)文件長度和線程數(shù)計(jì)算每條線程下載的數(shù)據(jù)長度和下載位置。如:文件的長度為6M,線程數(shù)為3,那么,每條線程下載的數(shù)據(jù)長度為2M,每條線程開始下載的位置如下圖所示。
3.使用Http的Range頭字段指定每條線程從文件的什么位置開始下載,如:指定從文件的2M位置開始下載文件,代碼如下:
4.保存文件,使用RandomAccessFile類指定每條線程從本地文件的什么位置開始寫入數(shù)據(jù)
RandomAccessFile threadfile = new RandomAccessFile("<span style="font-family: Arial, Helvetica, sans-serif;">youdao.exe</span><span style="font-family: Arial, Helvetica, sans-serif;"> ","rw");</span> threadfile.seek(2097152);//從文件的什么位置開始寫入數(shù)據(jù)
下面是通過具體實(shí)現(xiàn)類:
在寫實(shí)現(xiàn)類之前我們首先要將要下載的文件放在服務(wù)器上并部署:
我是放在了這里 D:\Tomcat\apache-tomcat-7.0.37\webapps\doudou目錄下,并啟動(dòng)D:\Tomcat\apache-tomcat-7.0.37\bin下的startup.bat
1.DownLoadTest.java
package www.csdn.net.down; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.RandomAccessFile; import java.net.HttpURLConnection; import java.net.MalformedURLException; import java.net.URL; public class DownLoadTest { public File file; public RandomAccessFile accessFile; // 線程的數(shù)量 public static int threadNum = 3; // 每個(gè)線程負(fù)責(zé)下載的大小 int blockSize; // 創(chuàng)建訪問的路徑 public String path = "http://localhost:8080/doudou/youdao.exe"; public static int threadCount;// 數(shù)量 public void testDown() { try { // 創(chuàng)建出URL對象 URL url = new URL(path); // 創(chuàng)建出 HttpURLConnection對象 HttpURLConnection httpURLConnection = (HttpURLConnection) url .openConnection(); // 設(shè)置 發(fā)請求發(fā)送的方式 httpURLConnection.setRequestMethod("GET"); // 設(shè)置請求是否超時(shí)時(shí)間 httpURLConnection.setConnectTimeout(5000); // 設(shè)置 httpURLConnection .setRequestProperty("User-Agent", " Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)"); // 是否響應(yīng)成功 if (httpURLConnection.getResponseCode() == 200) { // 獲取文件的大小 int size = httpURLConnection.getContentLength(); System.out.println("文件的大小" + size); // 創(chuàng)建文件 file = new File("youdao.exe"); accessFile = new RandomAccessFile(file, "rwd"); // 設(shè)置文件的大小 accessFile.setLength(size); // 每個(gè)線程下載的大小 blockSize = size / threadNum; // 開三個(gè)線程 操作此文件 for (int i = 1; i <= threadNum; i++) { // 1 2 3 // 計(jì)算出每個(gè)線程開始的位置 int startSize = (i - 1) * blockSize; // 結(jié)束位置 int endSize = (i) * blockSize; // 當(dāng)線程是最后一個(gè)線程的時(shí)候 if (i == threadNum) { // 判斷文件的大小是否大于計(jì)算出來的結(jié)束位置 if (size > endSize) { // 結(jié)束位置 等于 文件的大小 endSize = size; } } // 為每個(gè)線程創(chuàng)建一個(gè)隨機(jī)的讀取 RandomAccessFile threadAccessFile = new RandomAccessFile( file, "rwd"); new Thread(new DownLoadThread(i, threadAccessFile, startSize, endSize, path)).start(); } } } catch (MalformedURLException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } public static void main(String[] args) { DownLoadTest downLoadTest = new DownLoadTest(); // 調(diào)用下載方法 downLoadTest.testDown(); } } class DownLoadThread implements Runnable { // 下載文件的封裝 public RandomAccessFile accessFile; // 每個(gè)線程 都擁有一個(gè)accessFile的文件對象 線程1 線程2 線程3 // 線程下載文件的起始位置 public int startSize; public int endSize; // 文件下載的path路徑 public String path; public int threadId; // 線程的標(biāo)識 public DownLoadThread(int threadId, RandomAccessFile accessFile, int startSize, int endSize, String path) { this.threadId = threadId; this.accessFile = accessFile; this.startSize = startSize; this.endSize = endSize; this.path = path; } @Override public void run() { // 執(zhí)行run方法 try { // 創(chuàng)建文件 File threadFile = new File(threadId + ".txt"); if (threadFile.exists()) { // 讀取該文件的內(nèi)容 // 創(chuàng)建文件的輸入流對象 FileInputStream fis = new FileInputStream(threadFile); // 采用工具類讀取 byte data[] = StreamTools.isToData(fis); // 轉(zhuǎn)化成字符串 String threadLen = new String(data); if ((threadLen != null) && (!"".equals(threadLen))) { startSize = Integer.valueOf(threadLen); // 解決 416bug的錯(cuò)誤 if (startSize > endSize) { startSize = endSize - 1; } } } // 創(chuàng)建URL對象 URL url = new URL(path); // 創(chuàng)建HttpURLConnection對象 HttpURLConnection httpURLConnection = (HttpURLConnection) url .openConnection(); // 設(shè)置請求的頭 httpURLConnection.setRequestMethod("GET"); // 設(shè)置請求是否超時(shí)時(shí)間 httpURLConnection.setConnectTimeout(5000); // 設(shè)置 httpURLConnection .setRequestProperty("User-Agent", " Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)"); // 關(guān)鍵的設(shè)置 httpURLConnection.setRequestProperty("Range", "bytes=" + startSize + "-" + endSize); // 輸出當(dāng)前線程 System.out.println("當(dāng)前線程" + threadId + " 下載開始位置:" + startSize + " 下載結(jié)束位置:" + endSize); // 響應(yīng)成功 // 設(shè)置隨機(jī)讀取文件的 開始位置 accessFile.seek(startSize); // 獲取相應(yīng)流對象 InputStream is = httpURLConnection.getInputStream(); // 創(chuàng)建輸出流對象 byte buffer[] = new byte[1024]; int len = 0; int threadTotal = 0;// 每個(gè)線程下載后保存記錄 / while ((len = is.read(buffer)) != -1) { accessFile.write(buffer, 0, len); threadTotal += len;// 記錄你寫入的長度 //xml文件 // 通過文件記錄文件下載的長度 FileOutputStream fos = new FileOutputStream(threadFile); fos.write((threadTotal + "").getBytes()); fos.flush(); fos.close(); } accessFile.close(); is.close(); System.out.println(threadId + "線程執(zhí)行完畢"); //線程操作 synchronized (DownLoadTest.class) { DownLoadTest.threadCount++; if (DownLoadTest.threadCount >= DownLoadTest.threadNum) { for(int i=1;i<=DownLoadTest.threadNum;i++){ File file = new File(i+".txt"); if(file.exists()){ file.delete(); } } } } } catch (MalformedURLException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } }
2.流工具的封裝 StreamTools.java
package www.csdn.net.down; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.InputStream; public class StreamTools { public static byte[] isToData(InputStream is) throws IOException{ // 字節(jié)輸出流 ByteArrayOutputStream bops = new ByteArrayOutputStream(); // 讀取數(shù)據(jù)的緩存區(qū) byte buffer[] = new byte[1024]; // 讀取長度的記錄 int len = 0; // 循環(huán)讀取 while ((len = is.read(buffer)) != -1) { bops.write(buffer, 0, len); } // 把讀取的內(nèi)容轉(zhuǎn)換成byte數(shù)組 byte data[] = bops.toByteArray(); bops.flush(); bops.close(); is.close(); return data; } }
希望本文所述對大家Java程序設(shè)計(jì)有所幫助。
相關(guān)文章
Docker?快速部署Springboot項(xiàng)目超詳細(xì)最新版
這篇文章主要介紹了Docker?快速部署Springboot項(xiàng)目超詳細(xì)最新版的相關(guān)資料,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-04-04java實(shí)現(xiàn)網(wǎng)頁驗(yàn)證碼功能
這篇文章主要為大家詳細(xì)介紹了java實(shí)現(xiàn)網(wǎng)頁驗(yàn)證碼功能,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-10-10JDK8中String的intern()方法實(shí)例詳細(xì)解讀
String字符串在我們?nèi)粘i_發(fā)中最常用的,當(dāng)然還有他的兩個(gè)兄弟StringBuilder和StringBuilder,接下來通過本文給大家介紹JDK8中String的intern()方法詳細(xì)解讀,需要的朋友可以參考下2022-09-09淺談Servlet的Cookie和Session機(jī)制
雖然session機(jī)制在web應(yīng)用程序中被采用已經(jīng)很長時(shí)間了,但是仍然有很多人不清楚session機(jī)制的本質(zhì),以至不能正確的應(yīng)用這一技術(shù).本文將詳細(xì)討論session以及cookie的工作機(jī)制,需要的朋友可以參考下2021-05-05Myeclipse鏈接Oracle等數(shù)據(jù)庫時(shí)lo exception: The Network Adapter coul
今天小編就為大家分享一篇關(guān)于Myeclipse鏈接Oracle等數(shù)據(jù)庫時(shí)lo exception: The Network Adapter could not establish the connection,小編覺得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來看看吧2019-03-03