淺談一下Java多線程斷點(diǎn)復(fù)制
上次寫(xiě)了一個(gè)利用 RandomAccessFile 和 多線程實(shí)現(xiàn)的多線程復(fù)制,但是沒(méi)有增加斷點(diǎn)復(fù)制的功能。這里的斷點(diǎn)復(fù)制是指:當(dāng)程序執(zhí)行中斷時(shí)(出現(xiàn)錯(cuò)誤、斷電關(guān)機(jī)),仍可以從上次復(fù)制過(guò)程中重新開(kāi)始(不必從頭開(kāi)始復(fù)制)。 多線程復(fù)制博客
細(xì)節(jié)介紹
我這里是使用一個(gè)Timer類(java.util.Timer)來(lái)實(shí)現(xiàn)斷點(diǎn)功能的,就是使用這個(gè)類,每隔一段時(shí)間進(jìn)行一次記錄,記錄的內(nèi)容是每個(gè)線程復(fù)制的進(jìn)度。
Timer 類的介紹:
A facility for threads to schedule tasks for future execution in a background thread. Tasks may be scheduled for one-time execution, or for repeated execution at regular intervals. 線程在后臺(tái)線程中調(diào)度任務(wù)以供將來(lái)執(zhí)行的工具。任務(wù)可以安排為一次性執(zhí)行,也可以安排為定期重復(fù)執(zhí)行。
根據(jù) API 中的介紹可以看出,這個(gè) Timer 類可以只執(zhí)行一次任務(wù),也可以周期性地執(zhí)行任務(wù)。(注意這個(gè)類是 java.util.Timer 類,不是 javax 包下面的類。)
這個(gè)類的有很多和時(shí)間相關(guān)的方法,這里就不介紹了,感興趣的可以去了解,這里只介紹我們需要使用的一個(gè)方法。
public void schedule(TimerTask task, long delay, long period)
Schedules the specified task for repeated fixed-delay execution beginning after the specified delay. Subsequent executions take place at approximately regular intervals separated by the specified period. 為指定的任務(wù)安排在指定延遲之后開(kāi)始的重復(fù)固定延遲執(zhí)行。隨后的執(zhí)行發(fā)生在按規(guī)定時(shí)間間隔的大致間隔。
使用這個(gè)方法,按照一個(gè)固定的時(shí)間間隔記錄各個(gè)線程的復(fù)制進(jìn)度信息即可。
代碼部分
定時(shí)任務(wù)類
package dragon.local;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.ObjectOutputStream;
import java.util.List;
import java.util.Timer;
import java.util.TimerTask;
public class RecordTask extends TimerTask {
public static final String filename = "breakPointRecord.txt";
private Timer timer;
private List<FileCopyThread> copyThreads;
private String outputPath;
public RecordTask(Timer timer, List<FileCopyThread> copyThreads, String outputPath) {
this.timer = timer;
this.copyThreads = copyThreads;
this.outputPath = outputPath;
}
@Override
public void run() {
try {
this.breakPointRecord();
} catch (IOException e) {
e.printStackTrace();
}
}
public void breakPointRecord() throws FileNotFoundException, IOException {
int aliveThreadNum = 0; //存活線程數(shù)目
//不使用追加方式,這里只需要最新的記錄即可。
File recordFile = new File(outputPath, filename);
try (ObjectOutputStream oos = new ObjectOutputStream(new FileOutputStream(recordFile))){
//每次記錄一個(gè)線程的下載位置,但是取出來(lái)又需要進(jìn)行轉(zhuǎn)換,太麻煩了。
//我們直接使用序列化來(lái)進(jìn)行操作,哈哈!
long[] curlen = new long[4];
int index = 0;
for (FileCopyThread copyThread : copyThreads) {
if (copyThread.isAlive()) {
aliveThreadNum++;
}
curlen[index++] = copyThread.getCurlen();
System.out.println(index+" curlen: "+copyThread.getCurlen());
}
//創(chuàng)建 Record 對(duì)象,并序列化。
oos.writeObject(new Record(curlen));
}
//當(dāng)所有的線程都死亡時(shí),關(guān)閉計(jì)時(shí)器,刪除記錄文件。(所有線程死亡的話,就是文件已經(jīng)復(fù)制完成了?。?
if (aliveThreadNum == 0) {
timer.cancel();
recordFile.delete();
}
System.out.println("線程數(shù)量: "+aliveThreadNum);
}
}
說(shuō)明:
if (aliveThreadNum == 0) {
timer.cancel();
recordFile.delete();
}
如果線程都已經(jīng)結(jié)束了,就表示程序已經(jīng)正常執(zhí)行結(jié)束了。這個(gè)時(shí)候就刪除記錄文件。這里這個(gè)記錄文件是一個(gè)標(biāo)志(flag),如果存在記錄文件就表示程序沒(méi)有正常結(jié)束,再次啟動(dòng)時(shí),會(huì)進(jìn)行斷點(diǎn)復(fù)制。
注意:這里沒(méi)有考慮復(fù)制過(guò)程中的 IO 異常,如果線程拋出 IO 異常,那么線程的狀態(tài)也是結(jié)束了。但是考慮,本地文件復(fù)制出現(xiàn) IO 異常的情況還是比較少的,就沒(méi)有考慮,如果是網(wǎng)絡(luò)下載的話,這個(gè)程序的功能可能就需要進(jìn)行改進(jìn)了。
記錄信息類
每次需要依次寫(xiě)入各個(gè)線程的信息,但是讀取出來(lái)還需要進(jìn)行轉(zhuǎn)換,還是感覺(jué)過(guò)于麻煩了,這里直接利用Java的序列化機(jī)制了。 有時(shí)候,直接操作對(duì)象是很方便的。 注意: 數(shù)組的下標(biāo)表示的就是每個(gè)線程的位置。
package dragon.local;
import java.io.Serializable;
public class Record implements Serializable{
/**
* 序列化 id
*/
private static final long serialVersionUID = 1L;
private long[] curlen;
public Record(long[] curlen) {
this.curlen = curlen;
}
public long[] getCurlen() {
return this.curlen;
}
}
復(fù)制線程類
package dragon.local;
import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.RandomAccessFile;
public class FileCopyThread extends Thread {
private int index;
private long position;
private long size;
private File targetFile;
private File outputFile;
private long curlen; //當(dāng)前下載的長(zhǎng)度
public FileCopyThread(int index, long position, long size, File targetFile, File outputFile) {
this.index = index;
this.position = position;
this.size = size;
this.targetFile = targetFile;
this.outputFile = outputFile;
this.curlen = 0L;
}
@Override
public void run() {
try (
BufferedInputStream bis = new BufferedInputStream(new FileInputStream(targetFile));
RandomAccessFile raf = new RandomAccessFile(outputFile, "rw")){
bis.skip(position); //跳過(guò)不需要讀取的字節(jié)數(shù),注意只能先后跳
raf.seek(position); //跳到需要寫(xiě)入的位置,沒(méi)有這句話,會(huì)出錯(cuò),但是很難改。
int hasRead = 0;
byte[] b = new byte[1024];
/**
* 注意,每個(gè)線程只是讀取一部分?jǐn)?shù)據(jù),不能只以 -1 作為循環(huán)結(jié)束的條件
* 循環(huán)退出條件應(yīng)該是兩個(gè),即寫(xiě)入的字節(jié)數(shù)大于需要讀取的字節(jié)數(shù) 或者 文件讀取結(jié)束(最后一個(gè)線程讀取到文件末尾)
*/
while(curlen < size && (hasRead = bis.read(b)) != -1) {
raf.write(b, 0, hasRead);
curlen += (long)hasRead;
//強(qiáng)制停止程序。
// if (curlen > 17_000_000) {
// System.exit(0);
// }
}
System.out.println(index+" "+position+" "+curlen+" "+size);
} catch (IOException e) {
e.printStackTrace();
}
}
public long getCurlen() { //獲取當(dāng)前的進(jìn)度,用于記錄,以便必要時(shí)恢復(fù)讀取進(jìn)度。
return position+this.curlen;
}
}
這段代碼是為了測(cè)試斷點(diǎn)復(fù)制的。如果你想要進(jìn)行測(cè)試,可以將 if 判斷中的條件按照你要復(fù)制的文件大小進(jìn)行相應(yīng)的調(diào)整。如果要進(jìn)行測(cè)試,可以先將這段代碼的注釋取消再執(zhí)行程序(然后程序退出,這時(shí)候文件沒(méi)有復(fù)制完成。),然后再將這段代碼注釋再次執(zhí)行程序,文件將會(huì)復(fù)制成功。
//強(qiáng)制停止程序。
// if (curlen > 17_000_000) {
// System.exit(0);
// }
復(fù)制工具類
package dragon.local;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.ObjectInputStream;
import java.io.RandomAccessFile;
import java.util.ArrayList;
import java.util.List;
import java.util.Timer;
/**
* 設(shè)計(jì)思路:
* 獲取目標(biāo)文件的大小,然后設(shè)置復(fù)制文件的大小(這樣做是有好處的),
* 然后使用將文件分為 n 分,使用 n 個(gè)線程同時(shí)進(jìn)行復(fù)制(這里我將 n 取為 4)。
*
* 進(jìn)一步拓展:
* 加強(qiáng)為斷點(diǎn)復(fù)制功能,即程序中斷以后,
* 仍然可以繼續(xù)從上次位置恢復(fù)復(fù)制,減少不必要的重復(fù)開(kāi)銷
* */
public class FileCopyUtil {
//設(shè)置一個(gè)常量,復(fù)制線程的數(shù)量
private static final int THREAD_NUM = 4;
private FileCopyUtil() {}
/**
* @param targetPath 目標(biāo)文件的路徑
* @param outputPath 復(fù)制輸出文件的路徑
* @throws IOException
* @throws ClassNotFoundException
* */
public static void transferFile(String targetPath, String outputPath) throws IOException, ClassNotFoundException {
File targetFile = new File(targetPath);
File outputFilePath = new File(outputPath);
if (!targetFile.exists() || targetFile.isDirectory()) { //目標(biāo)文件不存在,或者是一個(gè)文件夾,則拋出異常
throw new FileNotFoundException("目標(biāo)文件不存在:"+targetPath);
}
if (!outputFilePath.exists()) { //如果輸出文件夾不存在,將會(huì)嘗試創(chuàng)建,創(chuàng)建失敗,則拋出異常。
if(!outputFilePath.mkdir()) {
throw new FileNotFoundException("無(wú)法創(chuàng)建輸出文件:"+outputPath);
}
}
long len = targetFile.length();
File outputFile = new File(outputFilePath, "copy"+targetFile.getName());
createOutputFile(outputFile, len); //創(chuàng)建輸出文件,設(shè)置好大小。
//創(chuàng)建計(jì)時(shí)器 Timer 對(duì)象
Timer timer = new Timer();
long[] position = new long[4];
//每一個(gè)線程需要復(fù)制文件的起點(diǎn)
long size = len / FileCopyUtil.THREAD_NUM + 1; //保存復(fù)制線程的集合
List<FileCopyThread> copyThreads = new ArrayList<>();
Record record = getRecord(outputPath);
for (int i = 0; i < FileCopyUtil.THREAD_NUM; i++) {
//如果已經(jīng)有了 記錄文件,就從使用記錄數(shù)據(jù),否則就是新的下載。
position[i] = record == null ? i*size : record.getCurlen()[i];
FileCopyThread copyThread = new FileCopyThread(i, position[i], size, targetFile, outputFile);
copyThread.start(); //啟動(dòng)復(fù)制線程
copyThreads.add(copyThread); //將復(fù)制線程添加到集合中。
}
timer.schedule(new RecordTask(timer, copyThreads, outputPath), 0L, 100L); //立即啟動(dòng)計(jì)時(shí)器,每隔10秒記錄一次位置。
System.out.println("開(kāi)始了!");
}
//創(chuàng)建輸出文件,設(shè)置好大小。
private static void createOutputFile(File file, long length) throws IOException {
try (
RandomAccessFile raf = new RandomAccessFile(file, "rw")){
raf.setLength(length);
}
}
//獲取以及下載的位置
private static Record getRecord(String outputPath) throws FileNotFoundException, IOException, ClassNotFoundException {
File recordFile = new File(outputPath, RecordTask.filename);
if (recordFile.exists()) {
try (ObjectInputStream ois = new ObjectInputStream(new FileInputStream(recordFile))){
return (Record) ois.readObject();
}
}
return null;
}
}
說(shuō)明: 根據(jù)復(fù)制的目錄中,是否存在記錄文件來(lái)判斷是否啟動(dòng)斷點(diǎn)復(fù)制。
private static Record getRecord(String outputPath) throws FileNotFoundException, IOException, ClassNotFoundException {
File recordFile = new File(outputPath, RecordTask.filename);
if (recordFile.exists()) {
try (ObjectInputStream ois = new ObjectInputStream(new FileInputStream(recordFile))){
return (Record) ois.readObject();
}
}
return null;
}
啟動(dòng)斷點(diǎn)復(fù)制原來(lái)其實(shí)很簡(jiǎn)單,就是和復(fù)制一樣,只不過(guò)起始復(fù)制位置變成了記錄的位置了。
//如果已經(jīng)有了 記錄文件,就從使用記錄數(shù)據(jù),否則就是新的下載。 position[i] = record == null ? i*size : record.getCurlen()[i];
總結(jié)
采用定時(shí)記錄的方法,感覺(jué)也是很不錯(cuò)的,但是似乎又一個(gè)問(wèn)題,當(dāng)程序正在記錄序列化信息的時(shí)候,如果出現(xiàn)了錯(cuò)誤(導(dǎo)致序列化信息沒(méi)有寫(xiě)入完整),當(dāng)反序列化讀取的時(shí)候,會(huì)拋出 EOFException 。不過(guò)這種情況很少發(fā)生,但是似乎在強(qiáng)制關(guān)閉tomcat的過(guò)程中,可能會(huì)出現(xiàn)這個(gè)問(wèn)題。(Tomcat的序列化信息很多,IO 時(shí)間較長(zhǎng),但是我這里記錄的信息很少的,就只是一個(gè) Java 對(duì)象而已。)
如果出現(xiàn)了這個(gè)異常,解決辦法就是刪除記錄文件,但是因?yàn)檫@個(gè)錯(cuò)誤就無(wú)法使用斷點(diǎn)復(fù)制的功能了。
關(guān)于多線程下載的那部分我沒(méi)有寫(xiě),我自己想了好久,沒(méi)有想出來(lái)很好的方法(我對(duì)于線程不是很了解),我參考了網(wǎng)上的幾個(gè)實(shí)現(xiàn)(都是將每個(gè)線程的記錄寫(xiě)入一個(gè)單獨(dú)文件中,但是感覺(jué)這樣不是很好,我是想寫(xiě)入一個(gè)文件中,但是這樣又很麻煩。)。我想寫(xiě)一個(gè)自己的方法,但是沒(méi)有想出來(lái),就暫時(shí)放棄了。
到此這篇關(guān)于淺談一下Java多線程斷點(diǎn)復(fù)制的文章就介紹到這了,更多相關(guān)Java多線程斷點(diǎn)復(fù)制內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
java 實(shí)現(xiàn)最小二叉樹(shù)堆排序的實(shí)例
這篇文章主要介紹了java 實(shí)現(xiàn)最小二叉樹(shù)堆排序的實(shí)例的相關(guān)資料,希望通過(guò)本文能幫助到大家,需要的朋友可以參考下2017-09-09
MyBatis中多對(duì)多關(guān)系的映射和查詢
本文主要介紹了MyBatis中多對(duì)多關(guān)系的映射和查詢的相關(guān)知識(shí)。具有很好的參考價(jià)值,下面跟著小編一起來(lái)看下吧2017-02-02
Python如何使用@property @x.setter及@x.deleter
這篇文章主要介紹了Python如何使用@property @x.setter及@x.deleter,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05
Spring Cloud中關(guān)于Feign的常見(jiàn)問(wèn)題總結(jié)
這篇文章主要給大家介紹了Spring Cloud中關(guān)于Feign的常見(jiàn)問(wèn)題,文中通過(guò)示例代碼介紹的很詳細(xì),需要的朋友可以參考借鑒,下面來(lái)一起看看吧。2017-02-02
java 啟動(dòng)exe程序,傳遞參數(shù)和獲取參數(shù)操作
這篇文章主要介紹了java 啟動(dòng)exe程序,傳遞參數(shù)和獲取參數(shù)操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01

