Java多線程實現FTP批量上傳文件
更新時間：2022年06月23日 11:45:37 作者：高級軟件開發(fā)工程師
這篇文章主要為大家詳細介紹了Java多線程實現FTP批量上傳文件，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
本文實例為大家分享了Java多線程實現FTP批量上傳文件的具體代碼，供大家參考，具體內容如下
1、構建FTP客戶端
package cn.com.pingtech.common.ftp;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPReply;
import java.io.*;
import java.net.UnknownHostException;
@Slf4j
public class ?FtpConnection {
? ? private FTPClient ftp = new FTPClient();
? ? private boolean is_connected = false;
? ? /**
? ? ?* 構造函數
? ? ?*/
? ? public FtpConnection() {
? ? ? ? is_connected = false;
? ? ? ? ftp.setDefaultTimeout(FtpConfig.defaultTimeoutSecond * 1000);
? ? ? ? ftp.setConnectTimeout(FtpConfig.connectTimeoutSecond * 1000);
? ? ? ? ftp.setDataTimeout(FtpConfig.dataTimeoutSecond * 1000);
? ? ? ? try {
? ? ? ? ? ? initConnect(FtpConfig.host, FtpConfig.port, FtpConfig.user, FtpConfig.password);
? ? ? ? } catch (IOException e) {
? ? ? ? ? ? e.printStackTrace();
? ? ? ? }
? ? }
? ? /**
? ? ?* 初始化連接
? ? ?*
? ? ?* @param host
? ? ?* @param port
? ? ?* @param user
? ? ?* @param password
? ? ?* @throws IOException
? ? ?*/
? ? private void initConnect(String host, int port, String user, String password) throws IOException {
? ? ? ? try {
? ? ? ? ? ? ftp.connect(host, port);
? ? ? ? } catch (UnknownHostException ex) {
? ? ? ? ? ? throw new IOException("Can't find FTP server '" + host + "'");
? ? ? ? }
? ? ? ? int reply = ftp.getReplyCode();//220 連接成功
? ? ? ? if (!FTPReply.isPositiveCompletion(reply)) {
? ? ? ? ? ? disconnect();
? ? ? ? ? ? throw new IOException("Can't connect to server '" + host + "'");
? ? ? ? }
? ? ? ? if (!ftp.login(user, password)) {
? ? ? ? ? ? is_connected = false;
? ? ? ? ? ? disconnect();
? ? ? ? ? ? throw new IOException("Can't login to server '" + host + "'");
? ? ? ? } else {
? ? ? ? ? ? is_connected = true;
? ? ? ? }
? ? }
? ? /**
? ? ?* 上傳文件
? ? ?*
? ? ?* @param path
? ? ?* @param ftpFileName
? ? ?* @param localFile
? ? ?* @throws IOException
? ? ?*/
? ? public boolean upload(String path, String ftpFileName, File localFile) throws IOException {
? ? ? ? boolean is ?= false;
? ? ? ? //檢查本地文件是否存在
? ? ? ? if (!localFile.exists()) {
? ? ? ? ? ? throw new IOException("Can't upload '" + localFile.getAbsolutePath() + "'. This file doesn't exist.");
? ? ? ? }
? ? ? ? //設置工作路徑
? ? ? ? setWorkingDirectory(path);
? ? ? ? //上傳
? ? ? ? InputStream in = null;
? ? ? ? try {
? ? ? ? ? ? //被動模式
? ? ? ? ? ? ftp.enterLocalPassiveMode();
? ? ? ? ? ? in = new BufferedInputStream(new FileInputStream(localFile));
? ? ? ? ? ? //保存文件
? ? ? ? ? ? is = ftp.storeFile(ftpFileName, in);
? ? ? ? }catch (Exception e){
? ? ? ? ? ? e.printStackTrace();
? ? ? ? }
? ? ? ? finally {
? ? ? ? ? ? try {
? ? ? ? ? ? ? ? in.close();
? ? ? ? ? ? } catch (IOException ex) {
? ? ? ? ? ? ? ? ex.printStackTrace();
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? return is;
? ? }
? ? /**
? ? ?* 關閉連接
? ? ?*
? ? ?* @throws IOException
? ? ?*/
? ? public void disconnect() throws IOException {
? ? ? ? if (ftp.isConnected()) {
? ? ? ? ? ? try {
? ? ? ? ? ? ? ? ftp.logout();
? ? ? ? ? ? ? ? ftp.disconnect();
? ? ? ? ? ? ? ? is_connected = false;
? ? ? ? ? ? } catch (IOException ex) {
? ? ? ? ? ? ? ? ex.printStackTrace();
? ? ? ? ? ? }
? ? ? ? }
? ? }
? ? /**
? ? ?* 設置工作路徑
? ? ?*
? ? ?* @param dir
? ? ?* @return
? ? ?*/
? ? private boolean setWorkingDirectory(String dir) {
? ? ? ? if (!is_connected) {
? ? ? ? ? ? return false;
? ? ? ? }
? ? ? ? //如果目錄不存在創(chuàng)建目錄
? ? ? ? try {
? ? ? ? ? ? if (createDirecroty(dir)) {
? ? ? ? ? ? ? ? return ftp.changeWorkingDirectory(dir);
? ? ? ? ? ? }
? ? ? ? } catch (IOException e) {
? ? ? ? ? ? e.printStackTrace();
? ? ? ? }
? ? ? ? return false;
? ? }
? ? /**
? ? ?* 是否連接
? ? ?*
? ? ?* @return
? ? ?*/
? ? public boolean isConnected() {
? ? ? ? return is_connected;
? ? }
? ? /**
? ? ?* 創(chuàng)建目錄
? ? ?*
? ? ?* @param remote
? ? ?* @return
? ? ?* @throws IOException
? ? ?*/
? ? private boolean createDirecroty(String remote) throws IOException {
? ? ? ? boolean success = true;
? ? ? ? String directory = remote.substring(0, remote.lastIndexOf("/") + 1);
? ? ? ? // 如果遠程目錄不存在，則遞歸創(chuàng)建遠程服務器目錄
? ? ? ? if (!directory.equalsIgnoreCase("/") && !ftp.changeWorkingDirectory(new String(directory))) {
? ? ? ? ? ? int start = 0;
? ? ? ? ? ? int end = 0;
? ? ? ? ? ? if (directory.startsWith("/")) {
? ? ? ? ? ? ? ? start = 1;
? ? ? ? ? ? } else {
? ? ? ? ? ? ? ? start = 0;
? ? ? ? ? ? }
? ? ? ? ? ? end = directory.indexOf("/", start);
? ? ? ? ? ? while (true) {
? ? ? ? ? ? ? ? String subDirectory = new String(remote.substring(start, end));
? ? ? ? ? ? ? ? if (!ftp.changeWorkingDirectory(subDirectory)) {
? ? ? ? ? ? ? ? ? ? if (ftp.makeDirectory(subDirectory)) {
? ? ? ? ? ? ? ? ? ? ? ? ftp.changeWorkingDirectory(subDirectory);
? ? ? ? ? ? ? ? ? ? } else {
? ? ? ? ? ? ? ? ? ? ? ? log.error("mack directory error :/" + subDirectory);
? ? ? ? ? ? ? ? ? ? ? ? return false;
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? start = end + 1;
? ? ? ? ? ? ? ? end = directory.indexOf("/", start);
? ? ? ? ? ? ? ? // 檢查所有目錄是否創(chuàng)建完畢
? ? ? ? ? ? ? ? if (end <= start) {
? ? ? ? ? ? ? ? ? ? break;
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? return success;
? ? }
}2、FTP連接工廠
package cn.com.pingtech.common.ftp;
import lombok.extern.slf4j.Slf4j;
import java.io.IOException;
import java.util.concurrent.ArrayBlockingQueue;
/**
?* 連接工廠
?*/
@Slf4j
public class FtpFactory {
? ? //有界隊列
? ? private static final ArrayBlockingQueue<FtpConnection> arrayBlockingQueue = new ArrayBlockingQueue<>(FtpConfig.ftpConnectionSize);
? ? protected FtpFactory(){
? ? ? ? log.info("init ftpConnectionSize "+FtpConfig.ftpConnectionSize);
? ? ? ? for(int i = 0; i< FtpConfig.ftpConnectionSize; i++){
? ? ? ? ? ? //表示如果可能的話，將 e 加到 BlockingQueue 里，即如果 BlockingQueue 可以容納，則返回 true，否則返回 false
? ? ? ? ? ? arrayBlockingQueue.offer(new FtpConnection());
? ? ? ? }
? ? }
? ? /**
? ? ?* 獲取連接
? ? ?*
? ? ?* @return
? ? ?*/
? ? public FtpConnection getFtp() {
? ? ? ? FtpConnection poll = null;
? ? ? ? try {
? ? ? ? ? ? //取走 BlockingQueue 里排在首位的對象，若 BlockingQueue 為空，阻斷進入等待狀態(tài)直到 Blocking 有新的對象被加入為止
? ? ? ? ? ? poll = arrayBlockingQueue.take();
? ? ? ? } catch (InterruptedException e) {
? ? ? ? ? ? e.printStackTrace();
? ? ? ? }
? ? ? ? return poll;
? ? }
? ? /**
? ? ?* 釋放連接
? ? ?* @param ftp
? ? ?* @return
? ? ?*/
? ? public boolean relase(FtpConnection ftp){
? ? ? ? return arrayBlockingQueue.offer(ftp);
? ? }
? ? /**
? ? ?* 刪除連接
? ? ?*
? ? ?* @param ftp
? ? ?*/
? ? public void remove(FtpConnection ftp) {
? ? ? ? arrayBlockingQueue.remove(ftp);
? ? }
? ? /**
? ? ?* 關閉連接
? ? ?*/
? ? public void close() {
? ? ? ? for (FtpConnection connection : arrayBlockingQueue) {
? ? ? ? ? ? try {
? ? ? ? ? ? ? ? connection.disconnect();
? ? ? ? ? ? } catch (IOException e) {
? ? ? ? ? ? ? ? e.printStackTrace();
? ? ? ? ? ? }
? ? ? ? }
? ? }
}3、FTP配置
package cn.com.pingtech.common.ftp;
/**
?* ftp 配置類
?*/
public class FtpConfig {
? ? public static int defaultTimeoutSecond = 10;
? ? public static int connectTimeoutSecond = 10;
? ? public static int dataTimeoutSecond = 10;
? ? public static String host = "127.0.0.1";
? ? public static int port =9999;
? ? public static String user = "Administrator";
? ? public static String password ="Yp886611";
? ? public static int threadPoolSize = 1;
? ? public static int ftpConnectionSize = 1;
? ??
}4、構建多線程FTP上傳任務
package cn.com.pingtech.common.ftp;
import java.io.File;
import java.io.IOException;
import java.util.concurrent.Callable;
/**
?* 上傳任務
?*/
public class UploadTask implements Callable{
? ? private File file;
? ? private FtpConnection ftp;
? ? private String path;
? ? private String fileName;
? ? private FtpFactory factory;
? ? public UploadTask(FtpFactory factory,FtpConnection ftp, File file, String path, String fileName){
? ? ? ? this.factory = factory;
? ? ? ? this.ftp = ftp;
? ? ? ? this.file = file;
? ? ? ? this.path = path;
? ? ? ? this.fileName = fileName;
? ? }
? ? @Override
? ? public UploadResult call() throws Exception {
? ? ? ? UploadResult result = null;
? ? ? ? try {
? ? ? ? ? ? if (ftp == null) {
? ? ? ? ? ? ? ? result = new UploadResult(file.getAbsolutePath(), false);
? ? ? ? ? ? ? ? return result;
? ? ? ? ? ? }
? ? ? ? ? ? //如果連接未開啟 重新獲取連接
? ? ? ? ? ? if (!ftp.isConnected()) {
? ? ? ? ? ? ? ? factory.remove(ftp);
? ? ? ? ? ? ? ? ftp = new FtpConnection();
? ? ? ? ? ? }
? ? ? ? ? ? //開始上傳
? ? ? ? ? ? result = new UploadResult(file.getName(), ftp.upload(path, fileName, file));
? ? ? ? } catch (IOException ex) {
? ? ? ? ? ? result = new UploadResult(file.getName(), false);
? ? ? ? ? ? ex.printStackTrace();
? ? ? ? } finally {
? ? ? ? ? ? factory.relase(ftp);//釋放連接
? ? ? ? }
? ? ? ? return result;
? ? }
}package cn.com.pingtech.common.ftp;
/**
?* 上傳結果
?*/
public class UploadResult {
? ? private String fileName; //文件名稱
? ? private boolean result; //是否上傳成功
? ? public UploadResult(String fileName, boolean result) {
? ? ? ? this.fileName = fileName;
? ? ? ? this.result = result;
? ? }
? ? public String getFileName() {
? ? ? ? return fileName;
? ? }
? ? public void setFileName(String fileName) {
? ? ? ? this.fileName = fileName;
? ? }
? ? public boolean isResult() {
? ? ? ? return result;
? ? }
? ? public void setResult(boolean result) {
? ? ? ? this.result = result;
? ? }
? ? public String toString() {
? ? ? ? return "[fileName=" + fileName + " , result=" + result + "]";
? ? }
}注意：實現Callable接口的任務線程能返回執(zhí)行結果
Callable接口支持返回執(zhí)行結果，此時需要調用FutureTask.get()方法實現，此方法會阻塞線程直到獲取“將來”的結果，當不調用此方法時，主線程不會阻塞
5、FTP上傳工具類
package cn.com.pingtech.common.ftp;
import java.io.File;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;
import java.util.concurrent.TimeUnit;
/**
?* ftp上傳工具包
?*/
public class FtpUtil {
? ? /**
? ? ?* 上傳文件
? ? ?*
? ? ?* @param ftpPath
? ? ?* @param listFiles
? ? ?* @return
? ? ?*/
? ? public static synchronized List upload(String ftpPath, File[] listFiles) {
? ? ? ? //構建線程池
? ? ? ? ExecutorService newFixedThreadPool = Executors.newFixedThreadPool(FtpConfig.threadPoolSize);
? ? ? ? List<Future> results = new ArrayList<>();
? ? ? ? //創(chuàng)建n個ftp鏈接
? ? ? ? FtpFactory factory = new FtpFactory();
? ? ? ? for (File file : listFiles) {
? ? ? ? ? ? FtpConnection ftp = factory.getFtp();//獲取ftp con
? ? ? ? ? ? UploadTask upload = new UploadTask(factory,ftp, file, ftpPath, file.getName());
? ? ? ? ? ? Future submit = newFixedThreadPool.submit(upload);
? ? ? ? ? ? results.add(submit);
? ? ? ? }
? ? ? ? List listResults = new ArrayList<>();
? ? ? ? for (Future result : results) {
? ? ? ? ? ? try {
? ? ? ? ? ? ? ? //獲取線程結果
? ? ? ? ? ? ? ? UploadResult uploadResult = (UploadResult)result.get(30, TimeUnit.MINUTES);
? ? ? ? ? ? ? ? listResults.add(uploadResult);
? ? ? ? ? ? } catch (Exception e) {
? ? ? ? ? ? ? ? e.printStackTrace();
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? factory.close();
? ? ? ? newFixedThreadPool.shutdown();
? ? ? ? return listResults;
? ? }
}6、測試上傳
package cn.com.pingtech.common.ftp
class Client {
? ? public static void main(String[] args) throws IOException {
? ? ? ? String loalPath = "C:\\Users\\Administrator\\Desktop\\test\\0";
? ? ? ? String ftpPath = "/data/jcz/";
? ? ? ? File parentFile = new File(loalPath);
? ? ? ? List <UploadResult> list = FtpUtil.upload(ftpPath,parentFile.listFiles());
? ? ? ? for(UploadResult vo:list){
? ? ? ? ? ? System.out.println(vo);
? ? ? ? }
? ? ? ??
? ? }
}注意：FTP協(xié)議里面，規(guī)定文件名編碼為iso-8859-1，所以目錄名或文件名需要轉碼
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
這篇文章主要為大家介紹了flink進階富函數生命周期的舉例介紹，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-03-03
這篇文章主要介紹了QTabWidget標簽實現雙擊關閉的方法(推薦)的相關資料,非常不錯，具有參考借鑒價值，需要的朋友可以參考下2016-06-06
這篇文章主要介紹了Maven本地存在jar包IDEA依舊爆紅的完美解決方法,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-06-06
RabbitMQ的消息確認有兩種, 一種是消息發(fā)送確認,第二種是消費接收確認,本文主要介紹了springboot實現rabbitmq消息確認的示例代碼,具有一定的參考價值,感興趣的可以了解一下2023-09-09
在本文中，我們將介紹注解的基礎知識，包括注解是什么，它們如何在示例中使用，以及如何處理它們。下面和小編一起來學習吧2019-05-05
這篇文章主要為大家詳細介紹了java實現坦克大戰(zhàn)游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-09-09
這篇文章主要介紹了 ArrayList和HashMap如何自己實現的相關資料,需要的朋友可以參考下2016-12-12
在本篇文章里小編給大家整理的是關于Spring Boot實現熱部署的實例方法和實例，需要的朋友們可以參考下。2020-02-02![[Spring MVC] -簡單表單提交實例](http://img.jbzj.com/images/xgimg/bcimg8.png)
本篇文章主要介紹了[Spring MVC] -簡單表單提交實例，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。2016-12-12
這篇文章主要介紹了Java調用微信支付功能的方法示例代碼,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-08-08