java IO流將一個(gè)文件拆分為多個(gè)子文件代碼示例
文件分割與合并是一個(gè)常見(jiàn)需求,比如:上傳大文件時(shí),可以先分割成小塊,傳到服務(wù)器后,再進(jìn)行合并。很多高大上的分布式文件系統(tǒng)(比如:google的GFS、taobao的TFS)里,也是按block為單位,對(duì)文件進(jìn)行分割或合并。
看下基本思路:
如果有一個(gè)大文件,指定分割大小后(比如:按1M切割)
step 1:
先根據(jù)原始文件大小、分割大小,算出最終分割的小文件數(shù)N
step 2:
在磁盤(pán)上創(chuàng)建這N個(gè)小文件
step 3:
開(kāi)多個(gè)線程(線程數(shù)=分割文件數(shù)),每個(gè)線程里,利用RandomAccessFile的seek功能,將讀取指針定位到原文件里每一段的段首位置,然后向后讀取指定大小(即:分割塊大?。?,最終寫(xiě)入對(duì)應(yīng)的分割文件,因?yàn)槎嗑€程并行處理,各寫(xiě)各的小文件,速度相對(duì)還是比較快的。
下面代碼是將一個(gè)文件拆分為多個(gè)子文件,每個(gè)大小是100K
package testIO; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.util.Arrays; public class subStream { public static void main(String[] args) { //先將源文件讀取到內(nèi)存中 int eachSize=100*1024; File srcFile =new File("F:/test/test.txt"); //創(chuàng)建一個(gè)文件對(duì)象 splitFile(srcFile,eachSize); } public static void splitFile(File srcFile,int eachSize){ //判斷文件是否符合拆分要求 if(srcFile.length()==0){ throw new RuntimeException("文件不符合拆分要求"); } byte[] fileContent= new byte[(int) srcFile.length()]; try { //將文件內(nèi)容讀取到內(nèi)存中 FileInputStream fis=new FileInputStream(srcFile); fis.read(fileContent); fis.close(); } catch (Exception e) { e.printStackTrace(); } //計(jì)算要次要拆分為多少份 int fileNumber; if(fileContent.length%eachSize==0){ fileNumber = fileContent.length/eachSize; } else{ fileNumber = fileContent.length/eachSize+1; } for (int i=0;i<fileNumber;i++){ String fileName = srcFile.getName()+"-"+i+".txt"; File fi = new File(srcFile.getParent(), fileName); //在當(dāng)前文件路徑下創(chuàng)建拆分的文件 byte[] eachContent; //將源文件內(nèi)容復(fù)制到拆分的文件中 if(i!=fileNumber-1){ eachContent = Arrays.copyOfRange(fileContent, eachSize*i, eachSize*(i+1)); } else{ eachContent = Arrays.copyOfRange(fileContent, eachSize*i, fileContent.length); } try { FileOutputStream fos = new FileOutputStream(fi); fos.write(eachContent); fos.close(); System.out.printf("輸出子文件 %s,其大小是 %d,每個(gè)的大小是%d\n",fi.getAbsoluteFile(),fi.length(),eachContent.length); } catch (Exception e) { // TODO: handle exception e.printStackTrace(); } } } }
總結(jié)
以上就是本文關(guān)于java IO流將一個(gè)文件拆分為多個(gè)子文件代碼示例的全部?jī)?nèi)容,希望對(duì)大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專題,如有不足之處,歡迎留言指出。感謝朋友們對(duì)本站的支持!
相關(guān)文章
BeanUtils.copyProperties使用總結(jié)以及注意事項(xiàng)說(shuō)明
這篇文章主要介紹了BeanUtils.copyProperties使用總結(jié)以及注意事項(xiàng)說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-08-08Java程序執(zhí)行Cmd指令所遇問(wèn)題記錄及解決方案
這篇文章主要介紹了Java程序執(zhí)行Cmd指令所遇問(wèn)題記錄,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-09-09java?HttpURLConnection類的disconnect方法與http長(zhǎng)連接詳解
這篇文章主要介紹了java?HttpURLConnection類的disconnect方法與http長(zhǎng)連接,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-04-04Spring Boot2中如何優(yōu)雅地個(gè)性化定制Jackson實(shí)現(xiàn)示例
這篇文章主要為大家介紹了Spring Boot2中如何優(yōu)雅地個(gè)性化定制Jackson實(shí)現(xiàn)示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-05-05Java使用easyExcel實(shí)現(xiàn)導(dǎo)入功能
這篇文章介紹了Java使用easyExcel實(shí)現(xiàn)導(dǎo)入功能的方法,文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-10-10詳解關(guān)于IntelliJ IDEA中Schedule for Addition 的問(wèn)題
本篇文章主要介紹了詳解關(guān)于 IntelliJ IDEA 中 Schedule for Addition 的問(wèn)題,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-12-12Spring事務(wù)執(zhí)行流程及如何創(chuàng)建事務(wù)
這篇文章主要介紹了Spring事務(wù)執(zhí)行流程及如何創(chuàng)建事務(wù),幫助大家更好的理解和學(xué)習(xí)使用spring框架,感興趣的朋友可以了解下2021-03-03