使用mmap實(shí)現(xiàn)多進(jìn)程對大文件拷貝
本文實(shí)例為大家分享了mmap實(shí)現(xiàn)文件多進(jìn)程拷貝,供大家參考,具體內(nèi)容如下
假設(shè)有一個(gè)超大文件,需對其完成拷貝工作。為提高效率,可采用多進(jìn)程并行拷貝的方法來實(shí)現(xiàn)。假設(shè)文件大小為len,共有n個(gè)進(jìn)程對該文件進(jìn)行拷貝。那每個(gè)進(jìn)程拷貝的字節(jié)數(shù)應(yīng)為len/n。但未必一定能整除,我們可以選擇讓最后一個(gè)進(jìn)程負(fù)責(zé)剩余部分拷貝工作??墒褂胠en % (len/n)將剩余部分大小求出。
為降低實(shí)現(xiàn)復(fù)雜度,可選用mmap來實(shí)現(xiàn)源、目標(biāo)文件的映射,通過指針操作內(nèi)存地址,設(shè)置每個(gè)進(jìn)程拷貝的起始、結(jié)束位置。借助MAP_SHARED選項(xiàng)將內(nèi)存中所做的修改反映到物理磁盤上。
思路:
//1. 指定創(chuàng)建子進(jìn)程的個(gè)數(shù)
//2. 打開源文件
//3. 打開目的文件, 不存在則創(chuàng)建
//4. 獲取文件大小
//5. 根據(jù)文件大小拓展目標(biāo)文件
//6. 為源文件創(chuàng)建映射
//7. 為目標(biāo)文件創(chuàng)建映射
//8. 求出每個(gè)子進(jìn)程該拷貝的字節(jié)數(shù)
//9. 創(chuàng)建N個(gè)子進(jìn)程
//10. 子進(jìn)程完成分塊拷貝(注意最后一個(gè)子進(jìn)程拷貝起始位置)
//11. 釋放映射區(qū)
代碼如下:
#include<stdio.h> #include<stdlib.h> #include <sys/types.h> #include <sys/stat.h> #include <unistd.h> #include <sys/mman.h> #include<sys/wait.h> #include<string.h> #include <fcntl.h> int main(int argc,char*argv[]) { int n; if(argc < 3 || argc > 4) { printf("Enter like this : ./a.out file_src file_dst [proc_number]\n"); exit(1); } else if(argc == 3) //用戶未指定,默認(rèn)創(chuàng)建5個(gè)進(jìn)程。 n = 5; else n = atoi(argv[3]); //2.打開源文件 int fd_src = open(argv[1],O_RDONLY); if(fd_src < 0) { perror("open"); exit(2); } //3.打開目標(biāo)文件,不存在就創(chuàng)建,存在則截?cái)酁?的大小。 int fd_dst = open(argv[2],O_RDWR |O_CREAT |O_TRUNC,0664); if(fd_dst < 0) { perror("open"); exit(3); } //4.獲取源文件大小。 struct stat sbuf; int ret = fstat(fd_src,&sbuf); //fd_src所指向的文件信息保存到結(jié)構(gòu)體sbuf中。 if(ret < 0) { perror("fstat"); exit(4); } int flen = sbuf.st_size; //源文件大小。 if(flen < n) //文件長度小于進(jìn)程個(gè)數(shù)。 { n = flen; } //5.根據(jù)文件大小拓展目標(biāo)文件。 ret = ftruncate(fd_dst,flen);//將參數(shù)fd指定的文件大小改為參數(shù)length指定的大小 if(ret < 0) { perror("ftruncate"); exit(5); } //6.為源文件創(chuàng)建映射。 // void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); //addr == NULL,表示內(nèi)核選擇一個(gè)合適的地址創(chuàng)建一個(gè)length大小的共享內(nèi)存, char *mp_src = (char*)mmap(NULL,flen,PROT_READ,MAP_SHARED,fd_src,0); //0,表示將fd_src所指向的文件從起始映射到共享內(nèi)存中,共享內(nèi)存的權(quán)限為只讀,進(jìn)程間共享。 if(mp_src == MAP_FAILED) //mmap一定要檢查返回值。 { perror("mmap"); exit(6); } close(fd_src); //7.為目標(biāo)文件創(chuàng)建映射。 char *mp_dst = (char*)mmap(NULL,flen,PROT_READ|PROT_WRITE,MAP_SHARED,fd_dst,0); if(mp_dst == MAP_FAILED) //mmap一定要檢查返回值。 { perror("mmap"); exit(7); } close(fd_dst); //8.求出每個(gè)進(jìn)程拷貝的字節(jié)數(shù)。 int bs = flen / n; int mod = flen % bs; //求出均分后余下的字節(jié)數(shù),讓最后一個(gè)子進(jìn)程處理。 char *temp_src = mp_src; char *temp_dst = mp_dst; //9.創(chuàng)建n個(gè)子進(jìn)程。 int i ; pid_t pid; for(i = 0; i < n; ++i) { printf("create %dth proc\n",i); if( (pid =fork()) == 0 ) break; } if(n == i) //父進(jìn)程。 { int j = 0; for(j = 0; j < n; ++j) wait(NULL); } else if(i == (n-1)) //10.子進(jìn)程拷貝,最后一個(gè)子進(jìn)程,它多處理均分后剩下的字節(jié)數(shù)。 { printf("i = %d\n",i); memcpy(temp_dst+i*bs,temp_src+i*bs,bs+mod); } else if(i == 0) { printf("i = %d\n",i); memcpy(temp_dst,temp_src,bs); } else { printf("i = %d\n",i); memcpy(temp_dst+i*bs,temp_src+i*bs,bs); } //11.釋放映射區(qū)。 munmap(mp_src,flen); munmap(mp_dst,flen); return 0; }
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
C++中事件機(jī)制的簡潔實(shí)現(xiàn)及需要放棄的特性
事件模型是被廣泛使用的好東西,但是C++標(biāo)準(zhǔn)庫里沒有現(xiàn)成的,現(xiàn)在VC11可以用在XP下了,那么就痛快的拿起C++11提供的先進(jìn)設(shè)施組合出一個(gè)輕便的實(shí)現(xiàn)吧感興趣的朋友可以了解下,或許對你有所幫助2013-02-02C++實(shí)現(xiàn)CreatThread函數(shù)主線程與工作線程交互的方法
這篇文章主要介紹了C++實(shí)現(xiàn)CreatThread函數(shù)主線程與工作線程交互的方法,是Windows應(yīng)用程序設(shè)計(jì)中非常實(shí)用的方法,需要的朋友可以參考下2014-10-10一文詳解如何在VS?Code上搭建C/C++開發(fā)環(huán)境
VSCode是由微軟開發(fā)的一款免費(fèi)、開源、跨平臺的文本編輯器,它具有許多強(qiáng)大的功能,這篇文章主要給大家介紹了關(guān)于如何在VS?Code上搭建C/C++開發(fā)環(huán)境的相關(guān)資料,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2024-03-03用c語言實(shí)現(xiàn)《狼人殺》游戲發(fā)牌系統(tǒng)
大家好,本篇文章主要講的是用c語言實(shí)現(xiàn)《狼人殺》游戲發(fā)牌系統(tǒng),感興趣的同學(xué)趕快來看一看吧,對你有幫助的話記得收藏一下2022-01-01sublime text3搭建配置c語言編譯環(huán)境的詳細(xì)圖解教程(小白級)
這篇文章主要介紹了sublime text3搭建配置c語言編譯環(huán)境,詳細(xì)圖解,小白教程,本文通過圖文并茂的形式給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-01-01C/C++靜態(tài)類和this指針詳解及實(shí)例代碼
這篇文章主要介紹了 C/C++靜態(tài)類和this指針詳解及實(shí)例代碼的相關(guān)資料,需要的朋友可以參考下2017-02-02