Delphi 中內(nèi)存映射對于大文件的使用
Delphi 中內(nèi)存映射對于大文件的使用
平時很少使用大文件的內(nèi)存映射,碰巧遇到了這樣的要求,所以把過程記錄下來,當(dāng)給各位一個引子吧,因為應(yīng)用不算復(fù)雜,可能有考慮不到的地方,歡迎交流。
對于一些小文件,用普通的文件流就可以很好的解決,可是對于超大文件,比如2G或者更多,文件流就不行了,所以要使用API的內(nèi)存映射的相關(guān)方法,即使是內(nèi)存映射,也不能一次映射全部文件的大小,所以必須采取分塊映射,每次處理一小部分。
先來看幾個函數(shù)
CreateFile :打開文件
GetFileSize : 獲取文件尺寸
CreateFileMapping :創(chuàng)建映射
MapViewOfFile :映射文件
看MapViewOfFile的幫助,他的最后兩個參數(shù)都需要是頁面粒度的整數(shù)倍,一般機器的頁面粒度為64k(65536字節(jié)),而我們實際操作中,一般都不是這樣規(guī)矩的,任意位置,任意長度都是可能的,所以就要做一些處理。
本例的任務(wù)是從一個長度列表中(FInfoList),依次讀取長度值,然后到另外一個大文件(FSourceFileName)中去順序讀取指定長度的數(shù)據(jù),如果是小文件,這個就好辦了,一次讀到文件流中,然后依次讀取就是了,大數(shù)對于大文件,就需要不斷改變映射的位置,來取得我們想要的數(shù)據(jù)。
本例中顯示先通過GetSystemInfo來獲取頁面粒度,然后以10倍的頁面粒度為一個映射數(shù)據(jù)塊,在for循環(huán)中,會判斷已經(jīng)讀取的長度(totallen)加上即將讀取的長度,是否在本次映射范圍之內(nèi)(10倍的頁面粒度),如果在就繼續(xù)讀取,如果超出了,就要記下剩下的數(shù)據(jù),然后重新映射下一塊內(nèi)存,并將記錄下的剩余數(shù)據(jù)合并到新讀取的數(shù)據(jù)中,有點繞?。赡苁俏业南敕ㄌ@了),
下面列出代碼。
procedure TGetDataThread.DoGetData;
var
FFile_Handle:THandle;
FFile_Map:THandle;
list:TStringList;
p:PChar;
i,interval:Integer;
begin
try
totallen := 0;
offset := 0;
tstream := TMemoryStream.Create;
stream := TMemoryStream.Create;
list := TStringList.Create;
//獲取系統(tǒng)信息
GetSystemInfo(sysinfo);
//頁面分配粒度大小
blocksize := sysinfo.dwAllocationGranularity;
//打開文件
FFile_Handle := CreateFile(PChar(FSourceFileName),GENERIC_READ,FILE_SHARE_READ,nil,OPEN_EXISTING,FILE_ATTRIBUTE_NORMAL,0);
if FFile_Handle = INVALID_HANDLE_VALUE then Exit;
//獲取文件尺寸
filesize := GetFileSize(FFile_Handle,nil);
//創(chuàng)建映射
FFile_Map := CreateFileMapping(FFile_Handle,nil,PAGE_READONLY,0,0,nil);
if FFile_Map = 0 then Exit;
//此處我們已10倍blocksize為一個數(shù)據(jù)塊來映射,如果文件尺寸小于10倍blocksize,則直接映射整個文件長度
if filesize div blocksize > 10 then
readlen := 10*blocksize
else
readlen := filesize;
for i := 0 to FInfoList.Count - 1 do
begin
list.Delimiter := ':';
list.DelimitedText := FInfoList.Strings[i];
//取得長度,我這里做了解析,因為我存儲的信息為 a:b:c 這種類型,所以以:號分隔
len := StrToInt(list.Strings[1]);
interval := StrToInt(list.Strings[2]);
if (i = 0) or (totallen+len >=readlen) then
begin
//如果已讀取的長度加上即將要讀取的長度大于 10倍blocksize,那么我們要保留之前映射末尾的內(nèi)容,以便和新映射的內(nèi)容合并
if i > 0 then
begin
offset := offset + readlen;
//寫入臨時流
tstream.Write(p^,readlen-totallen);
tstream.Position := 0;
end;
//如果未讀取的數(shù)據(jù)長度已經(jīng)不夠一個分配粒度,那么就直接映射剩下的長度
if filesize-offset < blocksize then
readlen := filesize-offset;
//映射,p是指向映射區(qū)域的指針
//注意這里第三個參數(shù),一直設(shè)為0,這個值要根據(jù)實際情況設(shè)置
p := PChar(MapViewOfFile(FFile_Map,FILE_MAP_READ,0,offset,readlen));
end;
//如果臨時流中有數(shù)據(jù),需要合并
if tstream.Size > 0 then
begin
//把臨時流數(shù)據(jù)copy過來
stream.CopyFrom(tstream,tstream.Size);
//然后在末尾寫入新數(shù)據(jù),合并完成
stream.Write(p^,len-tstream.Size);
totallen := len-tstream.Size;
//移動指針的位置,指向下一個數(shù)據(jù)的開始
Inc(p,len-tstream.Size);
tstream.Clear;
end
else
begin
stream.Write(p^,len);
totallen := totallen + len;
Inc(p,len);
end;
stream.Position := 0;
//將流保存成文件
stream.SaveToFile(IntToStr(i)+'.txt');
stream.Clear;
end;
finally
stream.Free;
tstream.Free;
CloseHandle(FFile_Handle);
CloseHandle(FFile_Map);
end;
end;
如有疑問請留言或者到本站社區(qū)交流討論,感謝閱讀,希望能幫助到大家,謝謝大家對本站的支持!
相關(guān)文章
delphi程序全屏顯示無標(biāo)題欄覆蓋整個屏幕(適合屏保)
delphi 簡單實現(xiàn)程序全屏顯示無標(biāo)題欄,覆蓋整個屏幕,這個在做工控機或屏保時有用的,具體代碼如下,感興趣的朋友可以參考下哈2013-06-06
在Delphi實現(xiàn)在數(shù)據(jù)庫中存取圖像的圖文演示無錯
最近打算學(xué)習(xí)Delphi實現(xiàn)在數(shù)據(jù)庫中存取圖像,網(wǎng)上的好多Delphi實現(xiàn)在數(shù)據(jù)庫中存取圖像都是錯誤的,所以我把圖片給弄好了。2008-01-01
wordpress主題支持自定義菜單及修改css樣式實現(xiàn)方法
使用wordpress過程中會遇到主題支持自定義菜單以及修改css樣式問題,本文將介紹詳細(xì)解決方法,需要朋友可以參考下2012-12-12

