關(guān)于.net環(huán)境下跨進程、高頻率讀寫數(shù)據(jù)的問題
一、需求背景
1、最近項目要求高頻次地讀寫數(shù)據(jù),數(shù)據(jù)量也不是很大,多表總共加起來在百萬條上下。
單表最大的也在25萬左右,歷史數(shù)據(jù)表因為不涉及所以不用考慮,
難點在于這個規(guī)模的熱點數(shù)據(jù),變化非常頻繁。
數(shù)據(jù)來源于一些檢測設(shè)備的采集數(shù)據(jù),一些大表,有可能在極短時間內(nèi)(如幾秒鐘)可能大部分都會變化,
而且主程序也有一些后臺服務(wù)需要不斷輪詢、讀寫某種類型的設(shè)備,所以要求信息交互時間盡可能短。
2、之前的解決方案是把所有熱點數(shù)據(jù),統(tǒng)一加載到共享內(nèi)存里邊,到也能夠支撐的住(毫秒級的),但是由于系統(tǒng)架構(gòu)升級,之前的程序(20年前的)不能兼容。
只能重新寫一個,最先想到的是用redis,當時把所有API重寫完成后,測試發(fā)現(xiàn)效率不行,是的,你沒有看錯,redis也是有使用范圍的。
3、redis讀寫非???,但是對于大批量讀寫操作我覺得支持不夠,雖然redis支持批量讀寫,但是效率還是不夠快,
對于字符串(string)類型的批量讀寫,我測試過;效率比較好的在每批次200 至 250條之間,處理20萬條數(shù)據(jù)耗時5秒左右, (PC機,8G,4核)
而對于有序集合(sorted set)類型,批量寫的操作用起來非常別扭,而且沒有修改API(如有其他方式請指教),我測試過,效率沒string類型那么高
其他類型不適合我的業(yè)務(wù)場景,就沒考慮使用了
4、所以項目組最后決定還是用回共享內(nèi)存,先決定在.net環(huán)境下使用c#的共享內(nèi)存,這個功能可能使用的人不多,其實在.net4.0版本就已經(jīng)集成進來了
在System.IO.MemoryMappedFile命名空間下。這個類庫讓人很無語,因為里邊能用的只有Write、Read這2種方法,而且只是針對字節(jié)的操作,
需要非常多的類型轉(zhuǎn)換,非常麻煩!想想,只能以字節(jié)為單位去構(gòu)建一個需要存放百萬級數(shù)據(jù)的內(nèi)存數(shù)據(jù)庫,得多麻煩?
需要手動搞定索引功能,因為要支持各種查詢,最后花了一天的時間寫完DEMO,最后測試后發(fā)現(xiàn)效率并沒有很大提高,因為當時加了互斥量測試,
但是離毫秒級差得遠。這個技術(shù)點有興趣的可以了解下,園子里有,如:https://www.cnblogs.com/zeroone/archive/2012/04/18/2454776.html
二、沒錯,第一節(jié)寫的太多了
1、最后分析,這應(yīng)該是c#語言的瓶頸,c#對于這種騷操作是不那么成熟的。
2、最后瞄來瞄去,決定使用VC開發(fā)一個dll,在里邊封裝對內(nèi)存數(shù)據(jù)的讀寫功能,然后c#調(diào)用
3、本人的C、C++不那么熟、參考了一些實例,比如園子里的:http://www.cnblogs.com/cwbcwb505/archive/2008/12/08/1350505.html
4、是的,你沒有看錯,2008年的,我還看到一篇更早的,看來底層開發(fā)C、C++那么經(jīng)久不衰不是沒有道理的,很多技術(shù)現(xiàn)在都在用
5、看看什么是共享內(nèi)存
三、開始寫代碼了
1、首先建2個控制臺項目,支持MFC,
2、先這樣:一個負責創(chuàng)建共享內(nèi)存,初始化數(shù)據(jù)
3、再這樣:一個讀寫數(shù)據(jù)測試,最后修改
4、最后修改下圖片細節(jié),測試一下,看看效果
5、完成了,see, 是不是很簡單呀?都會了嗎?
四、真的要貼代碼了
1、先定義個枚舉返回狀態(tài)
typedef enum { Success = 0, AlreadyExists = 1, Error = 2, OverSize = 3 }enumMemory;
2、再定義個結(jié)構(gòu)體用來測試
typedef struct { int TagID; char TagName[32]; int Area; double EngVal; double UpdateTime; double RawMax; double RawMin; double RawVal; char Name[50]; char Al; double ASTime; char MaskState; double AMTime; char Cf; char Tdf; char AlarmCode[32]; }TENG;
3、開始創(chuàng)建共享內(nèi)存
int Create(UINT size) { // Data HANDLE fileMap = CreateFileMapping(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE, 0, size, “Name”); if (fileMap == NULL || fileMap == INVALID_HANDLE_VALUE) return Error; if (GetLastError() == ERROR_ALREADY_EXISTS) return AlreadyExists; // init void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, size); if (mapView == NULL) return Error; else memset(mapView, 0, size); return Success; }
4、再開始寫數(shù)據(jù)
int Write(void *pDate, UINT nSize, UINT offset) { // open HANDLE fileMap = OpenFileMapping(FILE_MAP_WRITE, FALSE, “Name”); if (fileMap == NULL) return Error; // hander void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, nSize); if (mapView == NULL) return Error; else WriteDataPtr = mapView; // write memcpy(mapView, pDate, nSize); UnmapViewOfFile(pMapView); return Success; }
5、開始讀數(shù)據(jù)
int Read(void *pData, UINT nSize, UINT offset) { // open HANDLE fileMap = OpenFileMapping(FILE_MAP_READ, FALSE, GetTableName()); if (fileMap == NULL) return Error; // hander void *pMapView = MapViewOfFile(fileMap, FILE_MAP_READ, 0, 0, nSize); if (pMapView == NULL) return Error; else ReadDataPtr = pMapView; memcpy(pData, (pMapView, nSize); UnmapViewOfFile(pMapView); return Success; }
6、OK了,不復(fù)雜,網(wǎng)上都有這些資料,最后我們貼上測試程序
int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]) { int length = 100000; CEng * ceng = new CEng(); DWORD dwStart = GetTickCount(); for (int i = 0; i < length; i++) { TENG eng; ceng->Read(&eng, ceng->size, ceng->size * i); eng.EngVal = i; ceng->Write(&eng, ceng->size, (i*ceng->size)); if (i % 10000 == 0 || i == length - 1) printf("正在讀寫的Eng.TagName:%s \n", eng.TagName); } printf("總條數(shù)%d,耗時:%d 毫秒 \n", length, GetTickCount() - dwStart); // 驗證數(shù)據(jù) TENG eng5000; ceng->Read(&eng5000, ceng->size, ceng->size * 5000); printf("\n驗證數(shù)據(jù) \n"); printf("第5000個Eng的TagID:%d, EngVal:%lf \n", eng5000.TagID, eng5000.EngVal); scanf_s("按任意鍵結(jié)束"); return 0; }
7、還有寫測試程序
int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]) { int length = 100000; CEng * ceng = new CEng(); ceng->Create(ceng->size * length); DWORD dwStart = GetTickCount(); for (int i = 0; i < length; i++) { TENG eng; memset(&eng, 0, ceng->size); eng.TagID = i; sprintf_s(eng.AlarmCode, "AlarmCode.%d", i); sprintf_s(eng.TagName, "TagName.%d", i); if (i % 10000 == 0 || i == length - 1) printf("正在寫入的Eng.TagName:%s \n", eng.TagName); ceng->Write(&eng, ceng->size, (i*ceng->size)); } // print time printf("寫入數(shù)據(jù)完畢,總條數(shù):%d\n", length); printf("初始化值共享內(nèi)存區(qū)耗時:%d 毫秒 \n", GetTickCount() - dwStart); scanf_s("按任意鍵結(jié)束"); return 0; }
8、當然得再貼一遍啦
五、差點忘記做成DLL了
1、定義外部函數(shù)
extern "C" __declspec(dllexport) int ReadFromSharedMemory(TENG *pData, int nSize, int offset) { return ceng->Read(pData, nSize, offset); } extern "C" __declspec(dllexport) int WriteToSharedMemory(void *pData, int nSize, int offset) { return ceng->Write(pData, nSize, offset); }
2、好了,VC到此為止,可以去領(lǐng)盒飯了,c#進場
public class Lib { [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)] public static extern int ReadFromSharedMemory(IntPtr pData, int nSize, int offset); [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)] public static extern int WriteToSharedMemory(IntPtr pData, int nSize, int offset); }
3、c#測試一下
static void Main(string[] args) { var length = 100000; var startTime = DateTime.Now; var size = Marshal.SizeOf(typeof(TEng)); var intPtrOut = Marshal.AllocHGlobal(size); var intPtrIn = Marshal.AllocHGlobal(size); for (var i = 0; i < length; i++) { Lib.ReadFromSharedMemory(intPtrOut, size, size * i); var eng = Marshal.PtrToStructure<TEng>(intPtrOut); eng.EngVal = i; Marshal.StructureToPtr(eng, intPtrIn, true); Lib.WriteToSharedMemory(intPtrIn, size, size * i); if (i % 10000 == 0) Console.WriteLine("eng.TagID:{0}", eng.TagID); } Console.WriteLine("總條數(shù){0},耗時:{1} 毫秒", length.ToString(), (DateTime.Now - startTime).TotalMilliseconds.ToString()); // 驗證數(shù)據(jù) var intPtr100 = Marshal.AllocHGlobal(size); Lib.ReadFromSharedMemory(intPtr100, size, size * 100); var eng100 = Marshal.PtrToStructure<TEng>(intPtr100); Console.WriteLine(); Console.WriteLine("驗證數(shù)據(jù)"); Console.WriteLine("第100個Eng的TagID:{0},EngVal:{1}", eng100.TagID, eng100.EngVal); Console.ReadKey(); }
4、165毫秒,相比在VC下運行,差了一個數(shù)量級,但是,也不錯了;
因為c#環(huán)境下需要不斷的Marshal.PtrToStructure、Marshal.StructureToPtr,頻繁地把數(shù)據(jù)在托管內(nèi)存俞共享內(nèi)存之間搬運
是需要耗費時間的,這點有更好處理方式的請指教,
六、因為跨線程、進程,所以要考慮加入互斥量哦
1、很簡單,MFC下有現(xiàn)成的類CMutex,加在Write里邊在看看效率
互斥量是需要耗費資源的,多了將進100毫秒
2、讀寫都加上互斥量試試看
又多了80多毫秒,
魚與熊掌不可兼得啊。要根據(jù)實際運用場景覺得是否加上互斥量
好了,人家51去游玩、我卻宅家里碼程序,可見我的趣味還是挺高的,洗澡、洗衣服、然后去吃飯、一天沒進食了,
以上就是.net環(huán)境下跨進程、高頻率讀寫數(shù)據(jù)的詳細內(nèi)容,更多關(guān)于.net跨進程高頻率讀寫數(shù)據(jù)的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
.NET的基元類型包括什么及Unmanaged和Blittable類型詳解
這篇文章主要介紹了.NET的基元類型包括什么及Unmanaged和Blittable類型詳解,Unmanaged類型可以理解不涉及托管對象引用的值類型,本文通過實例代碼給大家介紹的非常詳細,需要的朋友可以參考下2023-06-06asp.net core3.1 引用的元包dll版本兼容性問題解決方案
這篇文章主要介紹了asp.net core 3.1 引用的元包dll版本兼容性問題解決方案,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03ASP.NET操作Word的IIS權(quán)限設(shè)置
檢索 COM 類工廠中 CLSID 為 {00024500-0000-0000-C000-000000000046} 的組件時失敗,原因是出現(xiàn)以下錯誤: 80070005。2011-02-02Entity?Framework代碼優(yōu)先Code?First入門
這篇文章介紹了Entity?Framework的代碼優(yōu)先模式Code?First,文中通過示例代碼介紹的非常詳細。對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-06-06asp.net 使用駐留在頁面中的Cache緩存常用可定時更新的數(shù)據(jù)
這個就先需要先知道一下System.Web.Caching.Cache類,其實在我做WEB應(yīng)用的時候,我會將一些使用頻繁但是又要經(jīng)常使用并且需要急時更新的對象放到Cache中,這樣可以很大程序上減少從硬盤上讀取數(shù)據(jù)的次數(shù)。2010-03-03