關(guān)于.net環(huán)境下跨進(jìn)程、高頻率讀寫(xiě)數(shù)據(jù)的問(wèn)題

更新時(shí)間：2021年05月29日 10:08:32 作者：漂亮的貓

最近老大教給我一個(gè)項(xiàng)目，項(xiàng)目要求高頻次地讀寫(xiě)數(shù)據(jù)，數(shù)據(jù)量也不是很大，難點(diǎn)在于這個(gè)規(guī)模的熱點(diǎn)數(shù)據(jù)，變化非常頻繁，下面把我的處理方法分享到腳本之家平臺(tái)，對(duì).net跨進(jìn)程高頻率讀寫(xiě)數(shù)據(jù)相關(guān)知識(shí)感興趣的朋友跟隨小編一起學(xué)習(xí)下吧

一、需求背景

1、最近項(xiàng)目要求高頻次地讀寫(xiě)數(shù)據(jù)，數(shù)據(jù)量也不是很大，多表總共加起來(lái)在百萬(wàn)條上下。

單表最大的也在25萬(wàn)左右，歷史數(shù)據(jù)表因?yàn)椴簧婕八圆挥每紤]，

難點(diǎn)在于這個(gè)規(guī)模的熱點(diǎn)數(shù)據(jù)，變化非常頻繁。

數(shù)據(jù)來(lái)源于一些檢測(cè)設(shè)備的采集數(shù)據(jù)，一些大表，有可能在極短時(shí)間內(nèi)（如幾秒鐘）可能大部分都會(huì)變化，

而且主程序也有一些后臺(tái)服務(wù)需要不斷輪詢、讀寫(xiě)某種類型的設(shè)備，所以要求信息交互時(shí)間盡可能短。

2、之前的解決方案是把所有熱點(diǎn)數(shù)據(jù)，統(tǒng)一加載到共享內(nèi)存里邊，到也能夠支撐的?。ê撩爰?jí)的），但是由于系統(tǒng)架構(gòu)升級(jí)，之前的程序（20年前的）不能兼容。

只能重新寫(xiě)一個(gè)，最先想到的是用redis，當(dāng)時(shí)把所有API重寫(xiě)完成后，測(cè)試發(fā)現(xiàn)效率不行，是的，你沒(méi)有看錯(cuò)，redis也是有使用范圍的。

3、redis讀寫(xiě)非常快，但是對(duì)于大批量讀寫(xiě)操作我覺(jué)得支持不夠，雖然redis支持批量讀寫(xiě)，但是效率還是不夠快，

對(duì)于字符串（string）類型的批量讀寫(xiě)，我測(cè)試過(guò)；效率比較好的在每批次200 至 250條之間，處理20萬(wàn)條數(shù)據(jù)耗時(shí)5秒左右, (PC機(jī)，8G，4核)

而對(duì)于有序集合（sorted set）類型，批量寫(xiě)的操作用起來(lái)非常別扭，而且沒(méi)有修改API（如有其他方式請(qǐng)指教），我測(cè)試過(guò)，效率沒(méi)string類型那么高

其他類型不適合我的業(yè)務(wù)場(chǎng)景，就沒(méi)考慮使用了

4、所以項(xiàng)目組最后決定還是用回共享內(nèi)存，先決定在.net環(huán)境下使用c#的共享內(nèi)存，這個(gè)功能可能使用的人不多，其實(shí)在.net4.0版本就已經(jīng)集成進(jìn)來(lái)了

在System.IO.MemoryMappedFile命名空間下。這個(gè)類庫(kù)讓人很無(wú)語(yǔ)，因?yàn)槔镞吥苡玫闹挥蠾rite、Read這2種方法，而且只是針對(duì)字節(jié)的操作，

需要非常多的類型轉(zhuǎn)換，非常麻煩！想想，只能以字節(jié)為單位去構(gòu)建一個(gè)需要存放百萬(wàn)級(jí)數(shù)據(jù)的內(nèi)存數(shù)據(jù)庫(kù)，得多麻煩？

需要手動(dòng)搞定索引功能，因?yàn)橐С指鞣N查詢，最后花了一天的時(shí)間寫(xiě)完DEMO，最后測(cè)試后發(fā)現(xiàn)效率并沒(méi)有很大提高，因?yàn)楫?dāng)時(shí)加了互斥量測(cè)試，

但是離毫秒級(jí)差得遠(yuǎn)。這個(gè)技術(shù)點(diǎn)有興趣的可以了解下，園子里有，如：https://www.cnblogs.com/zeroone/archive/2012/04/18/2454776.html

二、沒(méi)錯(cuò)，第一節(jié)寫(xiě)的太多了

1、最后分析，這應(yīng)該是c#語(yǔ)言的瓶頸，c#對(duì)于這種騷操作是不那么成熟的。

2、最后瞄來(lái)瞄去，決定使用VC開(kāi)發(fā)一個(gè)dll，在里邊封裝對(duì)內(nèi)存數(shù)據(jù)的讀寫(xiě)功能，然后c#調(diào)用

3、本人的C、C++不那么熟、參考了一些實(shí)例，比如園子里的：http://www.cnblogs.com/cwbcwb505/archive/2008/12/08/1350505.html

4、是的，你沒(méi)有看錯(cuò)，2008年的，我還看到一篇更早的，看來(lái)底層開(kāi)發(fā)C、C++那么經(jīng)久不衰不是沒(méi)有道理的，很多技術(shù)現(xiàn)在都在用

5、看看什么是共享內(nèi)存

三、開(kāi)始寫(xiě)代碼了

1、首先建2個(gè)控制臺(tái)項(xiàng)目，支持MFC，

2、先這樣：一個(gè)負(fù)責(zé)創(chuàng)建共享內(nèi)存，初始化數(shù)據(jù)

3、再這樣：一個(gè)讀寫(xiě)數(shù)據(jù)測(cè)試，最后修改

4、最后修改下圖片細(xì)節(jié)，測(cè)試一下，看看效果

5、完成了，see, 是不是很簡(jiǎn)單呀？都會(huì)了嗎？

四、真的要貼代碼了

1、先定義個(gè)枚舉返回狀態(tài)

typedef enum
{
    Success = 0,
    AlreadyExists = 1,
    Error = 2,
    OverSize = 3
}enumMemory;

2、再定義個(gè)結(jié)構(gòu)體用來(lái)測(cè)試

typedef struct
{
    int        TagID;
    char    TagName[32];
    int        Area;
    double    EngVal;
    double    UpdateTime;
    double    RawMax;
    double    RawMin;
    double    RawVal;
    char    Name[50];
    char    Al;
    double    ASTime;
    char    MaskState;
    double    AMTime;
    char    Cf;
    char    Tdf;
    char    AlarmCode[32];
}TENG;

3、開(kāi)始創(chuàng)建共享內(nèi)存

int Create(UINT size)
    {
        // Data
        HANDLE fileMap = CreateFileMapping(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE, 0, size, “Name”);

        if (fileMap == NULL || fileMap == INVALID_HANDLE_VALUE)
            return Error;

        if (GetLastError() == ERROR_ALREADY_EXISTS)
            return AlreadyExists;

        // init
        void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, size);

        if (mapView == NULL)
            return Error;
        else
            memset(mapView, 0, size);

        return Success;
    }

4、再開(kāi)始寫(xiě)數(shù)據(jù)

int Write(void *pDate, UINT nSize, UINT offset)
    {
        // open
        HANDLE fileMap = OpenFileMapping(FILE_MAP_WRITE, FALSE, “Name”);

        if (fileMap == NULL)
            return Error;

        // hander
        void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, nSize);

        if (mapView == NULL)
            return Error;
        else
            WriteDataPtr = mapView;

        // write
        memcpy(mapView, pDate, nSize);

        UnmapViewOfFile(pMapView);
        return Success;
    }

5、開(kāi)始讀數(shù)據(jù)

int Read(void *pData, UINT nSize, UINT offset)
    {
        // open
        HANDLE fileMap = OpenFileMapping(FILE_MAP_READ, FALSE, GetTableName());

        if (fileMap == NULL)
            return Error;

        // hander
        void *pMapView = MapViewOfFile(fileMap, FILE_MAP_READ, 0, 0, nSize);

        if (pMapView == NULL)
            return Error;
        else
            ReadDataPtr = pMapView;

        memcpy(pData, (pMapView, nSize);

        UnmapViewOfFile(pMapView);
        return Success;
    }

6、OK了，不復(fù)雜，網(wǎng)上都有這些資料，最后我們貼上測(cè)試程序

int _tmain(int argc, TCHAR* argv[], TCHAR* envp[])
{
    int length = 100000;
    CEng * ceng = new CEng();
    DWORD dwStart = GetTickCount();

    for (int i = 0; i < length; i++) {
        TENG eng;
        ceng->Read(&eng, ceng->size, ceng->size * i);

        eng.EngVal = i;
        ceng->Write(&eng, ceng->size, (i*ceng->size));

        if (i % 10000 == 0 || i == length - 1)
            printf("正在讀寫(xiě)的Eng.TagName:%s \n", eng.TagName);
    }

    printf("總條數(shù)%d,耗時(shí):%d 毫秒 \n", length, GetTickCount() - dwStart);

    // 驗(yàn)證數(shù)據(jù)
    TENG eng5000;
    ceng->Read(&eng5000, ceng->size, ceng->size * 5000);
    printf("\n驗(yàn)證數(shù)據(jù) \n");
    printf("第5000個(gè)Eng的TagID:%d, EngVal:%lf \n", eng5000.TagID, eng5000.EngVal);


    scanf_s("按任意鍵結(jié)束");
    return 0;
}

7、還有寫(xiě)測(cè)試程序

int _tmain(int argc, TCHAR* argv[], TCHAR* envp[])
{
    int length = 100000;
    CEng * ceng = new CEng();
    ceng->Create(ceng->size * length);

    DWORD dwStart = GetTickCount();

    for (int i = 0; i < length; i++)
    {
        TENG eng;
        memset(&eng, 0, ceng->size);

        eng.TagID = i;
        sprintf_s(eng.AlarmCode, "AlarmCode.%d", i);
        sprintf_s(eng.TagName, "TagName.%d", i);

        if (i % 10000 == 0 || i == length - 1)
            printf("正在寫(xiě)入的Eng.TagName:%s \n", eng.TagName);

        ceng->Write(&eng, ceng->size, (i*ceng->size));
    }


    // print time
    printf("寫(xiě)入數(shù)據(jù)完畢,總條數(shù):%d\n", length);
    printf("初始化值共享內(nèi)存區(qū)耗時(shí):%d 毫秒 \n", GetTickCount() - dwStart);


    scanf_s("按任意鍵結(jié)束");
    return 0;
}

8、當(dāng)然得再貼一遍啦

五、差點(diǎn)忘記做成DLL了

1、定義外部函數(shù)

extern "C" __declspec(dllexport) int ReadFromSharedMemory(TENG *pData, int nSize, int offset)
{
    return ceng->Read(pData, nSize, offset);
}

extern "C" __declspec(dllexport) int WriteToSharedMemory(void *pData, int nSize, int offset)
{
    return ceng->Write(pData, nSize, offset);
}

2、好了，VC到此為止，可以去領(lǐng)盒飯了，c#進(jìn)場(chǎng)

public class Lib
    {
        [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)]
        public static extern int ReadFromSharedMemory(IntPtr pData, int nSize, int offset);

        [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)]
        public static extern int WriteToSharedMemory(IntPtr pData, int nSize, int offset);
    }

3、c#測(cè)試一下

static void Main(string[] args)
        {
            var length = 100000;
            var startTime = DateTime.Now;
            var size = Marshal.SizeOf(typeof(TEng));
            var intPtrOut = Marshal.AllocHGlobal(size);
            var intPtrIn = Marshal.AllocHGlobal(size);

            for (var i = 0; i < length; i++)
            {
                Lib.ReadFromSharedMemory(intPtrOut, size, size * i);

                var eng = Marshal.PtrToStructure<TEng>(intPtrOut);
                eng.EngVal = i;

                Marshal.StructureToPtr(eng, intPtrIn, true);
                Lib.WriteToSharedMemory(intPtrIn, size, size * i);

                if (i % 10000 == 0)
                    Console.WriteLine("eng.TagID:{0}", eng.TagID);
            }

            Console.WriteLine("總條數(shù){0},耗時(shí):{1} 毫秒", length.ToString(),
                (DateTime.Now - startTime).TotalMilliseconds.ToString());

            // 驗(yàn)證數(shù)據(jù)
            var intPtr100 = Marshal.AllocHGlobal(size);
            Lib.ReadFromSharedMemory(intPtr100, size, size * 100);

            var eng100 = Marshal.PtrToStructure<TEng>(intPtr100);

            Console.WriteLine();
            Console.WriteLine("驗(yàn)證數(shù)據(jù)");
            Console.WriteLine("第100個(gè)Eng的TagID:{0},EngVal:{1}", eng100.TagID, eng100.EngVal);

            Console.ReadKey();
        }