.net?core中高效的動態(tài)內(nèi)存管理方案

更新時間：2022年07月02日 11:12:01 作者：天方

這篇文章介紹了.net?core中高效的動態(tài)內(nèi)存管理方案，文中通過示例代碼介紹的非常詳細(xì)。對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下

.net core在新增的System.Buffers中引入了一大堆高效內(nèi)存管理的類，如span和memory、內(nèi)存池。本文今天這里介紹一個高效動態(tài)內(nèi)存訪問方案。

ReadOnlySequenceSegment<T>

在我們讀取數(shù)據(jù)的過程，很多時候會出現(xiàn)如下場景：

不知道數(shù)據(jù)實際大小
一次性申請大量內(nèi)存開銷太大

此時我們往往會使用動態(tài)內(nèi)存的方案，通過鏈表的方式串聯(lián)起來，從而形成邏輯意義上的數(shù)據(jù)流。如下圖所示：

ReadOnlySequenceSegment<T>就是這樣一個表示數(shù)據(jù)流節(jié)點的內(nèi)存模型，它是一個抽象類，包含如下三個元素：

Memory：指向所包含的內(nèi)存
Next：指向下一個節(jié)點
RunningIndex：標(biāo)志當(dāng)前節(jié)點在整個流的位置

其中Memory和Next還比較容易理解，典型的鏈表結(jié)構(gòu)。主要難理解的是RunningIndex，他表示該節(jié)點在數(shù)據(jù)流中的Memory起始索引。

一般的來講，某節(jié)點的RunningIndex為其上一個節(jié)點的RunningIndex + Memory.Length。加上RunningIndex估計主要是為了快速索引的。

例如：對于如下3快內(nèi)存 100byte， 200byte， 300byte組成的鏈表，其RunningIndex分別是0， 100， 200。

另外，在實際的使用過程中，往往是不停的釋放鏈表頭部的節(jié)點，并且在尾部添加新節(jié)點。 RunningIndex表示的索引一般是邏輯意義上的索引，在釋放頭節(jié)點時，一般不用更新其子節(jié)點以及后續(xù)節(jié)點的RunningIndex。

ReadOnlySequence<T>

ReadOnlySequenceSegment<T>雖然能解決我們的動態(tài)內(nèi)存的申請和釋放問題，但它往往并不好用，因為很容易出現(xiàn)一段連續(xù)的數(shù)據(jù)被分割在多個節(jié)點的情況，在這段不連續(xù)的數(shù)據(jù)里進(jìn)行查詢是非常不便的。

為了解決這個問題，.net core中推出了一個視圖類ReadOnlySequence<T>

ReadOnlySequence<T>由兩個屬性標(biāo)記：

Start：起始SequenceSegment以及起始索引
End：結(jié)尾SequenceSegment以及結(jié)尾索引

可以通過foreach遍歷各節(jié)點的Memory

　　var seq = new ReadOnlySequence<byte>();
　　foreach (ReadOnlyMemory<byte> memory in seq)
　　{
　　}

ReadOnlySequence的主要優(yōu)勢在于，它可以看成一段邏輯意義上的連續(xù)內(nèi)存，常用的函數(shù)有：

Slice：對視圖數(shù)據(jù)切片
PositionOf：查詢元素的縮影
ToArray：轉(zhuǎn)換成數(shù)組

其中的ToArray涉及到大量的數(shù)據(jù)拷貝，需要謹(jǐn)慎使用。

另外.net core 3.0中還內(nèi)置了一個SequenceReader，用起來是十分方便的：

private static ReadOnlySpan<byte> CRLF => new byte[] { (byte)'\r', (byte)'\n' };
 
public static void ReadLines(ReadOnlySequence<byte> sequence)
{
    SequenceReader<byte> reader = new SequenceReader<byte>(sequence);
 
    while (!reader.End)
    {
        if (!reader.TryReadToAny(out ReadOnlySpan<byte> line, CRLF, advancePastDelimiter: false))
        {
            // Couldn't find another delimiter
            // ...
        }
 
        if (!reader.IsNext(CRLF, advancePast: true))
        {
            // Not a good CR/LF pair
            // ...
        }
 
        // line is valid, process
        ProcessLine(line);
    }
}