快捷導(dǎo)航

NodeJs超長(zhǎng)字符串問(wèn)題處理的詳細(xì)分析

更新時(shí)間：2023年02月20日 11:39:16 作者：地鐵程序員

這篇文章主要給大家介紹了關(guān)于NodeJs超長(zhǎng)字符串問(wèn)題處理的詳細(xì)分析,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

問(wèn)題背景

在 Nodejs 計(jì)算服務(wù)中，對(duì)端上上報(bào)的內(nèi)存信息二進(jìn)制數(shù)據(jù)進(jìn)行預(yù)處理+緩存時(shí)，遇到了一個(gè)奇怪的報(bào)錯(cuò)：RangeError: Invalid string length 。根據(jù)該報(bào)錯(cuò)信息，查找得知是字符串長(zhǎng)度超過(guò)了 node.js 的限制，即 2^29-1 (約 5 億+)個(gè)字符。整體流程如圖所示。

關(guān)于 node.js string 的長(zhǎng)度上限，主要和 V8 引擎「壓縮指針」技術(shù)有關(guān)。按個(gè)人理解，其通過(guò)壓縮指向變量的地址(64 位)中固定的 32 位的方式，從而減少引擎的內(nèi)存占用。

代碼細(xì)節(jié)

由于需要快速訪問(wèn)某地址，因此緩存的數(shù)據(jù)結(jié)構(gòu)必須是個(gè)對(duì)象，即 INodeGraph。具體結(jié)構(gòu)如下：

  type IAddr = string;
// 內(nèi)存圖譜
  declare interface INodeGraph {
    [addr: IAddr]: IParsedNode;
  }
// 內(nèi)存節(jié)點(diǎn)信息
  declare interface IParsedNode {
    addr: IAddr;
    // size, nodeType 等輔助信息
    parentNodeAddr: IAddr[]; // addr
    childNodeAddr: string[]; // addr
    edgeMap: {
      [addr: IAddr]: {
        // 當(dāng)前節(jié)點(diǎn)與父子節(jié)點(diǎn)之間的邊(關(guān)系)的信息
      };
    };
  }

我們目的很明確，就是實(shí)現(xiàn)這樣一個(gè) js 大對(duì)象的持久化存儲(chǔ)，并且能夠方便快速的轉(zhuǎn)回 js object。為解決此問(wèn)題，首先想到的能否利用 protobuf 替代 JSON 實(shí)現(xiàn)持久化?？上У氖?protobuf 并不適用于動(dòng)態(tài) key 的場(chǎng)景，它適用于處理數(shù)組中存儲(chǔ)多個(gè)相似結(jié)構(gòu)對(duì)象的數(shù)據(jù)結(jié)構(gòu)。

隨后嘗試了減少對(duì)象中不必要的信息，即縮短對(duì)象的固定 key，例如用「pNode」取代冗長(zhǎng)的「parentNodeAddr」。對(duì)于一個(gè)百萬(wàn)個(gè)鍵值對(duì)的 object 而言，雖然犧牲了代碼的可讀性，但在實(shí)際的 case 中，能承載的鍵值對(duì)數(shù)量大約多了 20%。
事實(shí)上回過(guò)頭來(lái)看，更好的處理方式或許是用另外的 Map 存儲(chǔ)對(duì)象的 key。例如：將nodeGraph.parentNodeAddr這個(gè) key 最大程度縮短為nodeGraph.p

聲明 const GraphKey = { parentNodeAddr: 'p' } 保存一個(gè) key 的映射，需要訪問(wèn)某屬性時(shí)，使用nodeGraph[GraphKey.parentNodeAddr]