欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

以mysql為例詳解ToplingDB?的?UintIndex

 更新時間:2022年08月19日 10:13:14   作者:雷鵬  
本文主要介紹了以mysql為例詳解ToplingDB的UintIndex,在ToplingDB的CO-Index(Compressed?Ordered?Index)家族中,Nest?Succinct?Trie是最通用的,更多相關內容需要的朋友可以參考一下

前言

在 ToplingDB 的 CO-Index(Compressed Ordered Index) 家族中,Nest Succinct Trie 是最通用的。但是,伴隨通用的,往往是低效。我們針對一些特殊場景,采用了特殊的實現(xiàn),用以提高性能……

這里面,最特殊的一類 Index,就是 UintIndex,顧名思義,就是 Key 為 unsigned int 時的 index。

以 MySQL 為例

在 MySQL 中,我們往往會建立這樣一個表:

CREATE TABLE Student(
    id INT PRIMARY KEY AUTO_INCREMENT,
    name VARCHAR(255) INDEX,
    dorm_id INT INDEX,
    -- others ...
);

這里的 PRIMARY KEY 最終體現(xiàn)到 MyRocks,是這樣的形式:

PrefixIDid

通過配置,我們可以通過 keyPrefixLen 將 PrefixID 分離出去,這樣,Index 中就只剩下一個 id 字段了,并且,在 SST 中,這些 id 往往都是比較緊密的范圍(被刪除的 id 是范圍中的空洞),比如,在某個 SST 中,存儲的 id 范圍是 1,000,000~2,000,000。

并且,我們知道,CO-Index 會將用戶 Key(在這里就是 id 字段) 映射到一個 內部ID,再用這個 內部ID 去訪問 PA-Zip……

在一個 SST 中,把這一切串起來,我們就能使用簡單且高效的方式來實現(xiàn) Index 了:

圖中的 ValueOrd 就是前面說的 內部ID,Index 共有 108 個 Key,BitMap 中有 MaxKey - MinKey + 1 = 229 個 Bit。

  • 如果這個范圍中,一個空洞也沒有,那么,Index 中我們只需要保存 id 的最大最小值。
    • 內部ID = Student.id - MinStudentID
  • 如果這個范圍中,只有極少數(shù)的空洞,那么,Index 中我們只需要保存那些空洞 中的 id。
    • 內部ID = Student.id - (Hole num before this Student.id)
  • 如果這個范圍中,有相當數(shù)量的空洞,那么,Index 中我們只需要保存一個 BitMap,其中相應 bit 的含義是這個 id 是否存在。
    • 利用 Rank-Select 的思想:內部ID = BitMap.rank1(id)

進一步,在概念上,如果我們把 一個空洞也沒有 和 只有極少數(shù)的空洞 也用 Rank-Select 來表達:

那么,這三種情況,在形式上就可以統(tǒng)一起來!實際上,在代碼實現(xiàn)中,這三種不同的 Rank-Select 實現(xiàn)是作為模板類 UintIndex 的模板參數(shù)的,在保持抽象的同時,又不損失性能。

應用到 MongoDB

在 MongoDB 中,也存在類似 MySQL Student.id 這樣的東西:

MongoDB 有兩大類 Key Value 數(shù)據(jù),RecordStore(即 Collection) 和 Index:

這樣,MongoDB 的 RecordStore 也可以利用 UintIndex

壓縮率 & 性能

壓縮率自然不用說,UintIndexAllOne 的壓縮率接近于無窮大,壓縮率最差的 UintIndexBitMap,其壓縮率也在 30 倍以上!

性能,最關鍵的是性能,相比傳統(tǒng)的塊壓縮,Nest Succinct Trie 最大的性能劣勢在于順序掃描(從頭至尾順序掃描,定位到某個點然后接著順序掃描),因為對于 Nest Succinct Trie,即便是順序掃描,它的計算也很復雜,并且內存訪問非常隨機。而對于 UintIndex,事情就簡單多了,比 Nest Succinct Trie 會快 100 倍以上,而其中占比最大的性能開銷,實際上是函數(shù)調用本身!

到此這篇關于以mysql為例詳解ToplingDB 的 UintIndex的文章就介紹到這了,更多相關mysql UintIndex內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • Centos7使用yum安裝MySQL及實現(xiàn)遠程連接的方法

    Centos7使用yum安裝MySQL及實現(xiàn)遠程連接的方法

    因為MySQL被Oracle收購,目前推薦使用mariadb數(shù)據(jù)庫。下面通過本文給大家分享Centos7使用yum安裝MySQL及實現(xiàn)遠程連接的方法,感興趣的朋友一起看看吧
    2017-07-07
  • MySQL數(shù)據(jù)庫約束詳解

    MySQL數(shù)據(jù)庫約束詳解

    mysql常見約束有:1、非空約束“not?null”;2、唯一性約束“unique”;3、主鍵約束“primary?key”;4、外鍵約束“foreign?key”;5、默認值約束“Default”等等。
    2022-10-10
  • mysql下float類型使用一些誤差詳解

    mysql下float類型使用一些誤差詳解

    我想很多朋友都不怎么會在mysql中使用float類型,特別是用到金錢時我們可能會用雙精度來做,我們知道m(xù)ysql的float類型是單精度浮點類型不小心就會導致數(shù)據(jù)誤差
    2012-11-11
  • Mysql8.0不存在mysql.proc表的解決

    Mysql8.0不存在mysql.proc表的解決

    MySQL 8.0中官方移除了proc表,MySQL 5.7版本中還是存在proc表的,本文就介紹MySQL 8.0的替代方案,具有一定的參考價值,感興趣的可以了解一下
    2023-10-10
  • mysql如何分別按年/月/日/周分組統(tǒng)計數(shù)據(jù)詳解

    mysql如何分別按年/月/日/周分組統(tǒng)計數(shù)據(jù)詳解

    我們在用Mysql抽取數(shù)據(jù)時候,經(jīng)常需要按照天、周、月等不同的粒度對數(shù)據(jù)進行分組統(tǒng)計,下面這篇文章主要給大家介紹了關于mysql如何分別按年/月/日/周分組統(tǒng)計數(shù)據(jù)的相關資料,需要的朋友可以參考下
    2022-12-12
  • MySQL性能設置

    MySQL性能設置

    網(wǎng)站訪問量越來越大,MySQL自然成為瓶頸,因此最近我一直在研究 MySQL 的優(yōu)化,第一步自然想到的是 MySQL 系統(tǒng)參數(shù)的優(yōu)化
    2006-12-12
  • window10中mysql8.0修改端口port不生效的解決方法

    window10中mysql8.0修改端口port不生效的解決方法

    mysql配置文件默認位置,端口號等信息需要在my.ini文件中修改,若修改安裝位置的my-default文件文件或新建my.ini文件是不生效的,本文主要介紹了window10中mysql8.0修改端口port不生效的解決方法,感興趣的可以了解一下
    2023-11-11
  • Mysql聯(lián)合查詢UNION和Order by同時使用報錯問題的解決辦法

    Mysql聯(lián)合查詢UNION和Order by同時使用報錯問題的解決辦法

    很多朋友剛使用聯(lián)合查詢UNION的時候常常會理所當然的將聯(lián)合查詢理解為把沒一個子查詢的結果集組合成一個大的結果集
    2014-04-04
  • Mysql一主多從部署的實現(xiàn)步驟

    Mysql一主多從部署的實現(xiàn)步驟

    本文主要介紹了Mysql一主多從部署的實現(xiàn)步驟,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2022-05-05
  • MySQL sleep函數(shù)使用方法詳解

    MySQL sleep函數(shù)使用方法詳解

    sleep函數(shù)時「延時」指定時間(單位秒),也就是讓程序停止執(zhí)行一段指定的時間,本文就給大家簡單的介紹一下MySQL sleep函數(shù)使用方法,需要的朋友可以參考下
    2023-07-07

最新評論