欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

MongoDB自動(dòng)刪除過期數(shù)據(jù)的方法(TTL索引)

 更新時(shí)間:2018年11月06日 10:43:04   作者:逃跑的肉丸  
這篇文章主要給大家介紹了關(guān)于MongoDB自動(dòng)刪除過期數(shù)據(jù)(TTL索引)的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

前序:

最近由于公司業(yè)務(wù)需求,對于3個(gè)月前的過期數(shù)據(jù)需要進(jìn)行刪除動(dòng)作,以釋放空間和方便維護(hù)

本來想的是使用crontab寫個(gè)腳本定時(shí)執(zhí)行,但是看到Mongo本身就有自動(dòng)刪除過期數(shù)據(jù)的功能,所以還是用一下吧

這個(gè)方法就是使用TTL索引,后續(xù)我再寫一個(gè)腳本定時(shí)刪除的任務(wù),關(guān)于TTL索引的更多使用實(shí)例,大家可以參考學(xué)習(xí)這篇文章:http://www.dbjr.com.cn/article/126810.htm

介紹:

TTL索引是MongoDB中一種特殊的索引, 可以支持文檔在一定時(shí)間之后自動(dòng)過期刪除,目前TTL索引只能在單字段上建立,并且字段類型必須是date類型或者包含有date類型的數(shù)組(如果數(shù)組中包含多個(gè)date類型字段,則取最早時(shí)間為過期時(shí)間)

官網(wǎng)介紹鏈接:https://docs.mongodb.com/v3.2/core/index-ttl/

機(jī)制:

當(dāng)你在集合中某一個(gè)字段建立TTL索引后,后臺(tái)會(huì)有一個(gè)單線程,通過不斷查詢(默認(rèn)60s一次)索引的值來判斷document是否有過期,并且刪除文檔的動(dòng)作還依據(jù)mongod實(shí)例的負(fù)載情況,如果負(fù)載很高,可能會(huì)稍微延后一段時(shí)間再刪除。

還有一個(gè)需要注意的地方,在復(fù)制集成員中,TTL后臺(tái)線程只刪除primary的過期數(shù)據(jù),如果此實(shí)例變?yōu)閟econdary角色,則后臺(tái)線程閑置

創(chuàng)建TTL索引方法:

和普通索引的創(chuàng)建方法一樣,只是會(huì)多加一個(gè)屬性而已

例:在log_events的集合中,createTime 字段上建立一小時(shí)后過期的TTL索引

 >db.log_events.createIndex( { "createTime": 1 }, ---字段名稱 
    { expireAfterSeconds: 60*60 } ) ---過期時(shí)間(單位秒)
>db.log_events.getIndexes() ---查看索引
[
 {
  "v" : 1,
  "key" : {
   "_id" : 1
  },
  "name" : "_id_",
  "ns" : "tt.t1"
 },
 {
  "v" : 1,
  "key" : {
   "createTime" : 1
  },
  "name" : "createTime_1",
  "ns" : "tt.t1",
  "expireAfterSeconds" : 3600
 }
]

修改TTL索引的expireAfterSeconds屬性值:

注:如果想更改過期時(shí)間expireAfterSeconds,可以使用collMod方法,要不然你只能只用dropIndex(),createIndex()方法重建索引了,我想這樣的方法在億級數(shù)據(jù)量下是很頭疼的

db.runCommand( { collMod: "log_events", ---集合名
  index: { keyPattern: { createTime: 1 }, ---createTime為具有TTL索引的字段名
    expireAfterSeconds: 7200  ---修改后的過期時(shí)間(秒)
   }})

雖然上面的方法可以實(shí)現(xiàn)自動(dòng)過期刪除,但是如果白天業(yè)務(wù)很忙,頻繁的刪除數(shù)據(jù)勢必會(huì)增加負(fù)載,所以我想著晚上定時(shí)刪除過期數(shù)據(jù)(如果晚上業(yè)務(wù)量少的話)

方法如下:

增加一個(gè)expireTime字段(用于指定過期時(shí)間),expireAfterSeconds屬性值設(shè)置為0,

注:上面的createTime字段就不需要再有TTL索引了,這個(gè)expireTime的時(shí)間就需要在插入時(shí)指定上

>db.log_events.createIndex( { "expireTime": 1 }, ---字段名稱
    { expireAfterSeconds: 0 } ) ---過期時(shí)間(單位秒)
>db.log_events.insert( {
 "expireTime": new Date('Jan 22, 2016 23:00:00'), ---此文檔將在2016-1-22的23點(diǎn)自動(dòng)刪除
 "logEvent": 2,
 "logMessage": "Success!"} )

這樣我們就實(shí)現(xiàn)了,指定時(shí)間自動(dòng)刪除的動(dòng)作了

限制條件:

有一下集中情況是無法使用TTL索引的

①TTL索引是單字段索引,混合索引不支持TTL,并且也會(huì)忽略expireAfterSeconds屬性

②在_id 主鍵上不能建立TTL索引

③在capped collection中不能建立TTL索引,因?yàn)镸ongoDB不能從capped collection中刪除文檔

④你不能使用createIndex()去更改已經(jīng)存在的TTL索引的expireAfterSeconds值,如果想更改expireAfterSeconds,可以使用collMod命令,否則你只能刪除索引,然后重建了

⑤你不能在已有索引的字段上再創(chuàng)建TTL索引了,如果你想把非TTL索引改為TTL索引,那就只能刪除重建索引了

驗(yàn)證:

雖然已經(jīng)實(shí)現(xiàn)了晚上集中自動(dòng)刪除的功能,但是還是擔(dān)心刪除過大數(shù)量時(shí)負(fù)荷問題,隨進(jìn)行了簡單測試,一查看TTL索引在億級別集合中刪除140萬過期數(shù)據(jù)的消耗

測試配置:

     OS:Vm虛擬機(jī)
     CPU: 4
     內(nèi)存:8

集合數(shù)據(jù)量:

> db.t1.count()
104273617

因?yàn)槲抑圃鞙y試數(shù)據(jù)時(shí),_id是順序增加的,所以我直接查看_id=1500000的那筆數(shù)據(jù)的createTime,然后自己計(jì)算一下此createTime和當(dāng)前時(shí)間的時(shí)間差,隨后根據(jù)這個(gè)時(shí)間差來更改expireAfterSeconds的值,以讓這150萬數(shù)據(jù)5分鐘后過期并刪除。

在修改完expireAfterSeconds后,就嚴(yán)密延時(shí)“ vmstat 1 ” 命令的輸出數(shù)據(jù);

我的測試結(jié)果:

刪除操作整個(gè)過程在90秒左右完成;

CPU最高占用90%,平均在50%

內(nèi)存占用3G

這個(gè)也是特別準(zhǔn)確的模擬情況,只是粗略的了解一下TTL索引的資源消耗,以決定是不是需要這樣的方式來實(shí)現(xiàn)刪除過期數(shù)據(jù)

          監(jiān)控vmstat的截圖:

總結(jié)

以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,如果有疑問大家可以留言交流,謝謝大家對腳本之家的支持。

相關(guān)文章

  • MongoDB數(shù)據(jù)庫查詢性能提高40倍的經(jīng)歷分享

    MongoDB數(shù)據(jù)庫查詢性能提高40倍的經(jīng)歷分享

    大家在使用 MongoDB 的時(shí)候有沒有碰到過性能問題呢?下面這篇文章主要給大家分享了MongoDB數(shù)據(jù)庫查詢性能提高40倍的經(jīng)歷,需要的朋友可以參考借鑒,下面來一起看看吧。
    2017-02-02
  • 高效mongodb的php分頁類(不使用skip)

    高效mongodb的php分頁類(不使用skip)

    這篇文章主要介紹了高效mongodb的php分頁類,并且沒有使用mongodb的skip來實(shí)現(xiàn)分頁,需要的朋友可以參考下
    2014-05-05
  • 記一次MongoDB性能問題(從MySQL遷移到MongoDB)

    記一次MongoDB性能問題(從MySQL遷移到MongoDB)

    最近忙著把一個(gè)項(xiàng)目從MySQL遷移到MongoDB,在導(dǎo)入舊數(shù)據(jù)的過程中,遇到了些許波折,犯了不少錯(cuò)誤,但同時(shí)也學(xué)到了不少知識(shí),遂記錄下來,需要的朋友可以參考下
    2017-03-03
  • mongodb 修改器($inc/$set/$unset/$push/$pop/upsert)

    mongodb 修改器($inc/$set/$unset/$push/$pop/upsert)

    對于文檔的更新除替換外,針對某個(gè)或多個(gè)文檔只需要部分更新可使用原子的更新修改器,能夠高效的進(jìn)行文檔更新。更新修改器是中特殊的鍵
    2017-04-04
  • MongoDB中文檔的更新操作示例詳解

    MongoDB中文檔的更新操作示例詳解

    這篇文章主要給大家介紹了關(guān)于MongoDB中文檔的更新操作的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考借鑒,下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。
    2017-11-11
  • MongoDB 查詢操作的實(shí)例詳解

    MongoDB 查詢操作的實(shí)例詳解

    這篇文章主要介紹了MongoDB 查詢操作的實(shí)例的相關(guān)資料,希望通過本文能幫助到大家,需要的朋友可以參考下
    2017-09-09
  • mongodb中ObjectId和ObjectIdr實(shí)現(xiàn)

    mongodb中ObjectId和ObjectIdr實(shí)現(xiàn)

    本文主要介紹了mongodb中ObjectId和ObjectIdr實(shí)現(xiàn)
    2023-12-12
  • MongoDB中的加減乘除運(yùn)算詳解

    MongoDB中的加減乘除運(yùn)算詳解

    這篇文章主要給大家介紹了關(guān)于MongoDB中加減乘除運(yùn)算的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-01-01
  • MongoDB 中聚合統(tǒng)計(jì)計(jì)算--$SUM表達(dá)式

    MongoDB 中聚合統(tǒng)計(jì)計(jì)算--$SUM表達(dá)式

    這篇文章主要介紹了MongoDB 中聚合統(tǒng)計(jì)計(jì)算--$SUM表達(dá)式的相關(guān)知識(shí),本文通過實(shí)例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2019-08-08
  • 剖析后OpLog訂閱MongoDB的數(shù)據(jù)變更就沒那么難了

    剖析后OpLog訂閱MongoDB的數(shù)據(jù)變更就沒那么難了

    這篇文章主要為介紹了OpLog訂閱MongoDB的數(shù)據(jù)變更,希望讀完本文后讓你對OpLog訂閱MongoDB的數(shù)據(jù)變更不在頭疼,有需要的朋友可以借鑒參考下,希望能夠有所幫助
    2022-02-02

最新評論