OpenStack Ceilometer用MongoDB解決占用磁盤(pán)空間過(guò)大問(wèn)題
OpenStack Ceilometer用MongoDB解決占用磁盤(pán)空間過(guò)大問(wèn)題
背景:Ceilometer使用MongoDB作為數(shù)據(jù)庫(kù),不斷進(jìn)行采樣,導(dǎo)致數(shù)據(jù)量膨脹,占用過(guò)多的磁盤(pán)空間。
知識(shí)背景
1.數(shù)據(jù)庫(kù)文件類(lèi)型
1.1. journal 日志文件
跟一些傳統(tǒng)數(shù)據(jù)庫(kù)不同,MongoDB的日志文件只是用來(lái)在系統(tǒng)出現(xiàn)宕機(jī)時(shí)候恢復(fù)尚未來(lái)得及同步到硬盤(pán)的內(nèi)存數(shù)據(jù)。日志文件會(huì)存放在一個(gè)分開(kāi)的目錄下面。啟動(dòng)時(shí)候MongoDB會(huì)自動(dòng)預(yù)先創(chuàng)建3個(gè)每個(gè)為1G的日志文件(初始為空)。
1.2. namespace 表名文件 dbname.ns
這個(gè)文件用來(lái)存儲(chǔ)整個(gè)數(shù)據(jù)庫(kù)的集合以及索引的名字。這個(gè)文件不大,默認(rèn)16M,可以存儲(chǔ)24000個(gè)集合或者索引名以及那些集合和索引在數(shù)據(jù)文件中得具體位置。通過(guò)這個(gè)文件MongoDB可以知道從哪里去開(kāi)始尋找或插入集合的數(shù)據(jù)或者索引數(shù)據(jù)。
1.3. 數(shù)據(jù)文件 dbname.0, dbname.1,… dbname.n
MongoDB的數(shù)據(jù)以及索引都存放在一個(gè)或者多個(gè)MongoDB數(shù)據(jù)文件里。第一個(gè)數(shù)據(jù)文件會(huì)以“數(shù)據(jù)庫(kù)名.0”命名,如 my-db.0。這個(gè)文件默認(rèn)大小是64M,在接近用完這個(gè)64M之前,MongoDB 會(huì)提前生成下一個(gè)數(shù)據(jù)文件如my-db.1。數(shù)據(jù)文件的大小會(huì)2倍遞增。第二個(gè)數(shù)據(jù)文件的大小為128M,第三個(gè)為256M。一直到了2G以后就會(huì)停止,一直按這個(gè)2G這個(gè)大小增加新的文件。
2.數(shù)據(jù)庫(kù)大小參數(shù)
2.1. dataSize
dataSize是最接近真實(shí)數(shù)據(jù)大小的一個(gè)參數(shù)。你可以用來(lái)檢查你的數(shù)據(jù)有多少。這個(gè)大小包括了數(shù)據(jù)庫(kù)(或者集合)的每條記錄的總和。注意每條記錄除了BSON文檔外還有header及padding這些額外開(kāi)銷(xiāo)。所以實(shí)際大小會(huì)比真正數(shù)據(jù)所占空間會(huì)稍大。
2.2. storageSize
這個(gè)參數(shù)等于數(shù)據(jù)庫(kù)或者某個(gè)集合所有用到的Data Extents的總和。注意這個(gè)數(shù)字會(huì)大于dataSize因?yàn)镋xtent里面會(huì)有一些刪除文檔之后留下來(lái)的碎片。如果有新插入的文檔小于或等于碎片的大小,MongoDB會(huì)重新利用這個(gè)碎片來(lái)存儲(chǔ)新的文檔。不過(guò)在這之前這些碎片將一直會(huì)被保留在那里占用空間。由于這個(gè)原因,你刪除文檔的時(shí)候這個(gè)參數(shù)不會(huì)變小。
2.3. fileSize
這個(gè)參數(shù)只在數(shù)據(jù)庫(kù)上有效,指的是實(shí)際文件系統(tǒng)中用到的文件的大小。它包括所有的數(shù)據(jù)Extents的總和,索引Extent的總和,以及一些未被分配的空間。之前提到MongoDB會(huì)對(duì)數(shù)據(jù)庫(kù)文件創(chuàng)建時(shí)候進(jìn)行預(yù)分配,例如最小就是64M,哪怕你只有幾百個(gè)KB的數(shù)據(jù)。所以這個(gè)參數(shù)可能會(huì)比實(shí)際的數(shù)據(jù)大小會(huì)大不少。 這些額外未用空間是用來(lái)保證MongoDB可以在新的數(shù)據(jù)寫(xiě)入時(shí)候快速的分配新的Extent,避免引起磁盤(pán)空間分配引起的延遲。
解決方案
1.減少預(yù)分配的大?。ɑ蚪妙A(yù)分配)
從MongoDB的預(yù)分配機(jī)制考慮,可以減少預(yù)分配的大小,或者禁用預(yù)分配。但是這種方案是會(huì)影響數(shù)據(jù)庫(kù)行為的。如果數(shù)據(jù)庫(kù)沒(méi)有頻繁的大數(shù)據(jù)寫(xiě)入動(dòng)作,可以采取這種方案。
2.數(shù)據(jù)壓縮
conpact命令可以對(duì)collection進(jìn)行壓縮,從而減少數(shù)據(jù)量的大小。
db.runCommand({compact:'CollectionName'})
這里需要注意的是:
1)操作進(jìn)行時(shí),會(huì)鎖住當(dāng)前操作的collection;
2)compact命令不會(huì)釋放磁盤(pán)空間的,但新的磁盤(pán)請(qǐng)求會(huì)使用整理出來(lái)的空間;
3.將數(shù)據(jù)導(dǎo)出再導(dǎo)入
mongodump作用是將數(shù)據(jù)庫(kù)導(dǎo)出,mongorestore是將導(dǎo)出的數(shù)據(jù)庫(kù)再導(dǎo)入,這個(gè)過(guò)程中會(huì)重建索引,所以如果數(shù)據(jù)庫(kù)之前進(jìn)行過(guò)刪除操作,空間沒(méi)有釋放,那么導(dǎo)入后,刪除的空間會(huì)被釋放。
4.定期刪除不用的數(shù)據(jù)
結(jié)合實(shí)際情況,ceilometer采取的sample在有效期過(guò)后是可以被消除的。
步驟:
1)通過(guò)改變/etc/ceilometer/ceilometer.conf的time_to_live參數(shù)指定sample的有效期;
2)運(yùn)行ceilometer-expirer刪除過(guò)期的sample;
3)重啟openstack-ceilometer-collector服務(wù);
4)刪除后,使用repairDatabase修復(fù)數(shù)據(jù)庫(kù)。
注意,repairDatabase操作所需要磁盤(pán)的空余空間為當(dāng)前數(shù)據(jù)總量再加上2G。如果當(dāng)前磁盤(pán)分區(qū)空間不足,可以嘗試用 –repairpath 參數(shù)指定一個(gè)空間足夠的分區(qū)路徑。
感謝閱讀,希望能幫助到大家,謝謝大家對(duì)本站的支持!
相關(guān)文章
簡(jiǎn)單談?wù)凮penStack中的網(wǎng)絡(luò)隔離
這篇文章主要介紹了簡(jiǎn)單談?wù)凮penStack中的網(wǎng)絡(luò)隔離的相關(guān)資料,需要的朋友可以參考下2017-03-03Openstack各組件邏輯關(guān)系及運(yùn)行流程解析
這篇文章主要為大家介紹了Openstack各組件邏輯關(guān)系及運(yùn)行流程解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步早日升職加薪2022-04-04OpenStack簡(jiǎn)介與OpenStack核心組件功能
這篇文章主要介紹了OpenStack與OpenStack核心組件功能,OpenStack用于部署公有云、私有云,并實(shí)現(xiàn)對(duì)云項(xiàng)目管理,需要的朋友可以參考下2023-03-03Openstack安裝過(guò)程中遇到的問(wèn)題匯總
本文給大家分享的是作者在Centos7中安裝openstack過(guò)程中出現(xiàn)的一些問(wèn)題的匯總,以及解決的方法,有需要的小伙伴可以參考下2017-04-04openstack云計(jì)算組件glance功能鏡像及版本介紹
這篇文章主要為大家介紹了openstack云計(jì)算組件glance功能鏡像及版本介紹,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-04-04OpenStack Ceilometer用MongoDB解決占用磁盤(pán)空間過(guò)大問(wèn)題
這篇文章主要介紹了OpenStack Ceilometer用MongoDB解決占用磁盤(pán)空間過(guò)大問(wèn)題的相關(guān)資料,Ceilometer使用MongoDB作為數(shù)據(jù)庫(kù),不斷進(jìn)行采樣,導(dǎo)致數(shù)據(jù)量膨脹,占用過(guò)多的磁盤(pán)空間,這里提供解決辦法,需要的朋友可以參考下2016-12-12Openstack 使用migrate進(jìn)行數(shù)據(jù)庫(kù)升級(jí)實(shí)現(xiàn)方案詳細(xì)介紹
這篇文章主要介紹了Openstack 使用migrate進(jìn)行數(shù)據(jù)庫(kù)升級(jí)詳細(xì)介紹的相關(guān)資料,數(shù)據(jù)庫(kù)表或者增加字段等是必然的事情,如何比較容易的進(jìn)行這些數(shù)據(jù)庫(kù)升級(jí)的適配和管理,這里提供實(shí)現(xiàn)方法,需要的朋友可以參考下2016-12-12什么是OpenStack 開(kāi)源的云計(jì)算管理平臺(tái)項(xiàng)目
OpenStack是一個(gè)開(kāi)源的云計(jì)算管理平臺(tái)項(xiàng)目,由幾個(gè)主要的組件組合起來(lái)完成具體工作。OpenStack支持幾乎所有類(lèi)型的云環(huán)境,項(xiàng)目目標(biāo)是提供實(shí)施簡(jiǎn)單、可大規(guī)模擴(kuò)展、豐富、標(biāo)準(zhǔn)統(tǒng)一的云計(jì)算管理平臺(tái)2016-11-11openstack 重啟的服務(wù)命令整理總結(jié)
這篇文章主要介紹了openstack 重啟的服務(wù)命令整理總結(jié)的相關(guān)資料,這里對(duì) openstack 的服務(wù)命令進(jìn)行了詳細(xì)的介紹,openstack 的服務(wù)命令比較多,需要的朋友可以參考下2016-11-11