關(guān)于單臺(tái)MongoDB實(shí)例開啟Oplog的過程詳解
背景
隨著數(shù)據(jù)的積累,MongoDB中的數(shù)據(jù)量越來越大,數(shù)據(jù)分析團(tuán)隊(duì)從數(shù)據(jù)庫(kù)中抽取變化數(shù)據(jù)(假如依據(jù)欄位createdatetime,transdatetime),越來越困難。我們知道MongoDB的副本集有一個(gè)數(shù)據(jù)結(jié)構(gòu)Oplog,里面存儲(chǔ)了Primary節(jié)點(diǎn)的所有寫操作(此處的寫操作是指查詢以外的操作,包含 更新、異常等)。其實(shí),數(shù)據(jù)的抽取完全可以從Oplog中抓取這些操作,然后去重放。
oplog是local庫(kù)下的一個(gè)固定集合,Secondary就是通過查看Primary 的oplog這個(gè)集合來進(jìn)行復(fù)制的。每個(gè)節(jié)點(diǎn)都有oplog,記錄這從主節(jié)點(diǎn)復(fù)制過來的信息,這樣每個(gè)成員都可以作為同步源給其他節(jié)點(diǎn)。
Oplog 可以說是Mongodb Replication的紐帶了。
但是在實(shí)際的生產(chǎn)環(huán)境中,我們很多MongoDB 數(shù)據(jù)庫(kù)是單實(shí)例的,那么我們能否在單實(shí)例數(shù)據(jù)庫(kù)上開啟Oplog?
答案是肯定的。
其原理就是,在單實(shí)例上配置副本集,如果配置成功了,自然就有了Oplog。
配置過程
其實(shí)配置的過程比較簡(jiǎn)單。
step 1 : 在配置文件中 添加副本集參數(shù)(replSet);
step 2 :重啟服務(wù);
step 3:在local數(shù)據(jù)庫(kù)或admin數(shù)據(jù)庫(kù)執(zhí)行初始化副本集的腳本,rs.initiate()。
注意事項(xiàng)
1. 在配置文件中增加副本集參數(shù)(replSet=??),MongoDB實(shí)例重啟,第一次登入,執(zhí)行其他命令時(shí)(例如:show dbs),會(huì)提示錯(cuò)誤,錯(cuò)誤信息如下,
{ "ok" : 0, "errmsg" : "not master and slaveOk=false", "code" : 13435, "codeName" : "NotMasterNoSlaveOk" }
此時(shí)一定要執(zhí)行初始化的命令:
rs.initiate({ _id: "副本集名稱", members: [{_id:0,host:"ServerIP:MongoDBPort"}]})
2 . 初始化時(shí),請(qǐng)指明 Server信息和端口信息,否則初始化時(shí)可能報(bào)錯(cuò),報(bào)錯(cuò)信息如下
"errmsg" : "No host described in new configuration 1 for replica set replwms maps to this node",
指定IP 和 端口,副本集名稱,例如執(zhí)行以下命令,OK
3 . 副本集初始化可以在admin中執(zhí)行,不僅僅可以在local數(shù)據(jù)庫(kù)中執(zhí)行【真正的副本集建立多是在admin庫(kù)中執(zhí)行】。
而不像有些文章中要求的那樣 :You just need to issuers.initiate()on thelocaldatabase:
4. 初始完,副本集中唯一的節(jié)點(diǎn),可能短時(shí)間顯示為SECONDARY或OTHER。一般而言,稍等一會(huì),就會(huì)自然恢復(fù)為primary,無(wú)需人工干預(yù)。
或
如果數(shù)據(jù)庫(kù)的數(shù)據(jù)量不大,并且長(zhǎng)時(shí)間初始這種過渡狀態(tài)(SECONDARY或OTHER),去看實(shí)例的日志,也顯示無(wú)進(jìn)展,此時(shí)可以考慮重啟服務(wù)。
下面案例是我們實(shí)際遇到的一個(gè)場(chǎng)景,我們是通過重啟服務(wù)解決此問題,角色由other重啟轉(zhuǎn)換為Primary
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,如果有疑問大家可以留言交流,謝謝大家對(duì)腳本之家的支持。
相關(guān)文章
MongoDB創(chuàng)建用戶報(bào)錯(cuò)command createUser requires auth
這篇文章主要介紹了MongoDB創(chuàng)建用戶報(bào)錯(cuò)command createUser requires authentication的解決方法,文中通過代碼和圖文講解的非常詳細(xì),對(duì)大家的解決問題有一定的幫助,需要的朋友可以參考下2024-09-09MongoDB聚合運(yùn)算符$dateFromString詳解
$dateFromString聚合運(yùn)算符將日期時(shí)間字符串轉(zhuǎn)換為日期對(duì)象,本文給大家介紹MongoDB聚合運(yùn)算符$dateFromString的相關(guān)知識(shí),感興趣的朋友跟隨小編一起看看吧2024-03-03MongoDB數(shù)據(jù)庫(kù)安裝配置、基本操作實(shí)例詳解
這篇文章主要介紹了MongoDB數(shù)據(jù)庫(kù)安裝配置、基本操作,結(jié)合實(shí)例形式詳細(xì)分析了MongoDB數(shù)據(jù)庫(kù)安裝配置具體步驟、相關(guān)命令與基本操作實(shí)現(xiàn)技巧,需要的朋友可以參考下2020-01-01MongoDB中sort()排序方法、aggregate()聚合方法和索引代碼示例
這篇文章主要給大家介紹了關(guān)于MongoDB中sort()排序方法、aggregate()聚合方法和索引的相關(guān)資料,MongoDB的聚合函數(shù)Aggregate是一組用于對(duì)MongoDB中的數(shù)據(jù)集進(jìn)行聚合操作的函數(shù),文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-04-04