MongoDB查詢性能優(yōu)化驗(yàn)證及驗(yàn)證
結(jié)論:
1、 200w數(shù)據(jù),合理使用索引的情況下,單個(gè)stationId下4w數(shù)據(jù)。mongodb查詢和排序的性能理想,無(wú)正則時(shí)client可以在600ms+完成查詢,qps300+。有正則時(shí)client可以在1300ms+完成查詢,qps140+。
2、 Mongodb的count性能比較差,非并發(fā)情況下client可以在330ms完成查詢,在并發(fā)情況下則需要1-3s??梢钥紤]估算總數(shù)的方法,http://blog.sina.com.cn/s/blog_56545fd30101442b.html
測(cè)試環(huán)境:mongodb使用 replica set,1主2從,96G內(nèi)存,版本2.6.5
Mem消耗(4個(gè)200w數(shù)據(jù)的collection):
空間消耗(測(cè)試數(shù)據(jù)最終選定的collection):
Jvm: -Xms2G -Xmx2G
Ping延遲33ms
查詢都使用ReadPreference.secondaryPreferred()
無(wú)正則
1、 創(chuàng)建stationId, firmId復(fù)合引查詢場(chǎng)景(200w集合,12個(gè)字段)
查詢次數(shù):20000
查詢條件:多條件查詢10條記錄,并逐條獲取記錄
String key = "清泉" + r.nextInt(1000); Pattern pattern = Pattern.compile(key); BasicDBObject queryObject = new BasicDBObject("stationId", new BasicDBObject("$in", new Integer[]{20})) .append("firmId", new BasicDBObject("$gt", 5000)) .append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject).limit(10).skip(2);
并發(fā):200
耗時(shí):61566
單次耗時(shí)(server):124ms
Qps:324.85
2、 創(chuàng)建stationId, firmId復(fù)合引查詢場(chǎng)景(200w集合,12個(gè)字段)
查詢次數(shù):20000
查詢條件:多條件查詢10條記錄排序,并逐條獲取記錄
String key = "清泉" + r.nextInt(100); Pattern pattern = Pattern.compile(key); BasicDBObject queryObject = new BasicDBObject("stationId", new BasicDBObject("$in", new Integer[]{4, 20})) .append("firmId", new BasicDBObject("$gt", 5000)) .append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject) .sort(new BasicDBObject("firmId", 1)).limit(10).skip(2);
并發(fā):200
耗時(shí):63187
單次耗時(shí)(server):119ms
Qps:316.52
3、 創(chuàng)建stationId, firmId復(fù)合引查詢場(chǎng)景(200w集合,12個(gè)字段)
查詢次數(shù):2000
查詢條件:多條件查詢記錄數(shù)
String key = "清泉" + r.nextInt(100); Pattern pattern = Pattern.compile(key); BasicDBObject queryObject = new BasicDBObject("stationId", new BasicDBObject("$in", new Integer[]{4, 20})) .append("firmId", new BasicDBObject("$gt", 5000)) .append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); long count = collection.count(queryObject);
并發(fā):200
耗時(shí):21887
單次耗時(shí)(client):280ms
Qps:91.38
有正則
4、 創(chuàng)建stationId, firmId復(fù)合引查詢場(chǎng)景(200w集合,12個(gè)字段)
查詢次數(shù):20000
查詢條件:多條件查詢10條記錄,并逐條獲取記錄
String key = "清泉" + r.nextInt(1000); Pattern pattern = Pattern.compile(key); BasicDBObject queryObject = new BasicDBObject("stationId", new BasicDBObject("$in", new Integer[]{20})) .append("firmId", new BasicDBObject("$gt", 5000)) .append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))) .append("firmName", pattern); DBCursor cursor = collection.find(queryObject).limit(10).skip(2);
并發(fā):200
耗時(shí):137673
單次耗時(shí)(server):225ms
Qps:145.27
5、 創(chuàng)建stationId, firmId復(fù)合引查詢場(chǎng)景(200w集合,12個(gè)字段)
查詢次數(shù):20000
查詢條件:多條件查詢10條記錄排序,并逐條獲取記錄
String key = "清泉" + r.nextInt(1000); Pattern pattern = Pattern.compile(key); BasicDBObject queryObject = new BasicDBObject("stationId", new BasicDBObject("$in", new Integer[]{4, 20})) .append("firmId", new BasicDBObject("$gt", 5000)) .append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))) .append("firmName", pattern); DBCursor cursor = collection.find(queryObject) .sort(new BasicDBObject("firmId", 1)).limit(10).skip(2);
并發(fā):200
耗時(shí):138673
單次耗時(shí)(server):230ms
Qps:144.22
6、 創(chuàng)建stationId, firmId復(fù)合引查詢場(chǎng)景(200w集合,12個(gè)字段)
查詢次數(shù):2000
查詢條件:多條件查詢記錄數(shù)
String key = "清泉" + r.nextInt(1000); Pattern pattern = Pattern.compile(key); BasicDBObject queryObject = new BasicDBObject("stationId", new BasicDBObject("$in", new Integer[]{4, 20})) .append("firmId", new BasicDBObject("$gt", 5000)) .append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))) .append("firmName", pattern); long count = collection.count(queryObject);
并發(fā):200
耗時(shí):23155
單次耗時(shí)(client):330ms
Qps:86.37
MongoDB索引特點(diǎn)
1、 復(fù)合索引必須命中首字段,否則無(wú)法生效。后面的字段可以不按順序命中。
2、 復(fù)合索引字段越多占用空間越大,但對(duì)查詢性能影響不大(數(shù)組索引除外)。
3、 會(huì)根據(jù)sort字段選擇索引,優(yōu)先級(jí)超過(guò)復(fù)合索引中的非首字段。
4、 命中復(fù)合索引的情況下,數(shù)據(jù)量<10w的情況下,過(guò)濾非索引字段,效率也比較高。
5、 全文檢索性能比較差,200w數(shù)據(jù)命中50w的情況下,全文檢索需要10+s,正則需要1s。
MongoDB客戶端配置,可以提出來(lái)做成spring注入,設(shè)置最大連接數(shù)什么的。
MongoClientOptions options = MongoClientOptions.builder().maxWaitTime(1000 * 60 * 2) .connectionsPerHost(500).build(); mongoClient = new MongoClient(Arrays.asList(new ServerAddress("10.205.68.57", 8700), new ServerAddress("10.205.68.15", 8700), new ServerAddress("10.205.69.13", 8700)), options); mongoClient.setReadPreference(ReadPreference.secondaryPreferred());
mongoDB調(diào)研_結(jié)論.docx為最終場(chǎng)景下的測(cè)試數(shù)據(jù),分為有正則和無(wú)正則。
mongoDB調(diào)研_remote.docx為測(cè)試驗(yàn)證過(guò)程中的數(shù)據(jù),有可能存在緩存等情況,不一定準(zhǔn)確,功參考。
關(guān)于MongoDB 查詢優(yōu)化原則的大家了解嗎?下文給大家介紹下,具體內(nèi)容如下所示:
1.在查詢條件、排序條件、統(tǒng)計(jì)條件的字段上選擇創(chuàng)建索引,可以顯著提高查詢效率。
2.用$or時(shí)把匹配最多結(jié)果的條件放在最前面,用$and時(shí)把匹配最 少 結(jié)果的條件放在最前面。
3.使用limit()限定返回結(jié)果集的大小,減少數(shù)據(jù)庫(kù)服務(wù)器的資源消耗,以及網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量。
4.盡量少用$in,而是分解成一個(gè)一個(gè)的單一查詢。尤其是在分片上,$in會(huì)讓你的查詢?nèi)ッ恳粋€(gè)分片上查一次,如果實(shí)在要用的話,先在每個(gè)分片上建索引。
5.盡量不用模糊匹配查詢,用其它精確匹配查詢代替,比如$in、$nin。
6.查詢量大、并發(fā)大的情況,通過(guò)前端加緩存解決。
7.能不用安全模式的操作就不用安全模式,這樣客戶端沒必要等待數(shù)據(jù)庫(kù)返回查詢結(jié)果以及處理異常,快了一個(gè)數(shù)量級(jí)。
8.MongoDB的智能查詢優(yōu)化,判斷粒度為query條件,而skip和limit都不在其判斷之中,當(dāng)分頁(yè)查詢最后幾頁(yè)時(shí),先用order反向排序。
9.盡量減少跨分片查詢,balance均衡次數(shù)少。
10.只查詢要使用的字段,而不查詢所有字段。
11.更新字段的值時(shí),使用$inc比update效率高。
12.apped collections比普通collections的讀寫效率高。
13.server-side processing類似于SQL查詢的存儲(chǔ)過(guò)程,可以減少網(wǎng)絡(luò)通訊的開銷。
14.必要時(shí)使用hint()強(qiáng)制使用某個(gè)索引查詢。
15.如果有自己的主鍵列,則使用自己的主鍵列作為id,這樣可以節(jié)約空間,也不需要?jiǎng)?chuàng)建額外的所以。
16.使用explain,根據(jù)exlpain plan進(jìn)行優(yōu)化。
17.范圍查詢的時(shí)候盡量用$in、$nin代替。
18.查看數(shù)據(jù)庫(kù)查詢?nèi)罩?,具體分析的效率低的操作。
19.mongodb有一個(gè)數(shù)據(jù)庫(kù)優(yōu)化工具database profiler,能夠檢測(cè)數(shù)據(jù)庫(kù)操作的性能??梢园l(fā)現(xiàn)query或者write操作中執(zhí)行效率低的,從而針對(duì)這些操作進(jìn)行優(yōu)化。
20.盡量把更多的操作放在客戶端,當(dāng)然這就是mongodb設(shè)計(jì)的理念之一。
- MongoDB中多表關(guān)聯(lián)查詢($lookup)的深入講解
- Mongodb實(shí)現(xiàn)的關(guān)聯(lián)表查詢功能【population方法】
- MongoDB各種查詢操作詳解
- MongoDB查詢操作限制返回字段的方法
- PHP中MongoDB數(shù)據(jù)庫(kù)的連接、添加、修改、查詢、刪除等操作實(shí)例
- MongoDB下根據(jù)數(shù)組大小進(jìn)行查詢的方法
- MongoDB導(dǎo)出查詢結(jié)果到文件例子
- MongoDB如何對(duì)數(shù)組中的元素進(jìn)行查詢?cè)斀?/a>
- MongoDB查詢技巧總結(jié)
- mongodb實(shí)現(xiàn)同庫(kù)聯(lián)表查詢方法示例
- MongoDB的基礎(chǔ)查詢和索引操作方法總結(jié)
- MongoDB多表關(guān)聯(lián)查詢操作實(shí)例詳解
相關(guān)文章
MongoDB??數(shù)據(jù)模型的設(shè)計(jì)模式及優(yōu)缺點(diǎn)
這篇文章主要介紹了MongoDB??數(shù)據(jù)模型的設(shè)計(jì)模式,在實(shí)際開發(fā)中,大多數(shù)性能問(wèn)題都可以追溯到糟糕的模型設(shè)計(jì),官方也提供分享過(guò)文檔模型設(shè)計(jì)的進(jìn)階技巧,這里簡(jiǎn)單翻譯記錄一下,需要的朋友可以參考下2022-12-12MongoDB單表數(shù)據(jù)的導(dǎo)出和恢復(fù)實(shí)例講解
MongoDB 是一個(gè)跨平臺(tái)的,面向文檔的數(shù)據(jù)庫(kù),提供高性能,高可用性和可擴(kuò)展性方便。 MongoDB 工作在收集和文件的概念。接下來(lái)通過(guò)本文給大家介紹MongoDB單表數(shù)據(jù)的導(dǎo)出和恢復(fù)實(shí)例講解,對(duì)mongodb導(dǎo)出和恢復(fù)數(shù)據(jù)知識(shí)感興趣的朋友一起學(xué)習(xí)吧2016-03-03MongoDB插入、更新、刪除文檔實(shí)現(xiàn)代碼
本文通過(guò)實(shí)例代碼給大家簡(jiǎn)單介紹了mongodb插入、更新、刪除文檔的方法,需要的的朋友參考下吧2017-04-04Mongodb實(shí)現(xiàn)定時(shí)備份與恢復(fù)的方法教程
這篇文章主要給大家介紹了Mongodb實(shí)現(xiàn)定時(shí)備份與恢復(fù)的方法教程,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面跟著小編一起來(lái)學(xué)習(xí)學(xué)習(xí)吧。2017-06-06mongodb 查看數(shù)據(jù)庫(kù)和表大小
mongodb查看數(shù)據(jù)庫(kù)和表的方法比較簡(jiǎn)單,在為這里推薦使用stats的方法,直觀并且詳細(xì)。2014-07-07Mongodb啟動(dòng)報(bào)錯(cuò)完美解決方案:about to fork child pr
在使用命令行啟動(dòng) MongoDB 的時(shí)候報(bào)錯(cuò):about to fork child process, waiting until server is ready for connections.forked process: 50411,造成這個(gè)報(bào)錯(cuò)的原因是 “MongoDB” 服務(wù)沒有正常的關(guān)閉,在終端連接非正常斷開后,再次執(zhí)行 MongoDB 的時(shí)候報(bào)錯(cuò)2023-04-04MongoDB入門教程之Windows下的MongoDB數(shù)據(jù)庫(kù)安裝圖解
這篇文章主要介紹了MongoDB入門教程之Windows下的MongoDB數(shù)據(jù)庫(kù)安裝圖解,本文還講解了MongoDB的基本操作,如insert、find、 update、remove等操作,需要的朋友可以參考下2014-08-08PHP中MongoDB數(shù)據(jù)庫(kù)的連接、添加、修改、查詢、刪除等操作實(shí)例
這篇文章主要介紹了PHP中MongoDB數(shù)據(jù)庫(kù)的連接、添加、修改、查詢、刪除等操作實(shí)例,需要的朋友可以參考下2014-06-06