MongoDB aggregate 運(yùn)用篇個(gè)人總結(jié)
最近一直在用mongodb,有時(shí)候會(huì)需要用到統(tǒng)計(jì),在網(wǎng)上查了一些資料,最適合用的就是用aggregate,以下介紹一下自己運(yùn)用的心得。。
MongoDB 聚合
MongoDB中聚合(aggregate)主要用于處理數(shù)據(jù)(諸如統(tǒng)計(jì)平均值,求和等),并返回計(jì)算后的數(shù)據(jù)結(jié)果。有點(diǎn)類(lèi)似sql語(yǔ)句中的 count(*)。
aggregate() 方法
MongoDB中聚合的方法使用aggregate()。
語(yǔ)法
aggregate() 方法的基本語(yǔ)法格式如下所示:
db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)
實(shí)例
集合中的數(shù)據(jù)如下:
{ _id: ObjectId(7df78ad8902c) title: 'MongoDB Overview', description: 'MongoDB is no sql database', by_user: 'jb51.net', url: 'http://www.dbjr.com.cn', tags: ['mongodb', 'database', 'NoSQL'], likes: 100 }, { _id: ObjectId(7df78ad8902d) title: 'NoSQL Overview', description: 'No sql database is very fast', by_user: 'jb51.net', url: 'http://www.dbjr.com.cn', tags: ['mongodb', 'database', 'NoSQL'], likes: 10 }, { _id: ObjectId(7df78ad8902e) title: 'Neo4j Overview', description: 'Neo4j is no sql database', by_user: 'Neo4j', url: 'http://www.neo4j.com', tags: ['neo4j', 'database', 'NoSQL'], likes: 750 },
現(xiàn)在我們通過(guò)以上集合計(jì)算每個(gè)作者所寫(xiě)的文章數(shù),使用aggregate()計(jì)算結(jié)果如下:
> db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : 1}}}]) { "result" : [ { "_id" : "w3cschool.cc", "num_tutorial" : 2 }, { "_id" : "Neo4j", "num_tutorial" : 1 } ], "ok" : 1 } >
以上實(shí)例類(lèi)似sql語(yǔ)句: select by_user, count(*) from mycol group by by_user
在上面的例子中,我們通過(guò)字段by_user字段對(duì)數(shù)據(jù)進(jìn)行分組,并計(jì)算by_user字段相同值的總和。
下表展示了一些聚合的表達(dá)式:
表達(dá)式 | 描述 | 實(shí)例 |
---|---|---|
$sum | 計(jì)算總和。 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : "$likes"}}}]) |
$avg | 計(jì)算平均值 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$avg : "$likes"}}}]) |
$min | 獲取集合中所有文檔對(duì)應(yīng)值得最小值。 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$min : "$likes"}}}]) |
$max | 獲取集合中所有文檔對(duì)應(yīng)值得最大值。 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$max : "$likes"}}}]) |
$push | 在結(jié)果文檔中插入值到一個(gè)數(shù)組中。 | db.mycol.aggregate([{$group : {_id : "$by_user", url : {$push: "$url"}}}]) |
$addToSet | 在結(jié)果文檔中插入值到一個(gè)數(shù)組中,但不創(chuàng)建副本。 | db.mycol.aggregate([{$group : {_id : "$by_user", url : {$addToSet : "$url"}}}]) |
$first | 根據(jù)資源文檔的排序獲取第一個(gè)文檔數(shù)據(jù)。 | db.mycol.aggregate([{$group : {_id : "$by_user", first_url : {$first : "$url"}}}]) |
$last | 根據(jù)資源文檔的排序獲取最后一個(gè)文檔數(shù)據(jù) | db.mycol.aggregate([{$group : {_id : "$by_user", last_url : {$last : "$url"}}}]) |
管道的概念
管道在Unix和Linux中一般用于將當(dāng)前命令的輸出結(jié)果作為下一個(gè)命令的參數(shù)。
MongoDB的聚合管道將MongoDB文檔在一個(gè)管道處理完畢后將結(jié)果傳遞給下一個(gè)管道處理。管道操作是可以重復(fù)的。
表達(dá)式:處理輸入文檔并輸出。表達(dá)式是無(wú)狀態(tài)的,只能用于計(jì)算當(dāng)前聚合管道的文檔,不能處理其它的文檔。
這里我們介紹一下聚合框架中常用的幾個(gè)操作:
$project:修改輸入文檔的結(jié)構(gòu)??梢杂脕?lái)重命名、增加或刪除域,也可以用于創(chuàng)建計(jì)算結(jié)果以及嵌套文檔。
$match:用于過(guò)濾數(shù)據(jù),只輸出符合條件的文檔。$match使用MongoDB的標(biāo)準(zhǔn)查詢(xún)操作。
$limit:用來(lái)限制MongoDB聚合管道返回的文檔數(shù)。
$skip:在聚合管道中跳過(guò)指定數(shù)量的文檔,并返回余下的文檔。
$unwind:將文檔中的某一個(gè)數(shù)組類(lèi)型字段拆分成多條,每條包含數(shù)組中的一個(gè)值。
$group:將集合中的文檔分組,可用于統(tǒng)計(jì)結(jié)果。
$sort:將輸入文檔排序后輸出。
$geoNear:輸出接近某一地理位置的有序文檔。
管道操作符實(shí)例
1、$project實(shí)例
db.article.aggregate( { $project : { title : 1 , author : 1 , }} );
這樣的話結(jié)果中就只還有_id,tilte和author三個(gè)字段了,默認(rèn)情況下_id字段是被包含的,如果要想不包含_id話可以這樣:
db.article.aggregate( { $project : { _id : 0 , title : 1 , author : 1 }});
2.$match實(shí)例
db.articles.aggregate( [ { $match : { score : { $gt : 70, $lte : 90 } } }, { $group: { _id: null, count: { $sum: 1 } } } ] );
$match用于獲取分?jǐn)?shù)大于70小于或等于90記錄,然后將符合條件的記錄送到下一階段$group管道操作符進(jìn)行處理。
3.$skip實(shí)例
db.article.aggregate( { $skip : 5 });
經(jīng)過(guò)$skip管道操作符處理后,前五個(gè)文檔被"過(guò)濾"掉。
別人寫(xiě)過(guò)的我就不過(guò)多描述了,大家一搜能搜索到N多一樣的,我寫(xiě)一下我的總結(jié)。
基礎(chǔ)知識(shí)
請(qǐng)大家自行查找更多,以下是關(guān)鍵文檔。
操作符介紹:
$project:包含、排除、重命名和顯示字段
$match:查詢(xún),需要同find()一樣的參數(shù)
$limit:限制結(jié)果數(shù)量
$skip:忽略結(jié)果的數(shù)量
$sort:按照給定的字段排序結(jié)果
$group:按照給定表達(dá)式組合結(jié)果
$unwind:分割嵌入數(shù)組到自己頂層文件
文檔:MongoDB 官方aggregate說(shuō)明。
相關(guān)使用:
db.collection.aggregate([array]);
array可是是任何一個(gè)或多個(gè)操作符。
group和match的用法,使用過(guò)sqlserver,group的用法很好理解,根據(jù)指定列進(jìn)行分組統(tǒng)計(jì),可以統(tǒng)計(jì)分組的數(shù)量,也能統(tǒng)計(jì)分組中的和或者平均值等。
group之前的match,是對(duì)源數(shù)據(jù)進(jìn)行查詢(xún),group之后的match是對(duì)group之后的數(shù)據(jù)進(jìn)行篩選;
同理,sort,skip,limit也是同樣的原理;
{_id:1,name:"a",status:1,num:1} {_id:2,name:"a",status:0,num:2} {_id:3,name:"b",status:1,num:3} {_id:4,name:"c",status:1,num:4} {_id:5,name:"d",status:1,num:5}
以下是示例:
應(yīng)用一:統(tǒng)計(jì)name的數(shù)量和總數(shù);
db.collection.aggregate([ {$group:{_id:"$name",count:{$sum:1},total:{$sum:"$num"}} ]);
應(yīng)用二:統(tǒng)計(jì)status=1的name的數(shù)量;
db.collection.aggregate([ {$match:{status:1}}, {$group:{_id:"$name",count:{$sum:1}}} ]);
應(yīng)用三:統(tǒng)計(jì)name的數(shù)量,并且數(shù)量為小于2的;
db.collection.aggregate([ {$group:{_id:"$name",count:{$sum:1}}, {$match:{count:{$lt:2}}} ]);
應(yīng)用四:統(tǒng)計(jì)stauts=1的name的數(shù)量,并且數(shù)量為1的;
db.collection.aggregate([ {$match:{status:1}}, {$group:{_id:"$name",count:{$sum:1}}}, {$match:{count:1}} ]);
多列g(shù)roup,根據(jù)name和status進(jìn)行多列
db.collection.aggregate([ {$group:{_id:{name:"$name",st:"$status"},count:{$sum:1}}} ]);
$project該操作符很簡(jiǎn)單,
db.collection.aggregate([ {$project:{name:1,status:1}} ]);
結(jié)果是,只有_id,name,status三個(gè)字段的表數(shù)據(jù),相當(dāng)于sql表達(dá)式 select _id,name,status from collection
$unwind
這個(gè)操作符可以將一個(gè)數(shù)組的文檔拆分為多條文檔,在特殊條件下有用,本人暫沒(méi)有進(jìn)行過(guò)多的研究。
以上基本就可以實(shí)現(xiàn)大部分統(tǒng)計(jì)了,group前條件,group后條件,是重點(diǎn)。
相關(guān)文章
Linux系統(tǒng)下MongoDB的簡(jiǎn)單安裝與基本操作
這篇文章主要介紹了Linux系統(tǒng)下MongoDB的簡(jiǎn)單安裝與基本操作,需要的朋友可以參考下2015-04-04MongoDB學(xué)習(xí)筆記之MapReduce使用示例
這篇文章主要介紹了MongoDB學(xué)習(xí)筆記之MapReduce使用示例,本文直接給出實(shí)例代碼,需要的朋友可以參考下2015-07-07關(guān)于Mongodb 認(rèn)證鑒權(quán)你需要知道的一些事
最近因?yàn)閙ongodb被黑了,早先我就疑惑過(guò)怎么這東西開(kāi)啟服務(wù)就能用了,后來(lái)找了各方資料,知道MongoDB默認(rèn)是沒(méi)有鑒權(quán)的,所以這篇文章主要給大家介紹了關(guān)于Mongodb認(rèn)證鑒權(quán)你需要知道的一些事,需要的朋友可以參考下。2017-10-10MongoDB學(xué)習(xí)筆記之GridFS使用介紹
這篇文章主要介紹了MongoDB學(xué)習(xí)筆記之GridFS使用介紹,本文介紹了GridFS的作用、GridFS的一些使用方法、GridFS實(shí)現(xiàn)原理及注意事項(xiàng)等,需要的朋友可以參考下2015-07-07MongoDB模糊查詢(xún)正則regex(類(lèi)似like?和?not?like)
在類(lèi)關(guān)系型數(shù)據(jù)庫(kù)中,like和not?like是常用的模糊查詢(xún)操作符,它允許我們?cè)谄ヅ渥侄蔚臅r(shí)候使用通配符,在MongoDB中,也有類(lèi)似的操作符,MongoDB?可以使用?$regex?操作符來(lái)設(shè)置匹配字符串的正則表達(dá)式,MongoDB?使用?PCRE(Perl?兼容的正則表達(dá)式)作為正則表達(dá)式語(yǔ)言2024-02-02MongoDB orm框架的注意事項(xiàng)及簡(jiǎn)單使用
MongoDB官方提供的orm的輕量級(jí)封裝的 zfoo orm 框架,只對(duì)官方提供的進(jìn)行了簡(jiǎn)單的封裝,還做了一些官方不支持的語(yǔ)法校驗(yàn)。本文介紹了該框架的注意事項(xiàng)及簡(jiǎn)單使用2021-06-06MongoDB系列教程(八):GridFS存儲(chǔ)詳解
這篇文章主要介紹了MongoDB系列教程(八):GridFS存儲(chǔ)詳解,本文講解了什么是GridFS、GridFS的實(shí)現(xiàn)原理等內(nèi)容,需要的朋友可以參考下2015-05-05