MongoDB中的MapReduce簡介
MongoDB MapReduce
MapReduce是一種計算模型,簡單的說就是將大批量的工作(數(shù)據(jù))分解(MAP)執(zhí)行,然后再將結(jié)果合并成最終結(jié)果(REDUCE)。這樣做的好處是可以在任務(wù)被分解后,可以通過大量機器進行并行計算,減少整個操作的時間。
上面是MapReduce的理論部分,下面說實際的應(yīng)用,下面以MongoDB MapReduce為例說明。
下面是MongoDB官方的一個例子:
> db.things.insert( { _id : 1, tags : ['dog', 'cat'] } );
> db.things.insert( { _id : 2, tags : ['cat'] } );
> db.things.insert( { _id : 3, tags : ['mouse', 'cat', 'dog'] } );
> db.things.insert( { _id : 4, tags : [] } );
> // map function
> map = function(){
... this.tags.forEach(
... function(z){
... emit( z , { count : 1 } );
... }
... );
...};
> // reduce function
> reduce = function( key , values ){
... var total = 0;
... for ( var i=0; i<values.length; i++ )
... total += values[i].count;
... return { count : total };
...};
db.things.mapReduce(map,reduce,{out:'tmp'})
{
"result" : "tmp",
"timeMillis" : 316,
"counts" : {
"input" : 4,
"emit" : 6,
"output" : 3
},
"ok" : 1,
}
> db.tmp.find()
{ "_id" : "cat", "value" : { "count" : 3 } }
{ "_id" : "dog", "value" : { "count" : 2 } }
{ "_id" : "mouse", "value" : { "count" : 1 } }
例子很簡單,計算一個標簽系統(tǒng)中每個標簽出現(xiàn)的次數(shù)。
這里面,除了emit函數(shù)之外,所有都是標準的js語法,這個emit函數(shù)是非常重要的,可以這樣理解,當所有需要計算的文檔(因為在mapReduce時,可以對文檔進行過濾,接下來會講到)執(zhí)行完了map函數(shù),map函數(shù)會返回key_values對,key即是emit中的第一個參數(shù)key,values是對應(yīng)同一key的emit的n個第二個參數(shù)組成的數(shù)組。這個key_values會作為參數(shù)傳遞給reduce,分別作為第1.2個參數(shù)。
reduce函數(shù)的任務(wù)就是將key-values變成key-value,也就是把values數(shù)組變成一個單一的值value。當key-values中的values數(shù)組過大時,會被再切分成很多個小的key-values塊,然后分別執(zhí)行Reduce函數(shù),再將多個塊的結(jié)果組合成一個新的數(shù)組,作為Reduce函數(shù)的第二個參數(shù),繼續(xù)Reducer操作。可以預(yù)見,如果我們初始的values非常大,可能還會對第一次分塊計算后組成的集合再次Reduce。這就類似于多階的歸并排序了。具體會有多少重,就看數(shù)據(jù)量了。
reduce一定要能被反復(fù)調(diào)用,不論是映射環(huán)節(jié)還是前一個簡化環(huán)節(jié)。所以reduce返回的文檔必須能作為reduce的第二個參數(shù)的一個元素。
(當書寫Map函數(shù)時,emit的第二個參數(shù)組成數(shù)組成了reduce函數(shù)的第二個參數(shù),而Reduce函數(shù)的返回值,跟emit函數(shù)的第二個參數(shù)形式要一致,多個reduce函數(shù)的返回值可能會組成數(shù)組作為新的第二個輸入?yún)?shù)再次執(zhí)行Reduce操作。)
MapReduce函數(shù)的參數(shù)列表如下:
db.runCommand(
{ mapreduce : <collection>,
map : <mapfunction>,
reduce : <reducefunction>
[, query : <query filter object>]
[, sort : <sort the query. useful for optimization>]
[, limit : <number of objects to return from collection>]
[, out : <output-collection name>]
[, keeptemp: <true|false>]
[, finalize : <finalizefunction>]
[, scope : <object where fields go into javascript global scope >]
[, verbose : true]
}
);
或者這么寫:
db.collection.mapReduce(
<map>,
<reduce>,
{
<out>,
<query>,
<sort>,
<limit>,
<keytemp>,
<finalize>,
<scope>,
<jsMode>,
<verbose>
}
)
1.mapreduce:指定要進行mapreduce處理的collection
2.map:map函數(shù)
3.reduce:reduce函數(shù)
4.out:輸出結(jié)果的collection的名字,不指定會默認創(chuàng)建一個隨機名字的collection(如果使用了out選項,就不必指定keeptemp:true了,因為已經(jīng)隱含在其中了)
5.query:一個篩選條件,只有滿足條件的文檔才會調(diào)用map函數(shù)。(query。limit,sort可以隨意組合)
6.sort:和limit結(jié)合的sort排序參數(shù)(也是在發(fā)往map函數(shù)前給文檔排序),可以優(yōu)化分組機制
7.limit:發(fā)往map函數(shù)的文檔數(shù)量的上限(要是沒有l(wèi)imit,單獨使用sort的用處不大)
8.keytemp:true或false,表明結(jié)果輸出到的collection是否是臨時的,如果想在連接關(guān)閉后仍然保留這個集合,就要指定keeptemp為true,如果你用的是MongoDB的mongo客戶端連接,那必須exit后才會刪除。如果是腳本執(zhí)行,腳本退出或調(diào)用close會自動刪除結(jié)果collection
9.finalize:是函數(shù),它會在執(zhí)行完map、reduce后再對key和value進行一次計算并返回一個最終結(jié)果,這是處理過程的最后一步,所以finalize就是一個計算平均數(shù),剪裁數(shù)組,清除多余信息的恰當時機
10.scope:javascript代碼中要用到的變量,在這里定義的變量在map,reduce,finalize函數(shù)中可見
11.verbose:用于調(diào)試的詳細輸出選項,如果想看MpaReduce的運行過程,可以設(shè)置其為true。也可以print把map,reduce,finalize過程中的信息輸出到服務(wù)器日志上。
執(zhí)行MapReduce函數(shù)返回的文檔結(jié)構(gòu)如下:
{ result : <collection_name>,
timeMillis : <job_time>,
counts : {
input : <number of objects scanned>,
emit : <number of times emit was called>,
output : <number of items in output collection>
} ,
ok : <1_if_ok>,
[, err : <errmsg_if_error>]
}
1.result:儲存結(jié)果的collection的名字,這是個臨時集合,MapReduce的連接關(guān)閉后自動就被刪除了。
2.timeMillis:執(zhí)行花費的時間,毫秒為單位
3.input:滿足條件被發(fā)送到map函數(shù)的文檔個數(shù)
4.emit:在map函數(shù)中emit被調(diào)用的次數(shù),也就是所有集合中的數(shù)據(jù)總量
5.ouput:結(jié)果集合中的文檔個數(shù)(count對調(diào)試非常有幫助)
6.ok:是否成功,成功為1
7.err:如果失敗,這里可以有失敗原因,不過從經(jīng)驗上來看,原因比較模糊,作用不大
java代碼執(zhí)行MapReduce的方法:
public void MapReduce() {
Mongo mongo = new Mongo("localhost",27017);
DB db = mongo.getDB("qimiguangdb");
DBCollection coll = db.getCollection("collection1");
String map = "function() { emit(this.name, {count:1});}";
String reduce = "function(key, values) {";
reduce=reduce+"var total = 0;";
reduce=reduce+"for(var i=0;i<values.length;i++){total += values[i].count;}";
reduce=reduce+"return {count:total};}";
String result = "resultCollection";
MapReduceOutput mapReduceOutput = coll.mapReduce(map,
reduce.toString(), result, null);
DBCollection resultColl = mapReduceOutput.getOutputCollection();
DBCursor cursor= resultColl.find();
while (cursor.hasNext()) {
System.out.println(cursor.next());
}
}
- Go語言實現(xiàn)MapReduce的示例代碼
- 使用golang實現(xiàn)一個MapReduce的示例代碼
- golang并發(fā)工具MapReduce降低服務(wù)響應(yīng)時間
- Golang編程并發(fā)工具庫MapReduce使用實踐
- golang如何實現(xiàn)mapreduce單進程版本詳解
- MongoDB中MapReduce的使用方法詳解
- Mongodb中MapReduce實現(xiàn)數(shù)據(jù)聚合方法詳解
- MongoDB學(xué)習(xí)筆記之MapReduce使用示例
- MongoDB中MapReduce編程模型使用實例
- Go通用的?MapReduce?工具函數(shù)詳解
相關(guān)文章
mongodb 添加用戶及權(quán)限設(shè)置詳解
我知道的關(guān)系型數(shù)據(jù)庫都是有權(quán)限控制的,什么用戶能訪問什么庫,什么表,什么用戶可以插入,更新,而有的用戶只有讀取權(quán)限。2014-07-07一文帶你深入掌握MongoDB查詢分析的關(guān)鍵技巧
MongoDB 是一款靈活且可擴展的NoSQL數(shù)據(jù)庫,為了提高其性能,我們可以采取一些優(yōu)化技巧,這篇文章主要給大家介紹了關(guān)于MongoDB查詢分析關(guān)鍵技巧的相關(guān)資料,需要的朋友可以參考下2024-06-06Mongodb 數(shù)據(jù)類型及Mongoose常用CURD
MongoDB 是一個開源的 NoSQL 數(shù)據(jù)庫,相比 MySQL 那樣的關(guān)系型數(shù)據(jù)庫,它更為輕巧、靈活,非常適合在數(shù)據(jù)規(guī)模很大、事務(wù)性不強的場合下使用,本文給大家介紹Mongodb 數(shù)據(jù)類型及Mongoose常用CURD,感興趣的朋友一起學(xué)習(xí)吧2016-01-01mongodb索引知識_動力節(jié)點Java學(xué)院整理
這篇文章給大家介紹了mongodb索引的建立,刪除索引的方法以及唯一索引和組合索引的知識,感興趣的朋友一起看看吧2017-08-08