欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

MongoDB中MapReduce編程模型使用實(shí)例

 更新時(shí)間：2014年04月26日 09:56:55   作者：  
作為一個(gè)優(yōu)秀的編程模型，MapReduce在大數(shù)據(jù)處理中有很大的優(yōu)勢(shì)，而mongodb也支持這一編程模型，本文通過(guò)簡(jiǎn)單的單詞計(jì)數(shù)示例論述在mongodb中如何使用MapReduce

注：作者使用的MongoDB為2.4.7版本。

單詞計(jì)數(shù)示例：

插入用于單詞計(jì)數(shù)的數(shù)據(jù)：

復(fù)制代碼 代碼如下:

db.data.insert({sentence:'Consider the following map-reduce operations on a collection orders that contains documents of the following prototype'})
db.data.insert({sentence:'I get the following error when I follow the code found in this link'})

圖個(gè)簡(jiǎn)潔，數(shù)據(jù)中沒(méi)有包含標(biāo)點(diǎn)符號(hào)。 在mongo shell寫(xiě)入以下內(nèi)容：

復(fù)制代碼 代碼如下:

var map = function() {
    split_result = this.sentence.split(" ");
    for (var i in split_result) {
        var word = split_result[i].replace(/(^\s*)|(\s*$)/g,"").toLowerCase(); //去除了單詞兩邊可能的空格，并將單詞轉(zhuǎn)換為小寫(xiě)
        if (word.length != 0) {
            emit(word, 1);
        }
    }
}

var reduce = function(key, values) {
    return Array.sum(values);
}

db.data.mapReduce(
    map,
    reduce,
    {out:{inline:1}}
)


db.data.mapReduce的第一和第二個(gè)參數(shù)分別指定map和reduce，map的輸入是集合中的每個(gè)文檔，通過(guò)emit()生成鍵值對(duì)；而reduce則處理鍵的多個(gè)值。

mapReduce的第三個(gè)參數(shù)指明在內(nèi)存中進(jìn)行mapreduce并返回結(jié)果，運(yùn)行結(jié)果如下：

復(fù)制代碼 代碼如下:

{
        "results" : [
                {
                        "_id" : "a",
                        "value" : 1
                },
                {
                        "_id" : "code",
                        "value" : 1
                },
                {
                        "_id" : "collection",
                        "value" : 1
                },
                {
                        "_id" : "consider",
                        "value" : 1
                },
                {
                        "_id" : "contains",
                        "value" : 1
                },
                {
                        "_id" : "documents",
                        "value" : 1
                },
                {
                        "_id" : "error",
                        "value" : 1
                },
                {
                        "_id" : "follow",
                        "value" : 1
                },
                {
                        "_id" : "following",
                        "value" : 3
                },
                {
                        "_id" : "found",
                        "value" : 1
                },
                {
                        "_id" : "get",
                        "value" : 1
                },
                {
                        "_id" : "i",
                        "value" : 2
                },
                {
                        "_id" : "in",
                        "value" : 1
                },
                {
                        "_id" : "link",
                        "value" : 1
                },
                {
                        "_id" : "map-reduce",
                        "value" : 1
                },
                {
                        "_id" : "of",
                        "value" : 1
                },
                {
                        "_id" : "on",
                        "value" : 1
                },
                {
                        "_id" : "operations",
                        "value" : 1
                },
                {
                        "_id" : "orders",
                        "value" : 1
                },
                {
                        "_id" : "prototype",
                        "value" : 1
                },
                {
                        "_id" : "that",
                        "value" : 1
                },
                {
                        "_id" : "the",
                        "value" : 4
                },
                {
                        "_id" : "this",
                        "value" : 1
                },
                {
                        "_id" : "when",
                        "value" : 1
                }
        ],
        "timeMillis" : 1,
        "counts" : {
                "input" : 2,
                "emit" : 30,
                "reduce" : 3,
                "output" : 24
        },
        "ok" : 1,
}


results的值是MapReduce的處理結(jié)果，timeMillis指明花費(fèi)的時(shí)間；counts中input指明了輸入的文檔數(shù)，emit指明了在map中調(diào)用emit的次數(shù)，reduce指明了reduce的次數(shù)（本例中如果單次次數(shù)為1則不需要reduce），output指明了輸出的文檔數(shù)目。

可以看到，鍵_id不再是自動(dòng)生成，而是被reduce中的key取代。當(dāng)然，也可以將結(jié)果輸入到一個(gè)新的collection中，例如：

復(fù)制代碼 代碼如下:
db.data.mapReduce( map, reduce, {out:"mr_result"} )

之后查看mr_result集合中的內(nèi)容即可：
復(fù)制代碼 代碼如下:
db.mr_result.find()

也可以使用db.runCommand執(zhí)行mapreduce任務(wù)，這種方法為開(kāi)發(fā)者提供了更多的選項(xiàng)，具體請(qǐng)見(jiàn)資料[1]。資料[2][3][4]提供了關(guān)于mapreduce更全面的內(nèi)容。資料[5]給出了優(yōu)化mapreduce任務(wù)的方法，資料[6]是資料[5]的一篇中文翻譯。

應(yīng)該注意的是，資料[5]中提到使用ScopedThread()創(chuàng)建線(xiàn)程，筆者在GUI工具Robomongo的shell中運(yùn)行 new ScopedThread()時(shí)候報(bào)錯(cuò)： ReferenceError: ScopedThread is not defined (shell):1

不過(guò)在mongo shell中可以正常運(yùn)行：

復(fù)制代碼 代碼如下:

> new ScopedThread()
Sat Mar 22 21:32:36.062 Error: need at least one argument at src/mongo/shell/utils.js:101

如果使用其他編程語(yǔ)言管理MongoDB，要用到線(xiàn)程時(shí)，應(yīng)該使用該編程語(yǔ)言?xún)?nèi)置的線(xiàn)程。

關(guān)于mongodb實(shí)現(xiàn)的mapreduce，個(gè)人覺(jué)得如果支持多個(gè)MR任務(wù)平滑過(guò)渡就更好了。

相關(guān)文章

  • MongoDB數(shù)據(jù)庫(kù)基本概念解析

    MongoDB數(shù)據(jù)庫(kù)基本概念解析

    這篇文章介紹了MongoDB數(shù)據(jù)庫(kù)的一些基本概念，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2022-03-03
  • MongoDB遠(yuǎn)程訪(fǎng)問(wèn)配置步驟詳解

    MongoDB遠(yuǎn)程訪(fǎng)問(wèn)配置步驟詳解

    MongoDB遠(yuǎn)程訪(fǎng)問(wèn)相信很多人都要到這個(gè)需求，所以這篇文章給大家主要介紹了MongoDB遠(yuǎn)程訪(fǎng)問(wèn)配置的步驟，文中給出了詳細(xì)的步驟及示例代碼，相信對(duì)大家的理解和學(xué)習(xí)很有幫助，有需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。
    2016-11-11
  • MongoDB數(shù)據(jù)庫(kù)聚合之分組統(tǒng)計(jì)$group的用法詳解

    MongoDB數(shù)據(jù)庫(kù)聚合之分組統(tǒng)計(jì)$group的用法詳解

    在MongoDB中聚合框架允許用戶(hù)對(duì)數(shù)據(jù)進(jìn)行處理和分析,以便進(jìn)行統(tǒng)計(jì)計(jì)算、匯總以及更復(fù)雜的數(shù)據(jù)轉(zhuǎn)換,這篇文章主要給大家介紹了關(guān)于MongoDB數(shù)據(jù)庫(kù)聚合之分組統(tǒng)計(jì)$group的用法的相關(guān)資料,需要的朋友可以參考下
    2024-06-06
  • MongoDB賬戶(hù)密碼設(shè)置的方法詳解

    MongoDB賬戶(hù)密碼設(shè)置的方法詳解

    這篇文章主要給大家介紹了關(guān)于MongoDB賬戶(hù)密碼設(shè)置的相關(guān)資料,我們知道m(xù)ysql在安裝的時(shí)候需要我們?cè)O(shè)置一個(gè)數(shù)據(jù)庫(kù)默認(rèn)的用戶(hù)名和密碼,mongodb也不例外,需要的朋友可以參考下
    2023-09-09
  • MongoDB中連接字符串的編寫(xiě)

    MongoDB中連接字符串的編寫(xiě)

    MongoDB中字符串連接不區(qū)分大小寫(xiě),并非所有MongoDB驅(qū)動(dòng)都支持完整的連接字符串,不支持此格式連接字串的驅(qū)動(dòng)會(huì)有替代連接方案,
    2015-05-05
  • 批量備份還原導(dǎo)入與導(dǎo)出MongoDB數(shù)據(jù)方式

    批量備份還原導(dǎo)入與導(dǎo)出MongoDB數(shù)據(jù)方式

    前面我們介紹了mongoDB的安裝與配置，接下來(lái)我們講一講如何使用mongo的可視化工具Navicat對(duì)mongo數(shù)據(jù)庫(kù)進(jìn)行操作和如何在終端進(jìn)行mongo數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)的批量操作
    2021-09-09
  • MongoDB如何查看版本信息詳解

    MongoDB如何查看版本信息詳解

    這篇文章主要給大家介紹了關(guān)于MongoDB如何查看版本信息的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-08-08
  • MongoDB中連接池、索引、事務(wù)

    MongoDB中連接池、索引、事務(wù)

    這篇文章主要介紹了MongoDB中連接池、索引、事務(wù)的相關(guān)資料,需要的朋友可以參考下
    2023-01-01
  • MongoDB Remove函數(shù)的3個(gè)常見(jiàn)用法

    MongoDB Remove函數(shù)的3個(gè)常見(jiàn)用法

    這篇文章主要介紹了MongoDB Remove函數(shù)的3個(gè)常見(jiàn)用法,需要的朋友可以參考下
    2014-05-05
  • MongoDB固定集合（capped collection）的知識(shí)小結(jié)

    MongoDB固定集合（capped collection）的知識(shí)小結(jié)

    固定集合指的是事先創(chuàng)建，并且大小固定的集合。下面這篇文章主要給大家總結(jié)介紹了MongoDB固定集合（capped collection）的知識(shí)，文中介紹的非常詳細(xì)，需要的朋友可以參考借鑒，下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2018-10-10

最新評(píng)論