欧美午夜诱惑在线_一区二区三级片_国产成人综合v在线_国产91精品无码免费_高清综合亚洲三级_黄色软件下载观看_上萬網友分享国产精品高潮呻吟久久av心得_美女扒开尿眼无遮挡免费视频_好紧好湿好黄的视频免费_亚洲日韩欧美中字五月天

       這篇文章主要給大家介紹的是關(guān)于在MongoDB中MapReduce的使用，小編認(rèn)為是比較實(shí)用的，因此分享給大家作參考，需要的朋友可以看看，希望對(duì)大家學(xué)習(xí)有幫助。

       玩過(guò)Hadoop的小伙伴對(duì)MapReduce應(yīng)該不陌生，MapReduce的強(qiáng)大且靈活，它可以將一個(gè)大問(wèn)題拆分為多個(gè)小問(wèn)題，將各個(gè)小問(wèn)題發(fā)送到不同的機(jī)器上去處理，所有的機(jī)器都完成計(jì)算后，再將計(jì)算結(jié)果合并為一個(gè)完整的解決方案，這就是所謂的分布式計(jì)算。本文我們就來(lái)看看MongoDB中MapReduce的使用。

       打算用mongodb mapreduce之前一定要知道的事！??！

       mapreduce其實(shí)是分批處理數(shù)據(jù)的，每一百次重新reduce處理，所以到reduce里的數(shù)據(jù)如果是101條，那就會(huì)分2次進(jìn)入。這導(dǎo)致的問(wèn)題就是在reduce中 如果 初始化 var count = 0；在循環(huán)中 count ++，最后輸出的是1？？？避免都方法是，把數(shù)據(jù)存在返回的value里，這個(gè)value是會(huì)在循環(huán)進(jìn)入reduce的時(shí)候重用的。在循環(huán)中 count += value.count就能把之前都100加上了?。。∵€有如果只有一條數(shù)據(jù)，那它不會(huì)進(jìn)入reduce，會(huì)直接返回。

       下面是具體例子：

string map = @"
function() {
var view = this;
emit(view.activity, {pv: 1});
}";
string reduce = @" 
function(key, values) {
var result = {pv: 0};
values.forEach(function(value){ 
result.pv += value.pv;
});
return result;
}";
string finalize = @"
function(key, value){
return value;
}";

       mapReduce

       MongoDB中的MapReduce可以用來(lái)實(shí)現(xiàn)更復(fù)雜的聚合命令，使用MapReduce主要實(shí)現(xiàn)兩個(gè)函數(shù)：map函數(shù)和reduce函數(shù)，map函數(shù)用來(lái)生成鍵值對(duì)序列，map函數(shù)的結(jié)果作為reduce函數(shù)的參數(shù)，reduce函數(shù)中再做進(jìn)一步的統(tǒng)計(jì)，比如我的數(shù)據(jù)集如下：

{"_id" : ObjectId("59fa71d71fd59c3b2cd908d7"),"name" : "魯迅","book" : "吶喊","price" : 38.0,"publisher" : "人民文學(xué)出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d8"),"name" : "曹雪芹","book" : "紅樓夢(mèng)","price" : 22.0,"publisher" : "人民文學(xué)出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908d9"),"name" : "錢鐘書","book" : "宋詩(shī)選注","price" : 99.0,"publisher" : "人民文學(xué)出版社"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908da"),"name" : "錢鐘書","book" : "談藝錄","price" : 66.0,"publisher" : "三聯(lián)書店"}
{"_id" : ObjectId("59fa71d71fd59c3b2cd908db"),"name" : "魯迅","book" : "彷徨","price" : 55.0,"publisher" : "花城出版社"}

       假如我想查詢每位作者所出的書的總價(jià)，操作如下：

var map=function(){emit(this.name,this.price)}
var reduce=function(key,value){return Array.sum(value)}
var options={out:"totalPrice"}
db.sang_books.mapReduce(map,reduce,options);
db.totalPrice.find()

       emit函數(shù)主要用來(lái)實(shí)現(xiàn)分組，接收兩個(gè)參數(shù)，第一個(gè)參數(shù)表示分組的字段，第二個(gè)參數(shù)表示要統(tǒng)計(jì)的數(shù)據(jù)，reduce來(lái)做具體的數(shù)據(jù)處理操作，接收兩個(gè)參數(shù)，對(duì)應(yīng)emit方法的兩個(gè)參數(shù)，這里使用了Array中的sum函數(shù)對(duì)price字段進(jìn)行自加處理，options中定義了將結(jié)果輸出的集合，屆時(shí)我們將在這個(gè)集合中去查詢數(shù)據(jù)，默認(rèn)情況下，這個(gè)集合即使在數(shù)據(jù)庫(kù)重啟后也會(huì)保留，并且保留集合中的數(shù)據(jù)。

       查詢結(jié)果如下：

{
 "_id" : "曹雪芹",
 "value" : 22.0
}
{
 "_id" : "錢鐘書",
 "value" : 165.0
}
{
 "_id" : "魯迅",
 "value" : 93.0
}

       再比如我想查詢每位作者出了幾本書，如下：

var map=function(){emit(this.name,1)}
var reduce=function(key,value){return Array.sum(value)}
var options={out:"bookNum"}
db.sang_books.mapReduce(map,reduce,options);
db.bookNum.find()

       查詢結(jié)果如下：

{
 "_id" : "曹雪芹",
 "value" : 1.0
}
{
 "_id" : "錢鐘書",
 "value" : 2.0
}
{
 "_id" : "魯迅",
 "value" : 2.0
}

       將每位作者的書列出來(lái)，如下：

var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
var options={out:"books"}
db.sang_books.mapReduce(map,reduce,options);
db.books.find()

       結(jié)果如下：

{
 "_id" : "曹雪芹",
 "value" : "紅樓夢(mèng)"
}
{
 "_id" : "錢鐘書",
 "value" : "宋詩(shī)選注,談藝錄"
}
{
 "_id" : "魯迅",
 "value" : "吶喊,彷徨"
}

       比如查詢每個(gè)人售價(jià)在￥40以上的書：

var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
var options={query:{price:{$gt:40}},out:"books"}
db.sang_books.mapReduce(map,reduce,options);
db.books.find()

       query表示對(duì)查到的集合再進(jìn)行篩選。

       結(jié)果如下：

{
 "_id" : "錢鐘書",
 "value" : "宋詩(shī)選注,談藝錄"
}
{
 "_id" : "魯迅",
 "value" : "彷徨"
}

       runCommand實(shí)現(xiàn)

       我們也可以利用runCommand命令來(lái)執(zhí)行MapReduce。格式如下：

db.runCommand(
    {
     mapReduce: <collection>,
     map: <function>,
     reduce: <function>,
     finalize: <function>,
     out: <output>,
     query: <document>,
     sort: <document>,
     limit: <number>,
     scope: <document>,
     jsMode: <boolean>,
     verbose: <boolean>,
     bypassDocumentValidation: <boolean>,
     collation: <document>
    }
    )

       含義如下：

參數(shù)	含義
mapReduce	表示要操作的集合
map	map函數(shù)
reduce	reduce函數(shù)
finalize	最終處理函數(shù)
out	輸出的集合
query	對(duì)結(jié)果進(jìn)行過(guò)濾
sort	對(duì)結(jié)果排序
limit	返回的結(jié)果數(shù)
scope	設(shè)置參數(shù)值，在這里設(shè)置的值在map、reduce、finalize函數(shù)中可見
jsMode	是否將map執(zhí)行的中間數(shù)據(jù)由javascript對(duì)象轉(zhuǎn)換成BSON對(duì)象，默認(rèn)為false
verbose	是否顯示詳細(xì)的時(shí)間統(tǒng)計(jì)信息
bypassDocumentValidation	是否繞過(guò)文檔驗(yàn)證
collation	其他一些校對(duì)

       如下操作，表示執(zhí)行MapReduce操作并對(duì)統(tǒng)計(jì)的集合限制返回條數(shù)，限制返回條數(shù)之后再進(jìn)行統(tǒng)計(jì)操作，如下：

var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",limit:4,verbose:true})
db.books.find()

       執(zhí)行結(jié)果如下：

{
 "_id" : "曹雪芹",
 "value" : "紅樓夢(mèng)"
}
{
 "_id" : "錢鐘書",
 "value" : "宋詩(shī)選注,談藝錄"
}
{
 "_id" : "魯迅",
 "value" : "吶喊"
}

       小伙伴們看到，魯迅有一本書不見了，就是因?yàn)閘imit是先限制集合返回條數(shù)，然后再執(zhí)行統(tǒng)計(jì)操作。

       finalize操作表示最終處理函數(shù)，如下：

var f1 = function(key,reduceValue){var obj={};obj.author=key;obj.books=reduceValue; return obj}
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",finalize:f1})
db.books.find()

       f1第一個(gè)參數(shù)key表示emit中的第一個(gè)參數(shù)，第二個(gè)參數(shù)表示reduce的執(zhí)行結(jié)果，我們可以在f1中對(duì)這個(gè)結(jié)果進(jìn)行再處理，結(jié)果如下：

{
 "_id" : "曹雪芹",
 "value" : {
  "author" : "曹雪芹",
  "books" : "紅樓夢(mèng)"
 }
}
{
 "_id" : "錢鐘書",
 "value" : {
  "author" : "錢鐘書",
  "books" : "宋詩(shī)選注,談藝錄"
 }
}
{
 "_id" : "魯迅",
 "value" : {
  "author" : "魯迅",
  "books" : "吶喊,彷徨"
 }
}

       scope則可以用來(lái)定義一個(gè)在map、reduce和finalize中都可見的變量，如下：

var f1 = function(key,reduceValue){var obj={};obj.author=key;obj.books=reduceValue;obj.sang=sang; return obj}
var map=function(){emit(this.name,this.book)}
var reduce=function(key,value){return value.join(',--'+sang+'--,')}
db.runCommand({mapreduce:'sang_books',map,reduce,out:"books",finalize:f1,scope:{sang:"haha"}})
db.books.find()

       執(zhí)行結(jié)果如下：

{
 "_id" : "曹雪芹",
 "value" : {
  "author" : "曹雪芹",
  "books" : "紅樓夢(mèng)",
  "sang" : "haha"
 }
}
{
 "_id" : "錢鐘書",
 "value" : {
  "author" : "錢鐘書",
  "books" : "宋詩(shī)選注,--haha--,談藝錄",
  "sang" : "haha"
 }
}
{
 "_id" : "魯迅",
 "value" : {
  "author" : "魯迅",
  "books" : "吶喊,--haha--,彷徨",
  "sang" : "haha"
 }
}

       總結(jié)

       以上就是關(guān)于MongoDB中MapReduce的使用的介紹，有這方面學(xué)習(xí)需要的朋友可以多的看看，希望對(duì)大家能有幫助，更多mapreduce使用技巧，可以關(guān)注其他相關(guān)文章。

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：[email protected]進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，查實(shí)之后，將立刻刪除涉嫌侵權(quán)內(nèi)容。

猜你喜歡

• Mongoose是什么？如何使用？

  Mongoose是什么？如何使用？對(duì)于剛接觸MongoDB朋友來(lái)說(shuō)，可能對(duì)用戶Mongoose并不是很了解，這篇文章小編就給大家介紹一下Mongoose以及使用，感興趣的朋友可以了解一下。

• MongoDB中mongostat和mongotop如何實(shí)現(xiàn)監(jiān)控的

  MongoDB 監(jiān)控 在你已經(jīng)安裝部署并允許MongoDB服務(wù)后，你必須要了解MongoDB的運(yùn)行情況，并查看MongoDB的性能。這樣在大流量得情況下可以很好的應(yīng)對(duì)并保證MongoDB正常運(yùn)作。 MongoDB中提供了mongostat 和 mongotop 兩個(gè)命令來(lái)監(jiān)控MongoDB的運(yùn)行情況。 mongostat 命令 mongostat是mongodb自帶的狀態(tài)檢測(cè)工具，在命令行下使用。它會(huì)間隔固定時(shí)間獲取mongodb的..

• MongoDB remove()方法用來(lái)做什么，基本語(yǔ)法是怎樣

  MongoDB數(shù)據(jù)庫(kù)remove()方法的作用：1、刪除整個(gè)集合中的所有數(shù)據(jù)；2、刪除集合中符合過(guò)濾條件的數(shù)據(jù)；3、刪除符合條件的一條記錄。

• MongoDB數(shù)據(jù)庫(kù)中查文件大小的命令是什么

  ?讀取mongodb數(shù)據(jù)庫(kù)文件大小的方法：先使用“use databasename”命令選擇數(shù)據(jù)庫(kù)，然后使用db.stats()命令即可查看數(shù)據(jù)庫(kù)文件大小。

• mongoDB中CRUD的使用你了解多少？一文帶你看懂CRUD

  文章主要給大家分享mongoDB中CRUD內(nèi)容，很多新手可能對(duì)于CRUD不是很了解，因此這篇文章就給大家深入講講CRUD，有這方面學(xué)習(xí)需要的的朋友可以參考一下。