MongoDB 聚合查詢詳解，與 mysql 聚合類比有什么不同
MongoDB 聚合查詢
什么是聚合查詢
聚合操作主要用于處理數(shù)據(jù)并返回計算結(jié)果。聚合操作將來自多個文檔的值組合在一起，按條件分組后，再進行一系列操作（如求和、平均值、最大值、最小值）以返回單個結(jié)果。
MongoDB 的聚合查詢
? 聚合是 MongoDB 的高級查詢語言，它允許我們通過轉(zhuǎn)化合并由多個文檔的數(shù)據(jù)來生成新的在單個文檔里不存在的文檔信息。MongoDB 中聚合 (aggregate) 主要用于處理數(shù)據(jù)（例如分組統(tǒng)計平均值、求和、最大值等），并返回計算后的數(shù)據(jù)結(jié)果，有點類似 sql 語句中的 count (*)、group by。
? 在 MongoDB 中，有兩種方式計算聚合：Pipeline 和 MapReduce。Pipeline 查詢速度快于 MapReduce，但是 MapReduce 的強大之處在于能夠在多臺 Server 上并行執(zhí)行復(fù)雜的聚合邏輯。MongoDB 不允許 Pipeline 的單個聚合操作占用過多的系統(tǒng)內(nèi)存。
聚合管道方法
MongoDB 的聚合框架就是將文檔輸入處理管道，在管道內(nèi)完成對文檔的操作，最終將文檔轉(zhuǎn)換為聚合結(jié)果，MongoDB 的聚合管道將 MongoDB 文檔在一個管道處理完畢后將結(jié)果傳遞給下一個管道處理，管道操作是可以重復(fù)的。
? 最基本的管道階段提供過濾器，其操作類似查詢和文檔轉(zhuǎn)換，可以修改輸出文檔的形式。其他管道操作提供了按特定字段對文檔進行分組和排序的工具，以及用于聚合數(shù)組內(nèi)容（包括文檔數(shù)組）的工具。
? 此外，在管道階段還可以使用運算符來執(zhí)行諸如計算平均值或連接字符串之類的任務(wù)。聚合管道可以在分片集合上運行。
聚合流程
db.collection.aggregate () 是基于數(shù)據(jù)處理的聚合管道，每個文檔通過一個由多個階段（stage）組成的管道，可以對每個階段的管道進行分組、過濾等功能，然后經(jīng)過一系列的處理，輸出相應(yīng)的結(jié)果。
聚合管道方法的流程參見下圖
上圖的聚合操作相當(dāng)于 MySQL 中的以下語句：
select cust_id as _id, sum(amount) as total from orders where status like "%A%" group by cust_id;
詳細流程
db.collection.aggregate()?可以用多個構(gòu)件創(chuàng)建一個管道，對于一連串的文檔進行處理。這些構(gòu)件包括：篩選操作的?match、映射操作的?project、分組操作的?group、排序操作的?sort、限制操作的?limit、和跳過操作的?skip。db.collection.aggregate()?使用了 MongoDB 內(nèi)置的原生操作，聚合效率非常高，支持類似于 SQL Group By 操作的功能，而不再需要用戶編寫自定義的 javaScript 例程。- 每個階段管道限制為 100MB 的內(nèi)存。如果一個節(jié)點管道超過這個極限，MongoDB 將產(chǎn)生一個錯誤。為了能夠在處理大型數(shù)據(jù)集，可以設(shè)置?
allowDiskUse?為?true?來在聚合管道節(jié)點把數(shù)據(jù)寫入臨時文件。這樣就可以解決 100MB 的內(nèi)存的限制。 db.collection.aggregate()?可以作用在分片集合，但結(jié)果不能輸在分片集合，MapReduce?可以 作用在分片集合，結(jié)果也可以輸在分片集合。db.collection.aggregate()?方法可以返回一個指針（cursor），數(shù)據(jù)放在內(nèi)存中，直接操作。跟 Mongo shell 一樣指針操作。db.collection.aggregate()?輸出的結(jié)果只能保存在一個文檔中，BSON Document?大小限制為 16M。可以通過返回指針解決，版本 2.6 中：DB.collect.aggregate()?方法返回一個指針，可以返回任何結(jié)果集的大小。
聚合語法
db.collection.aggregate(pipeline, options)
參數(shù)說明
注意事項
? 使用 db.collection.aggregate () 直接查詢會提示錯誤，但是傳一個空數(shù)組如 db.collection.aggregate ([]) 則不會報錯，且會和 find 一樣返回所有文檔。
常用聚合管道
與 mysql 聚合類比
為了便于理解，先將常見的 mongo 的聚合操作和 mysql 的查詢做下類比
$count
返回包含輸入到 stage 的文檔的計數(shù)，理解為返回與表或視圖的 find () 查詢匹配的文檔的計數(shù)。db.collection.count () 方法不執(zhí)行 find () 操作，而是計數(shù)并返回與查詢匹配的結(jié)果數(shù)。
語法
{ $count: }
$count 階段相當(dāng)于下面 $group+$project 的序列：
db.collection.aggregate([
{
"$group": {
"_id": null,
"count": {// 這里count自定義，相當(dāng)于mysql的select count(*) as tables
"$sum": 1
}
}
},
{
"$project": {// 返回不顯示_id字段
"_id": 0
}
}
])
示例
查詢?nèi)藬?shù)是?
100000?以上的城市的數(shù)量
- $match：階段排除 pop 小于等于 100000 的文檔，將大于 100000 的文檔傳到下個階段
- $count：階段返回聚合管道中剩余文檔的計數(shù)，并將該值分配給名為?
count?的字段。
db.zips.aggregate([
{
"$match": {
"pop": {
"$gt": 100000
}
}
},
{
"$count": "count"
}
])
$group
按指定的表達式對文檔進行分組，并將每個不同分組的文檔輸出到下一個階段。輸出文檔包含一個_id 字段，該字段按鍵包含不同的組。
? 輸出文檔還可以包含計算字段，該字段保存由 $group 的_id 字段分組的一些 accumulator 表達式的值。 $group 不會輸出具體的文檔而只是統(tǒng)計信息。
語法
{ $group: { _id: <expression>, <field1>: { <accumulator1> : <expression1> }, ... } }
_id?字段是必填的；但是，可以指定_id 值為 null 來為整個輸入文檔計算累計值。- 剩余的計算字段是可選的，并使用?
_id?和?
accumulator 操作符
$group 階段的內(nèi)存限制為 100M，默認情況下，如果 stage 超過此限制，$group 將產(chǎn)生錯誤，但是，要允許處理大型數(shù)據(jù)集，請將 allowDiskUse 選項設(shè)置為 true 以啟用 $group 操作以寫入臨時文件。
注意：
- "$addToSet":expr，如果當(dāng)前數(shù)組中不包含 expr，那就將它添加到數(shù)組中。
- "$push":expr，不管 expr 是什么值，都將它添加到數(shù)組中，返回包含所有值的數(shù)組。
示例
按照?
state?分組，并計算每一個 state 分組的總?cè)藬?shù)，平均人數(shù)以及每個分組的數(shù)量
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"totalPop": {
"$sum": "$pop"
},
"avglPop": {
"$avg": "$pop"
},
"count": {
"$sum": 1
}
}
}
])
查找不重復(fù)的所有的?
state?的值
db.zips.aggregate([
{
"$group": {
"_id": "$state"
}
}
])
按照?
city?分組，并且分組內(nèi)的?state?字段列表加入到?stateItem?并顯示
db.zips.aggregate([
{
"$group": {
"_id": "$city",
"stateItem": {
"$push": "$state"
}
}
}
])
下面聚合操作使用系統(tǒng)變量 $$ROOT 按 item 對文檔進行分組，生成的文檔不得超過 BSON 文檔大小限制
db.zips.aggregate([
{
"$group": {
"_id": "$city",
"item": {
"$push": "$$ROOT"
}
}
}
]).pretty();
$match
過濾文檔，僅將符合指定條件的文檔傳遞到下一個管道階段。
$match 接受一個指定查詢條件的文檔，查詢語法與讀操作查詢語法相同。
語法
{ $match: { } }
管道優(yōu)化
? $match 用于對文檔進行篩選，之后可以在得到的文檔子集上做聚合，$match 可以使用除了地理空間之外的所有常規(guī)查詢操作符，在實際應(yīng)用中盡可能將 $match 放在管道的前面位置。這樣有兩個好處：
- 一是可以快速將不需要的文檔過濾掉，以減少管道的工作量；
- 二是如果再投射和分組之前執(zhí)行 $match，查詢可以使用索引。
使用限制
- 不能在?
$match?查詢中使用?$?作為聚合管道的一部分。 - 要在?
$match?階段使用?$text，$match?階段必須是管道的第一階段。 - 視圖不支持文本搜索。
示例
使用 $match 做簡單的匹配查詢，查詢縮寫是?
NY?的城市數(shù)據(jù)
db.zips.aggregate([
{
"$match": {
"state": "NY"
}
}
]).pretty();
使用 $match 管道選擇要處理的文檔，然后將結(jié)果輸出到 $group 管道以計算文檔的計數(shù)
db.zips.aggregate([
{
"$match": {
"state": "NY"
}
},
{
"$group": {
"_id": null,
"sum": {
"$sum": "$pop"
},
"avg": {
"$avg": "$pop"
},
"count": {
"$sum": 1
}
}
}
]).pretty();
$unwind
從輸入文檔解構(gòu)數(shù)組字段以輸出每個元素的文檔，簡單說就是 可以將數(shù)組拆分為單獨的文檔。
語法
要指定字段路徑，在字段名稱前加上 $ 符并用引號括起來。
{ $unwind: }
v3.2 + 支持如下語法
{
$unwind:
{
path: ,
#可選,一個新字段的名稱用于存放元素的數(shù)組索引。該名稱不能以$開頭。
includeArrayIndex: ,
#可選，default :false，若為true,如果路徑為空，缺少或為空數(shù)組，則$unwind輸出文檔
preserveNullAndEmptyArrays:
}
}
? 如果為輸入文檔中不存在的字段指定路徑，或者該字段為空數(shù)組，則 $unwind 默認會忽略輸入文檔，并且不會輸出該輸入文檔的文檔。
版本 3.2 中的新功能：要輸出數(shù)組字段丟失的文檔，null 或空數(shù)組，請使用選項 preserveNullAndEmptyArrays。
示例
以下聚合使用 $unwind 為 loc 數(shù)組中的每個元素輸出一個文檔：
db.zips.aggregate([
{
"$match": {
"_id": "01002"
}
},
{
"$unwind": "$loc"
}
]).pretty();
$project
$project 可以從文檔中選擇想要的字段，和不想要的字段（指定的字段可以是來自輸入文檔或新計算字段的現(xiàn)有字段），也可以通過管道表達式進行一些復(fù)雜的操作，例如數(shù)學(xué)操作，日期操作，字符串操作，邏輯操作。
語法
$project 管道符的作用是選擇字段（指定字段，添加字段，不顯示字段，_id：0，排除字段等），重命名字段，派生字段。
{ $project: { s)> } }
specifications 有以下形式：
<1 or true>?是否包含該字段，field:1/0，表示選擇 / 不選擇 field
_id:?<0 or false>?是否指定_id 字段
<0 or false>?v3.4 新增功能，指定排除字段
- 默認情況下，_id 字段包含在輸出文檔中。要在輸出文檔中包含輸入文檔中的任何其他字段，必須明確指定 $project 中的包含。 如果指定包含文檔中不存在的字段，$project 將忽略該字段包含，并且不會將該字段添加到文檔中。
- 默認情況下，_id 字段包含在輸出文檔中。要從輸出文檔中排除_id 字段，必須明確指定 $project 中的_id 字段為 0。
- v3.4 版新增功能 - 如果指定排除一個或多個字段，則所有其他字段將在輸出文檔中返回。 如果指定排除_id 以外的字段，則不能使用任何其他 $project 規(guī)范表單：即，如果排除字段，則不能指定包含字段，重置現(xiàn)有字段的值或添加新字段。此限制不適用于使用 REMOVE 變量條件排除字段。
- v3.6 版本中的新功能 - 從 MongoDB 3.6 開始，可以在聚合表達式中使用變量 REMOVE 來有條件地禁止一個字段。
- 要添加新字段或重置現(xiàn)有字段的值，請指定字段名稱并將其值設(shè)置為某個表達式。
- 要將字段值直接設(shè)置為數(shù)字或布爾文本，而不是將字段設(shè)置為解析為文字的表達式，請使用 $literal 操作符。否則，$project 會將數(shù)字或布爾文字視為包含或排除該字段的標(biāo)志。
- 通過指定新字段并將其值設(shè)置為現(xiàn)有字段的字段路徑，可以有效地重命名字段。
- 從 MongoDB 3.2 開始，$project 階段支持使用方括號 [] 直接創(chuàng)建新的數(shù)組字段。如果數(shù)組規(guī)范包含文檔中不存在的字段，則該操作會將空值替換為該字段的值。
- 在版本 3.4 中更改 - 如果 $project 是一個空文檔，MongoDB 3.4 和更高版本會產(chǎn)生一個錯誤。
- 投影或添加 / 重置嵌入文檔中的字段時，可以使用點符號
示例
以下 $project 階段的輸出文檔中只包含_id，city 和 state 字段
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1
}
}
]).pretty();
_id?字段默認包含在內(nèi)。要從 $ project 階段的輸出文檔中排除_id?字段，請在 project 文檔中將_id?字段設(shè)置為 0 來指定排除_id 字段。
db.zips.aggregate([
{
"$project": {
"_id": 0,
"city": 1,
"state": 1
}
}
]).pretty();
以下 $ project 階段從輸出中排除 loc 字段
db.zips.aggregate([
{
"$project": {
"loc": 0
}
}
]).pretty();
可以在聚合表達式中使用變量 REMOVE 來有條件地禁止一個字段，
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": "$$REMOVE",
"else": "$loc"
}
}
}
}
]).pretty();
我們還可以改變數(shù)據(jù)，將人數(shù)大于 1000 的城市坐標(biāo)重置為 0
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": [
0,
0
],
"else": "$loc"
}
}
}
}
]).pretty();
新增字段列
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"desc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": "人數(shù)過多",
"else": "人數(shù)過少"
}
},
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": [
0,
0
],
"else": "$loc"
}
}
}
}
]).pretty();
$limit
限制傳遞到管道中下一階段的文檔數(shù)
語法
{ $limit: integer> }
示例，此操作僅返回管道傳遞給它的前 5 個文檔。 $limit 對其傳遞的文檔內(nèi)容沒有影響。
db.zips.aggregate({
"$limit": 5
});
注意
? 當(dāng) $sort 在管道中的 $limit 之前立即出現(xiàn)時，$sort 操作只會在過程中維持前 n 個結(jié)果，其中 n 是指定的限制，而 MongoDB 只需要將 n 個項存儲在內(nèi)存中。當(dāng) allowDiskUse 為 true 并且 n 個項目超過聚合內(nèi)存限制時，此優(yōu)化仍然適用。
$skip
跳過進入 stage 的指定數(shù)量的文檔，并將其余文檔傳遞到管道中的下一個階段
語法
{ $skip: integer> }
示例，此操作將跳過管道傳遞給它的前 5 個文檔， $skip 對沿著管道傳遞的文檔的內(nèi)容沒有影響。
db.zips.aggregate({
"$skip": 5
});
$sort
對所有輸入文檔進行排序，并按排序順序?qū)⑺鼈兎祷氐焦艿馈?/p>
語法
{ $sort: { <field1>: <sort order>, <field2>: <sort order> ... } }
$sort 指定要排序的字段和相應(yīng)的排序順序的文檔。?
?可以具有以下值之一：
- 1 指定升序。
- -1 指定降序。
- {$meta：“textScore”} 按照降序排列計算出的 textScore 元數(shù)據(jù)。
示例
要對字段進行排序，請將排序順序設(shè)置為 1 或 - 1，以分別指定升序或降序排序，如下例所示：
db.zips.aggregate([
{
"$sort": {
"pop": -1,
"city": 1
}
}
])
$sortByCount
根據(jù)指定表達式的值對傳入文檔分組，然后計算每個不同組中文檔的數(shù)量。每個輸出文檔都包含兩個字段：包含不同分組值的_id 字段和包含屬于該分組或類別的文檔數(shù)的計數(shù)字段，文件按降序排列。
語法
{ $sortByCount: }
使用示例
下面舉了一些常用的 mongo 聚合例子和 mysql 對比，假設(shè)有一條如下的數(shù)據(jù)庫記錄（表名：zips）作為例子：
統(tǒng)計所有數(shù)據(jù)
SQL 的語法格式如下
select count(1) from zips;
mongoDB 的語法格式
db.zips.aggregate([
{
"$group": {
"_id": null,
"count": {
"$sum": 1
}
}
}
])
對所有城市人數(shù)求合
SQL 的語法格式如下
select sum(pop) AS tota from zips;
mongoDB 的語法格式
db.zips.aggregate([
{
"$group": {
"_id": null,
"total": {
"$sum": "$pop"
}
}
}
])
對城市縮寫相同的城市人數(shù)求合
SQL 的語法格式如下
select state,sum(pop) AS tota from zips group by state;
mongoDB 的語法格式
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": "$pop"
}
}
}
])
state 重復(fù)的城市個數(shù)
SQL 的語法格式如下
select state,count(1) AS total from zips group by state;
mongoDB 的語法格式
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": 1
}
}
}
])
state 重復(fù)個數(shù)大于 100 的城市
SQL 的語法格式如下
select state,count(1) AS total from zips group by state having count(1)>100;
mongoDB 的語法格式
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": 1
}
}
},
{
"$match": {
"total": {
"$gt": 100
}
}
}
])
作者：博學(xué)谷狂野架構(gòu)師
版權(quán)聲明：
本站所有文章和圖片均來自用戶分享和網(wǎng)絡(luò)收集，文章和圖片版權(quán)歸原作者及原出處所有，僅供學(xué)習(xí)與參考，請勿用于商業(yè)用途，如果損害了您的權(quán)利，請聯(lián)系網(wǎng)站客服處理。
