MongoDB如何查询实现 笛卡尔积,Union All 和Union 功能

此篇文章及以后的文章大部分都是从聚合管道(aggregation pipeline)的一些语法为基础讲解的,如果不理解聚合管道的话,可以先学习一下会比较容易理解.
可以参考 mongoDB Documentation 的 Pipeline Aggregaion Stages.

$lookup函数,
参照我们的官方例子,我们很容易就能理解$lookup函数的作用,相当于我们在sql里面的表联结,如:

select a.*,b.* from tableA a,tableB as b where a._id = b.tableAId;

在$lookup函数中,有以下参数为必填:

  • from: , //等价于上面的 tableB
  • localField: , // 等价于上面的 a._id
  • foreignField: , //等价于上面的 b.tableAId
  • as:  // 等价于上面as后面的 b

那么如何使用联结作用的函数来实现Union All 的作用呢?其实很简单,在上面的4个参数里面,localField 和 foreignField 是必填的,但是在mongo里面,我们可以填写一个无效的field(不存在表里面的field)来实现我们的效果

我们的测试数据如下:

  1.   tableA
  2.   {"_id":"1","type":"OPEN"}
  3.   {"_id":"2","type":"CLOSE"}
  4.   {"_id":"3","type":"REJECT"}
  5.   {"_id":"4","type":"REQUECT"}
  6.   tableB
  7.   {"_id":"1","type":"OPEN"}
  8.   {"_id":"2","type":"ISSUE"}
  9.   {"_id":"3","type":"VOID"}

1. 实现笛卡尔积

首先我们写的查询语句如下,将localField 和 foreignField随便填写一个String语句,只要是不在表里面存在的field即可

  1.   db.tableA.aggregate([
  2.   {
  3.   $lookup:{
  4.   from:"tableB",
  5.   localField:"invalidField",
  6.   foreignField:"testField",
  7.   as:"tableB"
  8.   }
  9.   }
  10.   ])

查询结果:

_idtypetableB
1 OPEN [3 elements]
1 CLOSE [3 elements]
1 REJECT [3 elements]
1 REQUEST [3 elements]

在MongoDB里面,field的判断是空等于空的,value的判断空是不等于空的. 两个等于空的field去比较,相当于 在sql 里面 where 1=1 的写法.

可以看到,我们tableA的每一条记录都匹配到了tableB的3个元素(所有数据),此时只要我们将tableB的记录 $unwind出来,就实现了笛卡尔积的效果了.

$unwind语法如下:

  1.   db.tableA.aggregate([
  2.   {
  3.   $lookup:{
  4.   from:"tableB",
  5.   localField:"invalidField",
  6.   foreignField:"testField",
  7.   as:"tableB"
  8.   }
  9.   },
  10.   {
  11.   $unwind:{
  12.   path:"$tableB"
  13.   }
  14.   },
  15.   {
  16.   $project:{
  17.   _id:1,
  18.   type:1,
  19.   tableBId:"$tableB._id",
  20.   tableBType:"$tableB.type"
  21.    
  22.   }
  23.   }
  24.   ])

等价于sql语句:

  1.   select a.id,a.type,b.id as tableId,b.type as tableBType from
  2.   tableA a,tableB b
  3.   where 1=1;

查询结果可以自行测试

2. 实现Union

在MongoDB里面,有一个$setUnion的函数,$setUnion函数被union的参数必需是数组,
在我们tableA lookup tableB之后返回来的结果,tableB已经是一个一个数组了,但是我们的tableA的type是一个字符串值,所以我们需要先将tableA的内容先转为数组,才能进行union.

All operands of $setUnion must be arrays.

将tableA里面的所有记录转为一个数组需要用到$gourp函数里面的$push功能.
查询语法如下:

  1.   db.tableA.aggregate([
  2.   {
  3.   $group:{
  4.   _id:"any",
  5.   tableA:{
  6.   $push: "$$ROOT"
  7.   }
  8.   }
  9.   }
  10.   ])

查询结果:

_idtableA
any [4 elements]

因为$gourp函数里面的_id属性是必选的,但是这里我们不用到,所以填任意字符串或者null都可以.使用$push之后,tableA的所有记录,都被push到了我们命名为tableA的数组里面,
此时我们在$lookup tableB看看结果如何.
查询语法如下:

  1.   db.tableA.aggregate([
  2.   {
  3.   $group:{
  4.   _id:"any",
  5.   typeArray:{
  6.   $push: "$$ROOT"
  7.   }
  8.   }
  9.   },
  10.   {
  11.   $lookup:{
  12.   from:"tableB",
  13.   localField:"invalidField",
  14.   foreignField:"testField",
  15.   as:"tableB"
  16.   }
  17.   }
  18.   ])

查询结果:

_idtableAtableB
any [4 elements] [3 elements]

可以看到,我们的tableA,和tableB的结果都变成了数组,此时我们已经可以使用$setUnion函数去实现我们的Union效果了

  1.   db.tableA.aggregate([
  2.   {
  3.   $group:{
  4.   _id:"any",
  5.   tableA:{
  6.   $push: "$$ROOT"
  7.   }
  8.   }
  9.   },
  10.   {
  11.   $lookup:{
  12.   from:"tableB",
  13.   localField:"invalidField",
  14.   foreignField:"testField",
  15.   as:"tableB"
  16.   }
  17.   },
  18.   {
  19.   $project:{
  20.   _id:0,
  21.   allValue:{
  22.   $setUnion:["$tableA","$tableB"]
  23.   }
  24.   }
  25.   }
  26.   ])

查询结果:

allValue
[6 elements]

此处只有6个元素在数组里面,已经把重复的去掉了,可以说我们的Union效果已经实现,之后在把结果用$unwind展开即可.
查询语法如下:

  1.   db.tableA.aggregate([
  2.   {
  3.   $group:{
  4.   _id:"any",
  5.   tableA:{
  6.   $push: "$$ROOT"
  7.   }
  8.   }
  9.   },
  10.   {
  11.   $lookup:{
  12.   from:"tableB",
  13.   localField:"invalidField",
  14.   foreignField:"testField",
  15.   as:"tableB"
  16.   }
  17.   },
  18.   {
  19.   $project:{
  20.   _id:0,
  21.   allValue:{
  22.   $setUnion:["$tableA","$tableB"]
  23.   }
  24.   }
  25.   },
  26.   {
  27.   $unwind:{
  28.   path:"$allValue"
  29.   }
  30.   },
  31.   {
  32.   $project:{
  33.   _id:0,
  34.   type:"$allValue.type"
  35.    
  36.   }
  37.   },
  38.    
  39.   ])

3. 实现Union All

实现Union All 的原理与union 的类似,我们可以在把tableA push 成一个数组前,新增一个field,或者只push type,那么在union的时候,因为table A 和 table B field 数量不一致,那么永远不会合并成一行,因为它们任意一行都是不一样的.
查询语法如下:

  1.   db.tableA.aggregate([
  2.   {
  3.   $group:{
  4.   _id:"any",
  5.   tableA:{
  6.   $push: {type:"$type"}
  7.   }
  8.   }
  9.   },
  10.   {
  11.   $lookup:{
  12.   from:"tableB",
  13.   localField:"invalidField",
  14.   foreignField:"testField",
  15.   as:"tableB"
  16.   }
  17.   },
  18.   {
  19.   $project:{
  20.   _id:0,
  21.   allValue:{
  22.   $setUnion:["$tableA","$tableB"]
  23.   }
  24.   }
  25.   },
  26.   {$unwind:"$allValue"},
  27.   {
  28.   $project:{
  29.   _id:0,
  30.   type:"$allValue.type"
  31.    
  32.   }
  33.   }
  34.   ])

Union All 的结果,可以通过group的方式去重来变成 Union 的效果. $group函数在此就不再细讲,可以参考官网.

总结

在我们的MongoDB官方文档里面介绍了一些函数的基本语法,但是功能方面比较Oracle等传统关系型数据库来说还是比较少的,因为一些如本文讲的Union等这些功能,只能根据现有的功能去实现.
而在官网和网上现有的资料里面,是没有实现Union这些功能的介绍的,因此写下了这篇文档



作者：yongaliang
链接：https://www.jianshu.com/p/17411eaa2370
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

mongodb

相关

MongoDB

MongoDB 数据类型

MongoDB 更新文档

MongoDB副本集的搭建

截至 2021-01-12 最新 MongoDB 服务器单台环境搭建参考

【代码周边】MongoDB与Mysql对比以及插入稳定性分析（指定主键的影响）

mongodb的时间范围操作

php开启mongodb扩展

初识 MongoDB 和 .NET Core 入门

Windows下使用WSRM限制MongoDB内存

ubuntu下部署mongodb以及设置允许远程连接

数据库系列整理---MongoDB

标签