左璞凡的博客

日出之美便在于它脱胎于最深的黑暗

0%

MongoDB

Posted on In , ,

[MongoDB]

MongoDB相关概念

业务应用场景

传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。

解释：“三高”需求：

  • High performance - 对数据库高并发读写的需求。
  • Huge Storage - 对海量数据的高效率存储和访问的需求。
  • High Scalability && High Availability- 对数据库的高可扩展性和高可用性的需求。

而MongoDB可应对“三高”需求。

数据操作特点

  1. 数据量大
  2. 写入操作频繁
  3. 价值较低的数据,对事务性要求不高

什么时候选择MongoDB

在架构选型上，除了上述的三个特点外，如果你还犹豫是否要选择它？可以考虑以下的一些问题：

应用不需要事务及复杂 join 支持

新应用，需求会变，数据模型无法确定，想快速迭代开发

应用需要2000-3000以上的读写QPS（更高也可以）

应用需要TB甚至 PB 级别数据存储

应用发展迅速，需要能快速水平扩展

应用要求存储的数据不丢失

应用需要99.999%高可用

应用需要大量的地理位置查询、文本查询

如果上述有1个符合，可以考虑 MongoDB，2个及以上的符合，选择 MongoDB 绝不会后悔。

体系结构

MongoDB是NoSQL数据库产品中的一种。是最像关系型数据库（MySQL）的非关系型数据库。

它支持的数据结构非常松散，是一种类似于 JSON 的 格式叫BSON，所以它既可以存储比较复杂的数据类型，又相当的灵活。

MongoDB中的记录是一个文档，它是一个由字段和值对（fifield:value）组成的数据结构。MongoDB文档类似于JSON对象，即一个文档认为就是一个对象。字段的数据类型是字符型，它的值除了使用基本的一些类型外，还可以包括其他文档、普通数组和文档数组。

SQL术语/概念 MongoDB术语/概念 解释/说明
database database 数据库
table collection 数据库表/集合
row document 数据记录行/文档
column fifield 数据字段/域
index index 索引
table joins 表连接,MongoDB不支持
嵌入文档 MongoDB通过嵌入式文档来替代多表连接
primary key primary key 主键,MongoDB自动将_id字段设置为主键

数据模型

MongoDB的最小存储单位就是文档(document)对象。文档(document)对象对应于关系型数据库的行。数据在MongoDB中以BSON（Binary-JSON）文档的格式存储在磁盘上。

BSON（Binary Serialized Document Format）是一种类json的一种二进制形式的存储格式，简称Binary JSON。BSON和JSON一样，支持内嵌的文档对象和数组对象，但是BSON有JSON没有的一些数据类型，如Date和BinData类型。

BSON采用了类似于 C 语言结构体的名称、对表示方法，支持内嵌的文档对象和数组对象，具有轻量性、可遍历性、高效性的三个特点，可以有效描述非结构化数据和结构化数据。这种格式的优点是灵活性高，但它的缺点是空间利用率不是很理想。

数据类型 描述 举例
字符串 UTF-8字符串都可表示为字符串类型的数据 {“x” : “foobar”}
对象id 对象id是文档的12字节的唯一 ID {“X” :ObjectId() }
布尔值 真或者假：true或者false {“x”:true}+
数组 值的集合或者列表可以表示成数组 {“x” ： [“a”, “b”, “c”]}
32位,64位整数 没有该类型,统一存为浮点
64位浮点数 shell中的数字就是这一种类型 {“x”：3.14159，”y”：3}
null 表示空值或者未定义的对象 {“x”:null}
undefined 文档中也可以使用未定义类型 {“x”:undefifined}
符号 不支持，shell会将数据库中的符号类型的数据自动转换成字符串
正则表达式 文档中可以包含正则表达式，采用JavaScript的正则表达式语法 {“x” ： /foobar/i}
代码 文档中还可以包含JavaScript代码 {“x” ： function() { /* …… */ }}
二进制数据 无法使用
最大/最小值 BSON包括一个特殊类型，表示可能的最大值。shell中没有这个类型。

MongoDB的特点

  • 高性能
  • 高可用性
  • 高扩展性
  • 丰富的查询支持
  • 动态模式等

单机部署启动

1
mongod --dbpath=..\data\db

基本命令

数据库操作

选择和创建数据库

1
2
3
4
5
6
7
8
9
#选择和创建
use 数据库名称 （若不存在则自动创建）

#查看有权限查看的所有的数据库命令
show dbs
show databases

#查看当前正在使用的数据库命令
db

Tips：

  • 在 MongoDB 中，集合只有在内容插入后才会创建。 就是说，创建集合(数据表)后要再插入一个文档(记录)，集合才会真正创建。
  • MongoDB 中默认的数据库为 test，如果你没有选择数据库，集合将存放在 test 数据库中。
  • 有一些数据库名是保留的，可以直接访问这些有特殊作用的数据库。
    • admin： 从权限的角度来看，这是”root”数据库。要是将一个用户添加到这个数据库，这个用户自动继承所有数据库的权限。一些特定的服务器端命令也只能从这个数据库运行，比如列出所有的数据库或者关闭服务器。
    • local: 这个数据永远不会被复制，可以用来存储限于本地单台服务器的任意集合
    • config: 当Mongo用于分片设置时，config数据库在内部使用，用于保存分片的相关信

数据库删除

1
2
#删除语法 
db.dropDatabase()

Tips:主要用来删除已经持久化的数据库

集合创建&删除

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#集合的显式创建(了解)
db.createCollection(名称)

#查看当前库中的表
show tables
show collections

#集合的隐式创建
#当向一个集合中插入一个文档的时候，如果集合不存在，则会自动创建集合。
#通常使用隐式创建文档

#集合的删除
db.collection.drop()
db.name.drop()
#如果成功删除选定集合，则 drop() 方法返回 true，否则返回 false

文档基本CRUD

文档的插入

1
2
3
4
5
6
7
8
#单个文档插入
db.collection.insert(
  <document or array of documents>,
  { 
    writeConcern: <document>,
    ordered: <boolean> 
  } 
)
Parameter Type Description
document document or array 要插入到集合中的文档或文档数组。（(json格式）
writeConcern ducument Optional.
ordered Boolean 默认为true

Tips

  • comment集合如果不存在，则会隐式创建
  • mongo中的数字，默认情况下是double类型，如果要存整型，必须使用函数NumberInt(整型数字)，否则取出来就有问题了
  • 插入当前日期使用 new Date()
  • 插入的数据没有指定 _id ，会自动生成主键值
  • 如果某字段没值，可以赋值为null，或不写该字段。
1
2
3
4
5
6
7
8
#批量插入
db.collection.insertMany(
	[ <document 1>, <document 2>, ...],
	{
		writeConcern: <document>,
		ordered: <boolean>
	}
)
Parameter Type Description
document document or array 要插入到集合中的文档或文档数组。（(json格式）
writeConcern ducument Optional.
ordered Boolean 默认为true

Tips

插入时指定了 _id ，则主键就是该值。

如果某条数据插入失败，将会终止插入，但已经插入成功的数据不会回滚掉。

因为批量插入由于数据较多容易出现失败，因此，可以使用try catch进行异常捕捉处理，测试的时候可以不处理。

文档的查询

1
2
#查询所有
db.collection.find(<query>, [projection])
Parameter Type Description
query document 可选。使用查询运算符指定选择筛选器。若要返回集合中的所有文档，请省略此参数或传递空文档( {} )
projection ducument 可选。指定要在与查询筛选器匹配的文档中返回的字段（投影）。若要返回匹配文档中的所有字段，

文档的更新

1
2
3
4
5
6
7
8
9
10
db.collection.update(query, update, options) //或 db.collection.update( 
	<query>, <update>, 
	{ 
		upsert: <boolean>,
        multi: <boolean>,
        writeConcern: <document>,
        collation: <document>, 
        arrayFilters: [ <filterdocument1>, ... ], 			hint: <document|string>
    }
)
Parameter Type Description
query document 更新的选择条件。
updata ducument or pipeline 要应用的修改。
upsert bool 如果设置为true，则在没有与查询条件匹配的文档时创建新文档。默认值为false，如果找不到匹配项，则不会插入新文档。
multi bool 如果设置为true，则更新符合查询条件的多个文档。如果设置为false，则更新一个文档。默认值为false。
writeConcern document 可选。表示写问题的文档。抛出异常的级别。
collation document 可选。指定要用于操作的校对规则。
arrayFilters array 可选。一个筛选文档数组，用于确定要为数组字段上的更新操作修改哪些数组元素。
hint docum or string 可选。指定用于支持查询谓词的索引的文档或字符串。 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
#覆盖修改
db.comment.update({_id:"1"},{likenum:NumberInt(1001)}))

#局部修改
db.comment.update({_id:"2"},{$set:{likenum:NumberInt(889)}})

#默认只修改第一条数据 
db.comment.update({userid:"1003"},{$set:{nickname:"凯撒2"}}) 
#修改所有符合条件的数据 
db.comment.update({userid:"1003"},{$set:{nickname:"凯撒大帝"}},{multi:true})

#列值增长的修改
#如果我们想实现对某列值在原有值的基础上进行增加或减少，可以使用 $inc 运算符来实现。
db.comment.update({_id:"3"},{$inc:{likenum:NumberInt(1)}})

文档的删除

1
2
3
db.name.remove(条件)
#全部删除(慎用)
db.comment.remove({})

文档的分页查询

1
2
#统计查询
db.collection.count(query, options)
Parameter Type Description
query document 查询的选择条件。
options ducument 可选。用于修改计数的额外选项。 
1
2
3
4
5
6
7
#分页列表查询
#可以使用limit()方法来读取指定数量的数据，使用skip()方法来跳过指定数量的数据。
db.COLLECTION_NAME.find().limit(NUMBER).skip(NUMBER)
#如果你想返回指定条数的记录，可以在find方法后调用limit来返回结果(TopN)，默认值20
db.comment.find().limit(3)
#skip方法同样接受一个数字参数作为跳过的记录条数。（前N个不要）,默认值是0
db.comment.find().skip(3)
1
2
3
4
#排序查询
#sort() 方法对数据进行排序，sort() 方法可以通过参数指定排序的字段，并使用 1 和 -1 来指定排序的方式，其中 1 为升序排列，而 -1 是用于降序排列。
db.COLLECTION_NAME.find().sort({KEY:1}) 
db.集合名称.find().sort(排序方式)

Tips

skip(), limilt(), sort()三个放在一起执行的时候，执行的顺序是先 sort(), 然后是 skip()，最后是显示的 limit()，和命令编写顺序无关。

条件操作符

MongoDB中条件操作符有：

  • (>) 大于 - $gt
  • (<) 小于 - $lt
  • (>=) 大于等于 - $gte
  • (<= ) 小于等于 - $lte

如果你想获取”col”集合中 “likes” 大于100，小于 200 的数据，你可以使用以下命令：

1
db.col.find({likes : {$lt :200, $gt : 100}})

$type操作符

MongoDB 中可以使用的类型如下表所示：

类型 数字 备注
Double 1
String 2
Object 3
Array 4
Binary data 5
Undefined 6 已废弃。
Object id 7
Boolean 8
Date 9
Null 10
Regular Expression 11
JavaScript 13
Symbol 14
JavaScript (with scope) 15
32-bit integer 16
Timestamp 17
64-bit integer 18
Min key 255 Query with -1.
Max key 127

如果想获取 “col” 集合中 title 为 String 的数据，你可以使用以下命令：

1
2
3
db.col.find({"title" : {$type : 2}})
或
db.col.find({"title" : {$type : 'string'}})

sort()方法

在 MongoDB 中使用 sort() 方法对数据进行排序，sort() 方法可以通过参数指定排序的字段，并使用 1 和 -1 来指定排序的方式，其中 1 为升序排列，而 -1 是用于降序排列。

语法

sort()方法基本语法如下所示：

1
>db.COLLECTION_NAME.find().sort({KEY:1})

实例演示了 col 集合中的数据按字段 likes 的降序排列：

1
2
3
4
5
>db.col.find({},{"title":1,_id:0}).sort({"likes":-1})
{ "title" : "PHP 教程" }
{ "title" : "Java 教程" }
{ "title" : "MongoDB 教程" }
>

索引-Index

索引的概述

索引支持在MongoDB中高效地执行查询。如果没有索引，MongoDB必须执行全集合扫描，即扫描集合中的每个文档，以选择与查询语句匹配的文档。这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。

如果查询存在适当的索引，MongoDB可以使用该索引限制必须检查的文档数。

索引是特殊的数据结构，它以易于遍历的形式存储集合数据集的一小部分。索引存储特定字段或一组字段的值，按字段值排序。索引项的排序支持有效的相等匹配和基于范围的查询操作。此外，MongoDB还可以使用索引中的排序返回排序结果。

索引的类型

单字段索引

MongoDB支持在文档的单个字段上创建用户定义的升序/降序索引，称为单字段索引（Single Field Index）。

对于单个字段索引和排序操作，索引键的排序顺序（即升序或降序）并不重要，因为MongoDB可以在任何方向上遍历索引。

复合索引

MongoDB还支持多个字段的用户定义索引，即复合索引（Compound Index）。

复合索引中列出的字段顺序具有重要意义。例如，如果复合索引由 { userid: 1, score: -1 } 组成，则索引首先按userid正序排序，然后在每个userid的值内，再在按score倒序排序。

其他索引

地理空间索引（Geospatial Index）、文本索引（Text Indexes）、哈希索引（Hashed Indexes）

索引的管理

1
2
#索引查看
db.collection.getIndexes()

默认_id索引：

MongoDB在创建集合的过程中，在 _id 字段上创建一个唯一的索引，默认名字为 _id ，该索引可防止客户端插入两个具有相同值的文档，您不能在_id字段上删除此索引。

注意：该索引是唯一索引，因此值不能重复，即 _id 值不能重复的。在分片集群中，通常使用 _id 作为片键。

1
2
#索引创建
db.collection.createIndex(keys, options)

参数详见文档

1
2
3
4
5
#索引移除
db.collection.dropIndex(index)

#移除所有索引
db.collection.dropIndexes()

Tips：

_id 的字段的索引是无法删除的，只能删除非 _id 字段的索引

索引的使用

执行计划

分析查询性能（Analyze Query Performance）通常使用执行计划（解释计划、Explain Plan）来查看查询的情况，如查询耗费的时间、是否基于索引查询等。

那么，通常，我们想知道，建立的索引是否有效，效果如何，都需要通过执行计划查看。

1
2
#语法
db.collection.find(query,options).explain(options)

涵盖的查询

当查询条件和查询的投影仅包含索引字段时，MongoDB直接从索引返回结果，而不扫描任何文档或将文档带入内存。 这些覆盖的查询可以非常有效。