MongoDB如何存储数据

发布时间：2023-12-31 06:50:44 所属栏目：系统来源：DaWei

导读： 很多朋友对于mongodb数据库是比较陌生，关于mongodb是如何存储数据的也不是很了解，对此下面就给大家介绍关于mongodb实现存储数据的内容，感兴趣的朋友继续往下看。

想要深入了解MongoDB

很多朋友对于mongodb数据库是比较陌生，关于mongodb是如何存储数据的也不是很了解，对此下面就给大家介绍关于mongodb实现存储数据的内容，感兴趣的朋友继续往下看。

想要深入了解MongoDB如何存储数据之前，有一个概念必须清楚，那就是Memeory-Mapped Files。

Memeory-Mapped Files
内存映射文件是OS通过mmap在内存中创建一个数据文件，这样就把文件映射到一个虚拟内存的区域。
虚拟内存对于进程来说，是一个物理内存的抽象，寻址空间大小为2^64
操作系统通过mmap来把进程所需的所有数据映射到这个地址空间(红线)，然后再把当前需要处理的数据映射到物理内存(灰线)
当进程访问某个数据时，如果数据不在虚拟内存里，触发page fault，然后OS从硬盘里把数据加载进虚拟内存和物理内存
如果物理内存满了，触发swap-out操作，这时有些数据就需要写回磁盘，如果是纯粹的内存数据，写回swap分区，如果不是就写回磁盘。

MongoDB的存储模型
有了内存映射文件，要访问的数据就好像都在内存里面，简单化了MongoDB访问和修改数据的逻辑
MongoDB读写都只是和虚拟内存打交道，剩下都交给OS打理
虚拟内存大小=所有文件大小+其他一些开销(连接，堆栈)
如果journal开启，虚拟内存大小差不多翻番
使用MMF的好处1：不用自己管理内存和磁盘调度2：LRU策略3：重启过程中，Cache依然在。
使用MMF的坏处1：RAM使用会受磁盘碎片的影响，高预读也会影响2：无法自己优化调度算法，只能使用LRU

磁盘上的文件是有extent构成，分配集合空间的时候也是以extent为单位进行分配的
一个集合有一个或者多个etent
ns文件里面命名空间记录指向那个集合的第一个extent

数据文件与空间分配
当创建数据库时(其实MongoDB没有显式创建数据库的方法，在向数据库中的集合写入数据时会自动创建该数据库)，MongoDB会在磁盘上分配一组数据文件，所有集合，索引和数据库的其他元数据都保存在这些文件里。数据文件被放在启动时指定的dbpath里，默认放入/data/db下面。典型的一个文件组织结构如下：

$ cat /data/db
$ ls -al
-rw------- 1 root root 16777216 09-18 00:54 local.ns
-rw------- 1 root root 67108864 09-18 00:54 local.0
-rw------- 1 root root 2146435072 09-18 00:55 local.1
-rw------- 1 root root 2146435072 09-18 00:56 local.2
-rw------- 1 root root 2146435072 09-18 00:57 local.3
-rw------- 1 root root 2146435072 09-18 00:58 local.4
-rw------- 1 root root 2146435072 09-18 00:59 local.5
-rw------- 1 root root 2146435072 09-18 01:01 local.6
-rw------- 1 root root 2146435072 09-18 01:02 local.7
-rw------- 1 root root 2146435072 09-18 01:03 local.8
-rw------- 1 root root 2146435072 09-18 01:04 local.9
-rw------- 1 root root 2146435072 09-18 01:05 local.10
-rw------- 1 root root 16777216 09-18 01:06 test.ns
-rw------- 1 root root 67108864 09-18 01:06 test.0
-rw------- 1 root root 134217728 09-18 01:06 test.1
-rw------- 1 root root 268435456 09-18 01:06 test.2
-rw------- 1 root root 536870912 09-18 01:06 test.3
-rw------- 1 root root 1073741824 09-18 01:07 test.4
-rw------- 1 root root 2146435072 09-18 01:07 test.5
-rw------- 1 root root 2146435072 09-18 01:09 test.6
-rw------- 1 root root 2146435072 09-18 01:11 test.7
-rw------- 1 root root 2146435072 09-18 01:13 test.8
...
-rwxr-xr-x 1 root root 6 09-18 13:54 mongod.lock
drwxr-xr-x 2 root root 4096 11-13 18:39 journal
drwxr-xr-x 2 root root 4096 11-13 19:02 _tmp

mongod.lock中存储了服务器的进程ID，是一个进程锁定文件。数据文件是依据所属的数据库命名的。

test.ns是第一个生成的文件(ns扩展名就是namespace的意思)，数据库中的每个集合和索引都有自己的命名空间，每个命名空间的元数据都存放在这个文件里。默认情况下，.ns文件大小固定在16MB，大约可以存储24000个命名空间。也就是说数据库中的索引和集合总数不能超过24000，该值可以通过mongod的�Cnssize选项进行定制。

像test.0这样以0开始的整数结尾的文件就是集合和索引数据文件。刚开始的时候，即使只有一条数据，MongoDB也会预分配几个文件，这种预分配的做法，能让数据尽可能连续存储，减少磁盘碎片。在像数据库添加数据时，MongoDB会分配更多的数据文件。每个新数据文件的大小都是上一个已分配文件的两倍(64M->128M->256M)，直到预分配文件大小的上限2G。此处基于一个假设，如果总数据大小呈恒定速率增长，应该逐渐增加数据文件分配的空间。当然这个预分配策略也是可以通过�Cnoprealloc关掉，但是不建议在production环境下使用。

现在大家对于mongodb是如何存储数据的应该都有所了解了，希望大家阅读完这篇文章能有所收获，想要了解使用mongodb技巧的，大家可以继续关注其他文章。

（编辑：天瑞地安资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!