加入收藏 | 设为首页 | 会员中心 | 我要投稿 天瑞地安资讯网 (https://www.52baoding.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 服务器 > 搭建环境 > Unix > 正文

深入剖析虚拟文件系统(VFS)

发布时间:2023-01-08 09:30:42 所属栏目:Unix 来源:互联网
导读: 1.前言
Linux 采用 Virtual Filesystem(VFS)的概念,通过内核在物理存储介质上的文件系统和用户之间建立起一个虚拟文件系统的软件抽象层,使得 Linux 能够支持目前绝大多数的文件系统,不

1.前言

Linux 采用 Virtual Filesystem(VFS)的概念,通过内核在物理存储介质上的文件系统和用户之间建立起一个虚拟文件系统的软件抽象层,使得 Linux 能够支持目前绝大多数的文件系统,不论它是 windows、unix 还是其他一些系统的文件系统,都可以挂载在 Linux 上供用户使用。

VFS,Virtual File System虚拟文件系统,也称为虚拟文件系统开关(Virtual Filesystem Switch),就是采用标准的Linux系统调用读写位于不同物理介质上的不同文件系统,即为各类文件系统提供了一个统一的操作界面和应用编程接口,VFS是一个内核软件层。

VFS是一个可以让open()、read()、write()等系统调用不用关心底层的存储介质和文件系统类型就可以工作的抽象层:

unix系统结构_unix 结构文件_unix系统

2.VFS结构

这里以Ext4文件系统示例

unix系统_unix系统结构_unix 结构文件

VFS中包含着向物理文件系统转换的一系列数据结构,如VFS超级块(Super Block)、VFS的Inode、各种操作函数的转换入口等。Linux中VFS依靠四个主要的数据结构来描述其结构信息,分别为超级块、索引结点、目录项和文件对象,这些数据结构大都会与磁盘上的对应上。

VFS对每种类型的对象都定义了一组必须实现的操作。这些类型的每一个对象都包含了一个指向函数表的指针。函数表列出了实际上实现特定对象的操作函数。

2.1 SuperBlock

SuperBlock 表示特定加载的文件系统,用于描述和维护文件系统的状态,由 VFS 定义,但里面的数据根据具体的文件系统填充。每个 SuperBlock 代表了一个具体的磁盘分区,里面包含了当前磁盘分区的信息,如文件系统类型、剩余空间等。SuperBlock 的一个重要成员是链表s_list,包含所有修改过的 INode,使用该链表很容易区分出来哪个文件被修改过,并配合内核线程将数据写回磁盘。SuperBlock 的另一个重要成员是s_op,定义了针对其 INode 的所有操作方法,例如标记、释放索引节点等一系列操作。

//?https://elixir.bootlin.com/linux/v6.0/source/include/linux/fs.h#L1451?结构体已删减
struct?super_block?{
????struct?list_head????s_list;???????????????//?指向链表的指针
????dev_t???????????????s_dev;????????????????//?设备标识符
????unsigned?long???????s_blocksize;??????????//?以字节为单位的块大小
????loff_t??????????????s_maxbytes;???????????//?文件大小上限
????struct?file_system_type????*s_type;???????//?文件系统类型
????const?struct?super_operations????*s_op;???//?SuperBlock?操作函数,write_inode、put_inode?等
????const?struct?dquot_operations????*dq_op;??//?磁盘限额函数
????struct?dentry????????*s_root;?????????????//?根目录
}

unix 结构文件_unix系统结构_unix系统

2.2 DEntry 和 INode

Linux文件系统会为每个文件都分配两个数据结构,目录项(DEntry, Directory Entry)和索引节点(INode, Index Node)。

DEntry 用来保存文件路径和 INode 之间的映射,从而支持在文件系统中移动。DEntry 由 VFS 维护,所有文件系统共享,不和具体的进程关联。dentry对象从根目录“/”开始,每个dentry对象都会持有自己的子目录和文件,这样就形成了文件树。举例来说,如果要访问**"/home/ccs/a.txt"文件并对它操作,系统会解析文件路径unix系统结构,首先从“/”根目录的dentry对象开始访问,然后找到"home/“目录,其次是“ccs/”,最后找到“a.txt”**的dentry结构体,该结构体里面d_inode字段就对应着该文件。

//?https://elixir.bootlin.com/linux/v6.0/source/include/linux/dcache.h#L81?结构体已删减
struct?dentry?{
????struct?dentry?*d_parent;?????//?父目录
????struct?qstr?d_name;??????????//?文件名称
????struct?inode?*d_inode;???????//?关联的?inode
????struct?list_head?d_child;????//?父目录中的子目录和文件
????struct?list_head?d_subdirs;??//?当前目录中的子目录和文件
}

unix 结构文件_unix系统结构_unix系统

每一个dentry对象都持有一个对应的inode对象,表示 Linux 中一个具体的目录项或文件。INode 包含管理文件系统中的对象所需的所有元数据,以及可以在该文件对象上执行的操作。

//?https://elixir.bootlin.com/linux/v6.0/source/include/linux/fs.h#L593?结构体已删减
struct?inode?{
????umode_t?????????????????i_mode;??????????//?文件权限及类型
????kuid_t??????????????????i_uid;???????????//?user?id
????kgid_t??????????????????i_gid;???????????//?group?id

????const?struct?inode_operations????*i_op;??//?inode?操作函数,如?create,mkdir,lookup,rename?等
????struct?super_block??????*i_sb;???????????//?所属的?SuperBlock

????loff_t??????????????????i_size;??????????//?文件大小
????struct?timespec?????????i_atime;?????????//?文件最后访问时间
????struct?timespec?????????i_mtime;?????????//?文件最后修改时间
????struct?timespec?????????i_ctime;?????????//?文件元数据最后修改时间(包括文件名称)
????const?struct?file_operations????*i_fop;??//?文件操作函数,open、write?等
????void????????????????????*i_private;??????//?文件系统的私有数据
}

虚拟文件系统维护了一个 DEntry Cache 缓存,用来保存最近使用的 DEntry,加速查询操作。当调用open()函数打开一个文件时,内核会第一时间根据文件路径到 DEntry Cache 里面寻找相应的 DEntry,找到了就直接构造一个file对象并返回。如果该文件不在缓存中,那么 VFS 会根据找到的最近目录一级一级地向下加载,直到找到相应的文件。期间 VFS 会缓存所有被加载生成的dentry。

INode 存储的数据存放在磁盘上,由具体的文件系统进行组织,当需要访问一个 INode 时,会由文件系统从磁盘上加载相应的数据并构造 INode。一个 INode 可能被多个 DEntry 所关联,即相当于为某一文件创建了多个文件路径(通常是为文件建立硬连接)。

对于inode结构而言,可能有三种主要情况:

unix系统结构_unix 结构文件_unix系统

2.3 fd 与 file

每个进程都持有一个fd[]数组,数组里面存放的是指向file结构体的指针,同一进程的不同fd可以指向同一个file对象;

file是内核中的数据结构,表示一个被进程打开的文件,和进程相关联。当应用程序调用open()函数的时候,VFS 就会创建相应的file对象。它会保存打开文件的状态,例如文件权限、路径、偏移量等等。

//?https://elixir.bootlin.com/linux/v6.0/source/include/linux/fs.h#L940?结构体已删减
struct?file?{
????struct?path???????????????????f_path;
????struct?inode??????????????????*f_inode;
????const?struct?file_operations??*f_op;
????unsigned?int??????????????????f_flags;
????fmode_t???????????????????????f_mode;
????loff_t????????????????????????f_pos;
????struct?fown_struct????????????f_owner;
}

//?https://elixir.bootlin.com/linux/v6.0/source/include/linux/path.h#L8
struct?path?{
????struct?vfsmount??*mnt;
????struct?dentry????*dentry;
}

3. 抽象层VFS到实现层文件系统3.1挂载

VFS可以管理各种文件系统,那么VFS和文件系统怎么关联的呢?给用户如何展示的呢?通过挂载。

如下图所示,该系统根文件系统是Ext3文件系统,而在其/mnt目录下面又分别挂载了Ext4文件系统和XFS文件系统。最后形成了一个由多个文件系统组成的文件系统树。

unix系统_unix 结构文件_unix系统结构

挂载是在用户态发起的命令,也就是我们使用的mount命令,该命令执行的时候需要指定文件系统的类型(这里假设是Ext2)和文件系统数据的位置(也就是device)。通过这些关键信息,VFS就可以完成Ext2文件系统的初始化,并将其关联到当前已经存在的文件系统当中,也就是建立起上面所示的文件系统树。

挂载的过程中,最重要的数据结构就是vfsmount,vfsmount代表的是一个挂载点。其次再是dentry和inode,这两个都是对文件的表示,且都会缓存在哈希表中以提高查找的效率。

其中inode是对磁盘上文件的唯一表示,其中包含文件的元数据(管理数据)和文件数据等内容,但不含文件名称。而dentry则是为了Linux内核中查找文件方便虚拟出来的一个数据结构,其中包含文件名称、子目录(如果存在的话)和关联的inode等信息。

dentry结构体最为关键,其维护了内核中的文件目录树。其中里面比较重要的几个结构体分别是d_name、d_hash和d_subdirs。其中d_name代表一个路径节点的名称(文件夹名称)、d_hash则用于构建哈希表,d_subdirs则是下级目录(或文件)的列表。这样,通过dentry就可以形成一个非常复杂的目录树。

3.2文件处理流程

文件处理流程包括两步:我们在访问一个文件之前首先要打开它(open)文件访问,然后进行文件的读写操作(read或者write)。

我们知道,在用户态打开一个文件返回的是一个文件描述符,其实也就是一个整数值;同时,访问文件也是通过这个文件描述符进行的。那么操作系统是怎么通过这个整数值实现不同类型文件系统的访问呢?不同文件系统的差异其实就是inode中初始化的函数指针的差异。

在Linux操作系统中,文件的打开必须要与进程(或者线程)关联,也就是说一个打开的文件必须隶属于某个进程。

在linux内核当中一个进程通过task_struct结构体描述,而打开的文件则用file结构体描述,打开文件的过程也就是对file结构体的初始化的过程。在打开文件的过程中会将inode部分关键信息填充到file中,特别是文件操作的函数指针。在task_struct中保存着一个file类型的数组,而用户态的文件描述符其实就是数组的下标。这样通过文件描述符就可以很容易到找到file,然后通过其中的函数指针访问数据。

我们以Ext2文件系统的写数据为例来看看文件处理流程和各个层级之间的关系,如下图。

unix 结构文件_unix系统结构_unix系统

在调用用户态的写数据接口的时候,需要传入文件描述符。内核根据文件描述符找到file,然后调用函数接口(file->f_op->write)文件磁盘数据。其中file结构体的f_op指针就是在打开文件的时候通过inode初始化的。

4.总结

虚拟文件系统是操作系统中非常重要的一层抽象,其主要作用在于让上层的软件,能够用统一的方式,与底层不同的文件系统沟通。在操作系统与底层的各类文件系统之间,虚拟文件系统提供了标准的操作接口,让操作系统能够很快地支持新的文件系统。也因为 VFS 的支持,众多不同的实际文件系统才能在 Linux 中共存,跨文件系统的操作才能实现。

附上一张各组件交互图吧

unix系统_unix 结构文件_unix系统结构

参考资料:

《深入理解Linux内核》第三版

《Linux 虚拟文件系统》

(编辑:天瑞地安资讯网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章