容器的文件系统(二): 存储挂载原理

容器的存储卷

前两篇讲解了容器如何使用 OverlayFS，那么容器在运行时需要将数据持久化，或者容器内的数据能够进行共享等其他需求，就需要将容器里的文件或者目录与外界进行绑定。这里就涉及到容器的存储挂载，而容器的存储挂载并不是在容器启动时利用 OverlayFS 挂载实现的，Docker 为此实现了三种挂载类型：volume、bvind mount、tmpfs mount。

下图简单描述了三个挂载类型的区别：

容器使用 volume 和 bind mount 都可以将容器内的文件或者目录挂载宿主机上，但是 volume 可由 Docker 来管理，bind mount 是直接与 Linux 原生文件系统对接。tmpfs 与 volume、bind mount 不同的是 tmpfs 是将容器内的文件、目录挂载到内存中，不会将数据存放在文件系统中。下面详细看看这三种挂载类型的使用。

Volumes

使用 Volume 持久化数据，那么容器目录对应的宿主机目录是由 Docker 创建和管理的，且数据目录存放在 /var/lib/docker/volumes 下面。

单机 volume

下面通过示例讲解。

使用 volume 创建一个容器。-v or --volume volumeName:containerDataPath

1
2
3
4

$ docker run -d \
	  --name devtest \
	  -v myvol:/app \
	  nginx:latest

查看容器信息，可以发现挂载类型是 volume。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

$ docker inspect devtest

	"Mounts": [
	    {
	        "Type": "volume",
	        "Name": "myvol",
	        "Source": "/var/lib/docker/volumes/myvol/_data",
	        "Destination": "/app",
	        "Driver": "local",
	        "Mode": "",
	        "RW": true,
	        "Propagation": ""
	    }
	],

同时上面容器创建命令也会创建一个名称为 my-volume 的 volume，该 volume 表示容器数据对应的宿主机数据目录存储，存放在 /var/lib/docker/volumes

1
2
3

$ docker volume ls

	local               myvol

查看 volume 元数据，我们可以发现这里的 volume scope 是 local，也就是数据都是持久化在本地。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

$ docker volume inspect myvol
	[
	    {
	        "Driver": "local",
	        "Labels": {},
	        "Mountpoint": "/var/lib/docker/volumes/myvol/_data",
	        "Name": "myvol",
	        "Options": {},
	        "Scope": "local"
	    }
	]

volume 不仅仅可以实现单机容器的数据的持久化，同样也可以实现跨节点容器的数据共享。

跨节点数据共享

当多个容器运行在不同节点上需要实现数据共享( 这里不考虑 Kubernetes )。在开发应用程序时，有几种方法可以实现这一点。

• 一种是为应用程序添加逻辑，将文件存储在类似 AmazonS3 的云对象存储系统上。
• 另一种方法是使用支持将文件写入 NFS 或 AmazonS3 等外部存储系统的驱动程序创建卷。

volume driver 允许从应用程序逻辑中抽象底层存储系统。例如，如果服务使用带有 NFS 驱动程序的卷，则可以更新服务以使用不同的驱动程序。即在不更改应用程序逻辑的情况下将数据存储在云中。

Docker 支持多种 volume driver 来对接不同的存储，下面以 vieux/sshfs 为例举例：

首先需要在每个 Docker 节点安装 vieux/sshfs 插件

1

$ docker plugin install --grant-all-permissions vieux/sshfs

创建 vieux/sshfs 类型的 volume driver。

1
2
3
4

$ docker volume create --driver vieux/sshfs \
	  -o sshcmd=test@node2:/home/test \
	  -o password=testpassword \
	  sshvolume

使用上面的 volume 创建容器

1
2
3
4
5

$ docker run -d \
	  --name sshfs-container \
	  --volume-driver vieux/sshfs \
	  --mount src=sshvolume,target=/app,volume-opt=sshcmd=test@node2:/home/test,volume-opt=password=testpassword \
	  nginx:latest

Docker 也支持 NFS、CIFS、Samba、Block devices 等其他类型的 volume driver。详情可参考 Docker 官网

Bind mounts

bind mount 也是将宿主机上的文件或者目录挂载到容器上。volume 底层实现的原理就是用 Linux 的 bind mount，只不过 Docker 会帮助用户来管理 volume 的存储目录。

使用 bind mount 创建一个容器，-v or --volume absolutePath:containerDataPath ，注意 bind mount 需要使用宿主机目录路径是绝对路径

1
2
3
4

$ docker run -d \
	--name volume-test \
	-v "$(pwd)"/data:/data \
	nginx:latest

查看容器信息，可以发现挂载类型是 bind。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

$ docker inspect devtest

	"Mounts": [
	    {
	        "Type": "bind",
	        "Source": "/tmp/source/target",
	        "Destination": "/app",
	        "Mode": "",
	        "RW": true,
	        "Propagation": "rprivate"
	    }
	],

Tmpfs mounts

volume 和 bind mount 挂载允许在主机和容器之间共享文件，这样即使在容器停止后也可以持久保存数据。如果容器内某些数据比较敏感，涉及到安全性，不宜存放在容器内或者宿主机的文件系统上，那么可以使用 tmpfs mount 将容器的文件数据挂载内存中。

tmpfs mount 也是 Linux 中的一种挂载类型，这样这些文件并不会出现在容器的读写层，tmpfs 是临时的，并且只保留在主机内存中。当容器停止时，tmpfs 挂载将被删除，写入其中的文件将不会持久化。

下面使用 tmspfs mount 创建一个容器，-- tmpfs containerDataPath

1
2
3
4
5

$ docker run -d \
	  -it \
	  --name tmptest \
	  --tmpfs /app \
	  nginx:latest

查看容器挂载信息，发现挂载类型是 tmpfs

1
2

$ docker inspect tmptest --format '{{ json .Mounts }}'
[{"Type":"tmpfs","Source":"","Destination":"/app","Mode":"","RW":true,"Propagation":""}]

Volumes 与 Bind mounts 区别

其实 volume 底层利用的就是 bind mount 技术，最终都是由 Linux bind mount 挂载的。由于 volume 可由 Docker 管理，那么 volume 相对来说会有更多优势。

• volume 的存储目录由 Docker 管理，存储在 /var/lib/docker/volumes ，bind mount 的存储目录由用户自行指定
• volume 可供多个容器共享使用，bind mount 对应的存储目录只能由一个容器使用
• volume 支持 volume driver，volume driver 允许在远程主机或云提供商上存储卷，bind mount 只作用 Docker 本机
• volume 更加容易进行备份和迁移
• 绑定容器中非空目录时，volume 可以保留容器中非空目录，然而 bind mount 的方式，容器中的非空目录会被覆盖。

对于上面最后一个区别使用例子讲述会比较容易理解。

volume 挂载

使用 volume 挂载，如果对应容器中的目录原来就存在文件或者子目录，那么挂在之后，该文件或者子目录依然存在。

这里 nginx:latest 镜像中 /etc/nginx/ 是非空的，发现 volume 并没有覆盖 /etc/nginx

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

$ docker run -d \
	  -it \
	  --name volume-test \
	  -v /tmp/nginx:/etc/nginx \
	  nginx:latest  
$ docker exec -it volume-test ls /etc/nginx/
conf.d                  koi-utf             nginx.conf.default
fastcgi.conf            koi-win             scgi_params
fastcgi.conf.default    mime.types          scgi_params.default
fastcgi_params          mime.types.default  uwsgi_params
fastcgi_params.default  modules             uwsgi_params.default
html                    nginx.conf          win-utf

bind mount

使用 bind mount，如果对应容器中的目录原来就存在文件或者子目录，那么挂在之后，该文件或者子目录会被挂载目录覆盖。

这里 nginx:latest 镜像中 /usr/share/nginx/html 是非空的

1
2
3
4
5

$ docker run -d \
	  -it \
	  --name bind-mount-test \
	  -v /tmp/nginx:/etc/nginx \
	  nginx:latest  

会发现该容器无法启动，报错信息：无法找到 /etc/nginx/nginx.conf，说明 /etc/nginx 下已经被 bind mount 覆盖了。

Bind mount 与 OverlayFS

前面说到容器使用 OverlayFS 实现文件系统，上面说的 volume 底层用到了 bind mount 将宿主机文件或者目录挂载到容器中，那么 bind mount 和 OverlayFS 有什么区别和联系？

我们知道 Linux 有很多种类型的 mount，bind mount 和 OverlayFS 都属于 Linux mount 类型。

在 Docker 使用 volume 或者 bind mount 创建一个容器时，会经历以下挂载流程：

• 使用 OverlayFS 挂载将各层镜像联合挂载起来，并形成容器层；
• 使用 bind mount 技术将宿主机存储目录挂载到容器内部；

所以说容器 volume 的挂载并不是在镜像联合挂载时实现的，而是在其之后使用 bind mount 进行挂载。

总结

本篇文章讲解了 Docker 三种存储挂载类型：volume，bind mount，tmpfs mount 的使用、原理，同时也分别阐述了三种挂载类型的使用场景和区别。

对于 volume 和 bind mount 两种类型底层原理是一样的，但是 volume 比 bind mount 具有更多优势，所以在实际使用中建议使用 volume 类型。

最后对 bind mount 和 OverlayFS 进行了比较，这两个都是 Linux 的挂载类型，Docker 使用 OverlayFS 将镜像联合挂载形成容器，而使用 bind mount 对容器进行数据挂载实现数据持久化和数据共享。

关注微信公众号，可了解更多云原生详情~