全网讲的最详细的Docker镜像分层存储原理

先说结论，容器镜像分层存储图示
在这里插入图片描述
欢迎关注
在这里插入图片描述

实验环境准备

当前实验docker版本24.0.7如下，当前docker版本使用overlay2机制存储镜像

Client: Docker Engine - CommunityVersion:           24.0.7API version:       1.43Go version:        go1.20.10Git commit:        afdd53bBuilt:             Thu Oct 26 09:07:41 2023OS/Arch:           linux/amd64Context:           defaultServer: Docker Engine - CommunityEngine:Version:          24.0.7API version:      1.43 (minimum version 1.12)Go version:       go1.20.10Git commit:       311b9ffBuilt:            Thu Oct 26 09:07:41 2023OS/Arch:          linux/amd64Experimental:     falsecontainerd:Version:          1.6.25GitCommit:        d8f198a4ed8892c764191ef7b3b06d8a2eeb5c7frunc:Version:          1.1.10GitCommit:        v1.1.10-0-g18a0cb0docker-init:Version:          0.19.0GitCommit:        de40ad0

$ sudo docker pull httpd
Using default tag: latest
latest: Pulling from library/httpd
1f7ce2fa46ab: Pull complete 
424de2a10000: Pull complete 
6d9a0131505f: Pull complete 
5728e491734b: Pull complete 
20d3235e84ad: Pull complete 
Digest: sha256:04551bc91cc03314eaab20d23609339aebe2ae694fc2e337d0afad429ec22c5a
Status: Downloaded newer image for httpd:latest
docker.io/library/httpd:latest

# sudo docker image inspect httpd"Id": "sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949","RepoTags": ["httpd:latest"],"RepoDigests": ["httpd@sha256:04551bc91cc03314eaab20d23609339aebe2ae694fc2e337d0afad429ec22c5a"],"GraphDriver": {"Data": {"LowerDir": "/var/lib/docker/overlay2/766833b310bfa8245d270ce831a9e73ab27e5e0f61525d108ef519e4868f9cfb/diff:/var/lib/docker/overlay2/76c5547a9f06e06ba12ae92f54211a9c4397bc6c002e3a81aa4a4d7903f451c2/diff:/var/lib/docker/overlay2/aab89c771d1be31e61bce7d83df529043b1b0cd4283ed1d9275a97617c114743/diff:/var/lib/docker/overlay2/32b5b0acbd61d9bbfb362d26d450e6412bfa6749677acf0694f32930e82432b2/diff","MergedDir": "/var/lib/docker/overlay2/88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/merged","UpperDir": "/var/lib/docker/overlay2/88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/diff","WorkDir": "/var/lib/docker/overlay2/88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/work"},"Name": "overlay2"},"RootFS": {"Type": "layers","Layers": ["sha256:92770f546e065c4942829b1f0d7d1f02c2eb1e6acf0d1bc08ef0bf6be4972839","sha256:fad7e2250d8fefbd8524054837403921b468448b6bae1ee439bb793e254b6725","sha256:27496babc700a08c0a14777dd4bb818273e8cc9f77d526fcb4554043cff291d9","sha256:28f18e7dc61c56a068f00ec92dde62cf9de21cbce0eb9a8395c6617e2fef9463","sha256:b9bf93af811f6900f445158ab648fd4868b69b770908142b897772e6bb8c2a2f"]}

overlay2文件系统

overlayfs通过三个目录来实现：lower目录、upper目录、以及work目录。三种目录合并出来的目录称为merged目录

  • lower目录：可以是多个，是处于最底层的目录，作为只读层
  • upper目录：只有一个，作为读写层
  • work目录：为工作基础目录，挂载后内容会被清空，且在使用过程中其内容用户不可见
  • merged目录：为最后联合挂载完成给用户呈现的统一视图，也就是说merged目录里面本身并没有任何实体文件，给我们展示的只是参与联合挂载的目录里面文件而已，真正的文件还是在lower和upper中。所以，在merged目录下编辑文件，或者直接编辑lower或upper目录里面的文件都会影响到merged里面的视图展示。

docker image inspect httpd的结果中LowerDir的值是实际存储文件系统数据的目录

MergedDir,UpperDir,WorkDir也都是放在/var/lib/docker/overlay2/目录下

上面inspect命令结果中"Id": "sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949",，这一部分其实就是repository元数据，用于找到镜像image元数据/var/lib/docker/image/overlay2/imagedb/content/sha256(Id值)/

上面inspect命令结果中RootFS的Layers是layer元数据，其中的每个sha256的值就是diff_id

docker镜像分层存储原理

docker镜像的元数据分为repository,image,layer三部分

由于docker镜像分层存储，所以repository和image没有对应的物理镜像文件，而每个layer元数据都有具体的物理镜像层文件与之对应，

并且layer元数据和镜像文件分开存储，二者基于内容寻址(即基于文件内容索引镜像和镜像层)存储机制进行关联

repository元数据

repository是某个镜像所有迭代版本的集合，它在本地的持久化信息就存储在/var/lib/docker/image/overlay2/repositories.json中，其中记录了所有repository的名字以及每个repository中所有版本镜像的名字。

这里的sh256的值和docker pull时的sha256值一样

root@ubuntu20:/var/lib/docker/image/overlay2# cat repositories.json 
{"Repositories":{"httpd":{"httpd:latest":"sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949","httpd@sha256:04551bc91cc03314eaab20d23609339aebe2ae694fc2e337d0afad429ec22c5a":"sha256:a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949"}
}}

image元数据

image元数据的本地文件位于/var/lib/docker/image/overlay2/imagedb/content/sha256/，包括以下信息：镜像架构、操作系统、镜像配置、Docker版本和镜像层信息rootfs。

其中rootfs包含该镜像所有镜像层的id，即diff_id。其中的diff_ids从上到下依次为nginx镜像底层到顶层的diff_id。

镜像层的id为diff_id

# cat /var/lib/docker/image/overlay2/imagedb/content/sha256/a6ca7b52a41549f13f7de6aeac4ab6ffebd41585fbf2273f00fd6e82bb721949
.....
"rootfs":{"type":"layers","diff_ids":["sha256:92770f546e065c4942829b1f0d7d1f02c2eb1e6acf0d1bc08ef0bf6be4972839","sha256:fad7e2250d8fefbd8524054837403921b468448b6bae1ee439bb793e254b6725","sha256:27496babc700a08c0a14777dd4bb818273e8cc9f77d526fcb4554043cff291d9","sha256:28f18e7dc61c56a068f00ec92dde62cf9de21cbce0eb9a8395c6617e2fef9463","sha256:b9bf93af811f6900f445158ab648fd4868b69b770908142b897772e6bb8c2a2f"]
}

layer元数据

用户拉取了某个镜像层后，Docker会基于该镜像层的文件和image元数据生成layer元数据，

主要包括该镜像层的diff_id(diff)，如果该镜像层没有父镜像层，那么该层的diff_id就是chain_id

父镜像层的chain_id（parent)、

该镜像层的大小（size）、

镜像层文件的索引（cache-id）等，

这些元数据存储在 /var/lib/docker/image/overlay2/layerdb/sha256/路径下

root@ubuntu20:/var/lib/docker/image/overlay2/layerdb/sha256# tree -L 2
.   
├── 16d494768121f45ba050ad50a669400818478131cb930bb0c8b5d2f908057142
│   ├── cache-id
│   ├── diff
│   ├── parent
│   ├── size
│   └── tar-split.json.gz
├── 29b181ca372e770053cc03410789236d7a96171f1f77110741d0f3f068a29c67
│   ├── cache-id
│   ├── diff
│   ├── parent
│   ├── size
│   └── tar-split.json.gz
├── 92770f546e065c4942829b1f0d7d1f02c2eb1e6acf0d1bc08ef0bf6be4972839
│   ├── cache-id
│   ├── diff
│   ├── size
│   └── tar-split.json.gz
├── cdfabdae5172d05eb5141bb77aaa300a195570b0befd780b6e2fc7bd20ea2cd5
│   ├── cache-id
│   ├── diff
│   ├── parent
│   ├── size
│   └── tar-split.json.gz
└── e8254408730a345e2ccf863e19c850e7ee78b59dfd9e4aa265b0107dd4301be5├── cache-id├── diff├── parent├── size└── tar-split.json.gz

cache-id是Docker随机生成的UUID，用于标识和索引具体的镜像文件；

chainID是image元数据与layer元数据关联的索引ID，根据当前层的diffID和父镜像层的chainID得来，具体计算方法如下：

  • 如果该镜像层是最底层(没有父镜像层)，该层的 diff_id 便是 chain_id。
  • 该镜像层的 chain_id 计算公式为 chainID=sha256(父层chain_id+" "+本层diff_id)，也就是根据父镜像层的 chain_id 加上一个空格和当前层的 diff_id，再计算 SHA256 校验码。

镜像文件存储目录

镜像层元数据与镜像层文件分开存储，并通过cache-id(overlay2目录下的文件夹的名字)进行关联。具体的镜像层文件存储在/var/lib/docker/overlay2文件夹下

root@ubuntu20:/var/lib/docker/overlay2# tree -L 2
.
├── 32b5b0acbd61d9bbfb362d26d450e6412bfa6749677acf0694f32930e82432b2
│   ├── committed
│   ├── diff
│   └── link
├── 766833b310bfa8245d270ce831a9e73ab27e5e0f61525d108ef519e4868f9cfb
│   ├── committed
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
├── 76c5547a9f06e06ba12ae92f54211a9c4397bc6c002e3a81aa4a4d7903f451c2
│   ├── committed
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
├── 88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
├── aab89c771d1be31e61bce7d83df529043b1b0cd4283ed1d9275a97617c114743
│   ├── committed
│   ├── diff
│   ├── link
│   ├── lower
│   └── work
└── l├── J6BYBF6ADSYX4HKH65NQSXLNAD -> ../76c5547a9f06e06ba12ae92f54211a9c4397bc6c002e3a81aa4a4d7903f451c2/diff├── L2DROY4Y7V2ZGUIOFOLSARZO3T -> ../aab89c771d1be31e61bce7d83df529043b1b0cd4283ed1d9275a97617c114743/diff├── U2HWCDVI7VIS6QKAUANBZSIC4L -> ../32b5b0acbd61d9bbfb362d26d450e6412bfa6749677acf0694f32930e82432b2/diff├── V2RW2JJO2BYNGIFOMQJ74TF5C3 -> ../766833b310bfa8245d270ce831a9e73ab27e5e0f61525d108ef519e4868f9cfb/diff└── WUF77DAMALFDYBOPZYWKS7WOIG -> ../88aaff0c6f4e196d1a79386b30b9460a2603824b6ebb9efacdfd1fd11000477f/diff

子目录l记录了很多长26位的软连接，指向本地缓存目录下的diff目录。(容器运行时会用到，具体参见文章开头的链接)

其他7个子目录是镜像层的目录，代表Nginx镜像共有7个镜像层，每个镜像层目录都由一串UUID命名，这个UUID即layer元数据部分介绍的cache-id，用于将镜像元数据和镜像文件关联起来。

其中diff目录保存了镜像层的实际内容；

link保存了当前镜像层的短ID，与 l目录互为引用；

lower目录保存了当前镜像层的所有父镜像层的短ID集合，用于挂载时直接读取；

work目录为overlay2驱动的写时复制目录。

镜像索引关系

repositories.json文件存储了repository元数据，其中包括imageID；

由imageID可以索引到image元数据，其中包括该镜像每层的 ID，即 diff_id；

根据当前层diff_id和父镜像层的chainID可以计算出当前层的chainID，就可以索引到当前层的layer元数据；

当前层的layer元数据文件夹下包括cacheID，从而索引到存储在/var/lib/docker/overlay2路径下的镜像文件存储数据。

/var/lib/docker//overlay2/	# 存放实际的镜像或容器文件/image/overlay2/distribution/imagedb/		# image元数据content/sha256/	# image元数据metadata/	layerdb/		# layer元数据mounts/	# 运行的容器的挂载元数据sha256/	# layer元数据repositories.json	# repository元数据

在这里插入图片描述

容器启动

⼀个容器完整的层应由三个部分组成

  • 镜像层：也称为rootfs，提供容器启动的⽂件系统。镜像层属于roLayer
  • init层：⽤于修改容器中⼀些⽂件如/etc/hostname，/etc/hosts，/etc/resolv.conf等。init层属于mountedLayer
  • 容器层：使⽤联合挂载统⼀给⽤⼾提供的可读写⽬录。容器层属于mountedLayer

启动容器时会在/var/lib/docker/image/overlay2/layerdb/mounts/下创建container_id文件夹，其中包括

  • mount-id：存储在/var/lib/docker/overlay2/(镜像文件存储目录)的⽬录名称。（容器层，联合挂载⽽来，mount到docker/overlay2/⽬录下）
  • init-id：initID是在mountID后加了⼀个-init，同时initID就是存储 在/var/lib/docker/overlay2/的⽬录名称。
  • parent：容器所基于的镜像的最上层的chain_id。

多架构下的镜像信息

可以使用 docker manifest inspect $image 命令来查看，manifest为docker的体验特性，在Linux系统下开启

最好的方式为开启docker daemon的特性，修改 /etc/docker/daemon.json 文件

{"experimental": true
}

配置镜像加速时配置阿里镜像地址也是通过这个文件来做的

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/332304.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Redis第18讲——Redis和Redission实现延迟消息

Redis第18讲——Redis和Redission实现延迟消息

即使不是做电商业务的同学，也一定知道订单超时关闭这种业务场景，这个场景大致就是用户下单后，如果在一定时间内未支付（比如15分钟、半小时），那么系统就会把这笔订单给关闭掉。这个功能实现的方式有很多种&a…
阅读更多...
《Ai学习笔记》-模型集成部署

《Ai学习笔记》-模型集成部署

后续大多数模型提升速度和精度： 提升速度： -知识蒸馏，以distillBert和tinyBert为代表 -神经网络优化技巧。prune来剪裁多余的网络节点，混合精度（fp32和fp26混合来降低计算精度从从而实现速度的提升） 提…
阅读更多...
【Week-R1】RNN实现心脏病预测，基于tensorflow框架

【Week-R1】RNN实现心脏病预测，基于tensorflow框架

文章目录 一、什么是RNN？二、准备环境和数据2.1 导入数据 三、构建模型四、训练和预测五、其他（1）sklearn模块导入报错：ModuleNotFoundError: No module named sklearn（2）优化器改为SGD，accurac…
阅读更多...
SVM兵王问题

SVM兵王问题

1.流程 前面六个就是棋子的位置，draw就是逼和，后面的数字six就代表，白棋最少用六步就能将死对方。然后呢，可以看一下最后一个有几种情况： 2.交叉测试 leave one out： 留一个样本作测试集，其余…
阅读更多...
基于51单片机的超声波液位测量与控制系统

基于51单片机的超声波液位测量与控制系统

基于51单片机液位控制器 （仿真＋程序＋原理图PCB＋设计报告） 功能介绍 具体功能： 1.使用HC-SR04测量液位，LCD1602显示； 2.当水位高于设定上限的时候，对应声光报警报警&am…
阅读更多...
【ai】pycharm安装langchain 相关module

【ai】pycharm安装langchain 相关module

pycharm module install 【Python学习 】一篇文章教你PyCharm如何快速安装module 【python】pycharm如何安装python的模块包版本 2024.1.2 RC2 找到当前的虚拟项目 找到解释器 我现在配置为专门为openai-start 准备的3.10 版本+ 号可以找到模块
阅读更多...
leetcode-顺时针旋转矩阵-111

leetcode-顺时针旋转矩阵-111

题目要求 思路 1.假设现在有一个矩阵 123 456 789 2.我们可以根据19这个对角线将数据进行交换&#xff0c;得到矩阵 147 258 369 3.然后将矩阵每一行的数据再翻转&#xff0c;得到矩阵 741 852 963 代码实现 class Solution { public:vector<vector<int> > rot…
阅读更多...
设计模式深度解析：分布式与中心化，IT界两大巨头“华山论剑”

设计模式深度解析：分布式与中心化，IT界两大巨头“华山论剑”

​&#x1f308; 个人主页&#xff1a;danci_ &#x1f525; 系列专栏&#xff1a;《设计模式》《MYSQL应用》 &#x1f4aa;&#x1f3fb; 制定明确可量化的目标&#xff0c;坚持默默的做事。 ✨IT界的两大巨头交锋✨ &#x1f44b; 在IT界的广阔天地中&#xff0c;有两座…
阅读更多...
JavaFX安装与使用

JavaFX安装与使用

前言 最近学习了javafx,开始时在配置环境和导包时遇到了一些麻烦,关于网上很多方法都尝试过了,现在问题都解决了,和大家分享一下我是怎么实现javafx的配置,希望大家可以通过这个方法实现自己的环境配置! &#x1f648;个人主页: 心.c &#x1f525;文章专题:javafx &#x1f49…
阅读更多...
嵌入式实时操作系统笔记1：RTOS入门_理解简单的OS系统

嵌入式实时操作系统笔记1：RTOS入门_理解简单的OS系统

今日开始学习嵌入式实时操作系统RTOS&#xff1a;UCOS-III实时操作系统 本次目标是入门RTOS&#xff0c;理解多任务系统...... 本文只是个人学习笔记&#xff0c;基本都是对网上资料的整合...... 目录 STM32裸机与RTOS区别&#xff1a; 裸机中断示例&#xff1a; RTOS对优先级…
阅读更多...
9.Docker网络

9.Docker网络

文章目录 1、Docker网络简介2、常用基本命令3、网络模式对比举例3.1、bridge模式3.2、host模式3.3、none模式3.4、container模式3.5、自定义网络 1、Docker网络简介 作用&#xff1a; 容器间的互联和通信以及端口映射容器IP变动时候可以通过服务名直接进行网络通信而不受到影…
阅读更多...
如何用ai打一场酣畅淋漓的数学建模比赛? 给考研加加分！

如何用ai打一场酣畅淋漓的数学建模比赛? 给考研加加分！

文章目录 数学建模比赛1. 数学建模是什么&#xff1f;2. 数学建模分工合作2.1 第一&#xff1a;组队和分工合作2.2 第二&#xff1a;充分的准备2.3 第三&#xff1a;比赛中写论文过程 3. 数学建模基本过程4. 2023全年数学建模竞赛时间轴5. 数学建模-资料大全6. 数学建模实战 数…
阅读更多...
H3CNE-7-TCP和UDP协议

H3CNE-7-TCP和UDP协议

TCP和UDP协议 TCP&#xff1a;可靠传输&#xff0c;面向连接 -------- 速度慢&#xff0c;准确性高 UDP&#xff1a;不可靠传输&#xff0c;非面向连接 -------- 速度快&#xff0c;但准确性差 面向连接&#xff1a;如果某应用层协议的四层使用TCP端口&#xff0c;那么正式的…
阅读更多...
2024GDCPC广东省赛记录

2024GDCPC广东省赛记录

比赛流程体验&#xff0c;依托&#xff0c;开赛几分钟了&#xff0c;选手还卡在门外无法入场&#xff0c;也没给延时&#xff0c;说好的桌上会发三支笔&#xff0c;于是我们就没准备&#xff0c;要了三次笔&#xff0c;终于在一小时后拿到了&#x1f605; 比赛题目体验&#xf…
阅读更多...
【FPGA】Verilog：奇校验位生成器的实现（Odd Parity bit generator）

【FPGA】Verilog：奇校验位生成器的实现（Odd Parity bit generator）

解释奇数奇偶校验位生成器和检查器的仿真结果及过程。 真值表和卡洛图： Odd Parity Bit Generator A B C
阅读更多...
屎山代码SSM转换Springboot

屎山代码SSM转换Springboot

SSM项目转Springboot项目 最近很多人可能是在网上买的那种屎山代码&#xff0c;数据库都是拼音的那种 比如项目如下所示&#xff1a; 这种屎山代码我改过太多了&#xff0c;很多人可能无从下手&#xff0c;因为代码结构太混乱了&#xff0c;但是我改过太多这种代码&#xff0…
阅读更多...
ML307R OpenCPU 数据保存文件系统fs使用

ML307R OpenCPU 数据保存文件系统fs使用

一、函数介绍 二、实现数据保存 三、代码下载地址 一、函数介绍 以下是cm_fs.h里面的函数介绍 /*** brief 文件指针定位** param [in] fd 文件描述符* param [in] offset 指针偏移量* param [in] base 偏移起始点&#xff0c;CM_FS_SEEK_SET&#xff1a;文件开头 CM_FS…
阅读更多...
基于springboot+vue的4S店车辆管理系统

基于springboot+vue的4S店车辆管理系统

开发语言&#xff1a;Java框架&#xff1a;springbootJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#xff1a;…
阅读更多...
别人不愿意教，那我来教你Simulink建模（二）【语法知识】【原创分享】

别人不愿意教，那我来教你Simulink建模（二）【语法知识】【原创分享】

文章目录 前言节点和状态的区别？local 和非 local 的区别？事件的作用？Bus 总线？Memory 模块？caller用法？自己瞎练习的（我也不知道为啥会多出来.h文件）自己瞎练习的（这个没有多出来.h文件）autosar实例学习前言 继续更新去年的博文系列，请君切记，师父领进门修行在个…
阅读更多...
Django 里的静态资源调用

Django 里的静态资源调用

静态资源&#xff1a;图片&#xff0c;CSS, JavaScript 一共有两种方法 第一种方法 在项目的文件夹里创建名为 static 文件夹 在该文件夹里&#xff0c;添加静态资源 在 settings.py 里添加路径 import os# Static files (CSS, JavaScript, Images) # https://docs.djan…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023