操作系统 IO 相关知识

操作系统 IO 相关知识

  • 阻塞与非阻塞
  • 同步与异步
  • IO 和系统调用
    • 传统的 IO
    • DMA
    • mmap 内存映射
    • sendfile
    • splice
  • 常用的 IO 模型
    • BIO:同步阻塞 IO
    • NIO:同步非阻塞 IO
    • IO 多路复用
    • 信号驱动 IO
    • AIO:异步 IO 模型

IO 就是计算机内部与外部进行数据传输的过程,比如网络 IO 与磁盘 IO

所有 IO 都需要系统调用,由操作系统代理执行,并经历从 IO 设备拷贝到内核空间拷到用户空间的环节

在内核收到调用请求之后,会有数据准备、数据就绪、数据拷贝的阶段

每一个程序员面试的时候或多或少都会被问到相关知识,了解一下相关概念是非常重要的

阻塞与非阻塞

阻塞与非阻塞指线程在等待调用结果(数据,消息,返回值)时的状态

阻塞是指应用线程等待结果时会被挂起,等待内核(或者 IO)完成操作,实际上,内核所做的事情是将 CPU 时间切换给其他有需要的线程,网络应用程序在这种情况下是得不到 CPU 时间做该做的事情的,它会在那里睡觉。因此这里的阻塞应当理解成线程被其他线程阻塞,或者等待 IO 资源结果的时候阻塞

非阻塞是指该线程等待结果(数据准备)时可以执行其他操作,只有在拷贝数据的时候才会阻塞。此时该线程可以做一些其他的 CPU 计算,但是一般会伴随不停的访问请求结果这一操作

注意,阻塞与非阻塞的概念只有同步中才有,没有异步阻塞与异步非阻塞的说法,接下来说一下为什么

同步与异步

同步和异步关注的是消息通信机制

同步指发出调用请求后,请求跟随调用结果一起返回

异步指发出请求后,请求或者调用立即返回,在 IO 设备或者其他的机器操作完毕后,通过回调函数或者其他方式返回状态或者数据信息

比如我们使用消息队列来处理某个功能,一般来说发生消息后就不用管之后的操作了,该过程就是异步的。主线程不关心另一个线程怎么样,所以谈不上阻塞非阻塞

IO 和系统调用

所有的 IO 操作都会有系统调用的过程,同时所有的系统 IO 都分为两个阶段:等待就绪和操作。举例来说,读函数,分为等待系统可读和真正的读;同理,写函数分为等待网卡可以写和真正的写

read(file, tmp_buf, len);
write(socket, tmp_buf, len);

需要说明的是等待就绪的阻塞是不使用 CPU 的,是在空等,这期间数据通过网线以电流的方式输入我们的电脑,并且被保存在缓冲区中;而真正的读写操作的阻塞是使用 CPU 的,即 CPU 将数据从缓冲区拷贝到目标位置的过程,这个时候 CPU 真正在干活

传统的 IO

这里使用普通的 read 和 write 命令来展示一下传统 IO 的弊端

  • 用户进程通过 read 方法向操作系统发起调用,此时上下文从用户态转向内核态
  • DMA 控制器把数据从硬盘(或者套接字的缓冲区)中拷贝到内核读缓冲区
  • CPU 把内核读缓冲区数据拷贝到应用缓冲区,然后上下文从内核态转为用户态,read 和数据一起返回

其过程如下图所示:
在这里插入图片描述

write 指令:

  • 用户进程通过 write 方法发起调用,上下文从用户态转为内核态
  • CPU 将应用缓冲区中数据拷贝到 socket 缓冲区
  • DMA 控制器把数据从 socket 缓冲区拷贝到网卡,上下文从内核态切换回用户态,write 返回

read 和 write 分别进行了两次内核态用户态切换和两次 CPU 复制操作,在操作系统中这些是可以被优化的

但是优化之前先处理一个问题,我们可以看到数据会先复制到中间的 socket buffer 中,我们很可能有一个问题就是为什么数据不能从磁盘直接复制到用户缓冲区?原因主要在下面两点:

1,权限隔离:操作系统的内核空间和用户空间是严格分离的,以防止恶意程序直接访问系统资源,造成系统不稳定或安全漏洞。内核负责管理硬件资源,包括磁盘读写,而用户空间的应用程序则运行在更高的抽象层次上
2,地址空间不同:内核空间和用户空间拥有各自的虚拟地址空间。用户缓冲区位于用户空间的虚拟地址范围内,而内核在执行I/O操作时使用的是内核缓冲区,这些缓冲区位于内核空间的地址范围内

DMA

DMA 是 Direct Memory Access,直接内存存取

DMA 是直接内存访问技术,他是一块主板上独立的芯片,它专门用来进行内存和 IO 设备的数据传输,他的主要作用是优化数据从磁盘拷贝到缓冲区这一过程
在这里插入图片描述
早期计算机中,用户进程需要读取磁盘数据,需要 CPU 中断和 CPU 参与(就是整个数据的传输过程,都要需要 CPU 亲自参与搬运数据的过程,数据会先从磁盘拷贝到 CPU 寄存器,然后再写入对应的缓冲区),因此效率比较低,发起 IO 请求,每次的 IO 中断,都带来 CPU 的上下文切换。 DMA 控制器接管了数据读写请求。并且加快了 IO 拷贝速度,从而减少 CPU 的处理时间

mmap 内存映射

零拷贝技术是优化拷贝次数的技术,以下的技术包括 mmap 都是零拷贝技术的一种

mmap 将用户空间的一段内存区域映射到内核空间,映射成功后,用户对这段内存区域的修改可以直接反映到内核空间,同样,内核空间对这段区域的修改也直接反映用户空间。即将用户空间和内核空间关联起来,例如堆外内存就是 mmap 零拷贝技术

内核缓冲区和应用缓冲区共享,从而减少了从内核缓冲区到用户缓冲区的一次 CPU 拷贝

sendfile

sendfile 方法 IO 数据对用户空间完全不可见,所以只能适用于完全不需要用户空间处理的情况,比如将磁盘中的数据复制到网卡

整个过程发生了两次用户态和内核态的上下文切换和三次拷贝,数据不经过用户区,只在内核态进行复制。简单介绍一下流程,就是数据存在于内核中时,并未被真正复制到 socket 关联的缓冲区内。取而代之的是,只有记录数据位置和长度的描述符被加入到 socket 缓冲区中。DMA 模块将数据直接从内核缓冲区传递给协议引擎,从而消除了遗留的最后一次复制

Linux2.4内核版本之后对 sendfile 做了进一步优化,通过引入新的硬件支持,这个方式叫做 DMA Scatter/Gather 分散/收集功能,将整个过程优化到两次用户态和内核态的上下文切换和两次拷贝

splice

Linux 从2.6.17支持 splice 数据从磁盘读取到 OS 内核缓冲区后,在内核缓冲区直接可将其转成内核空间其他数据 buffer,而不需要拷贝到用户空间,这是不是和 sendfile 有点像?

注意 splice 和 sendfile 的不同,sendfile 是 DMA 硬件设备不支持的情况下将磁盘数据加载到 kernel buffer(内核空间维护的缓存空间)后,需要一次 CPU copy,拷贝到 socket buffer

而 splice 是直接将两个内核空间的 buffer 进行 pipe 管道传输

#include <fcntl.h>
ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags);

常用的 IO 模型

在这里插入图片描述

BIO:同步阻塞 IO

同步阻塞 IO 模型,该模型用于描述一方发起调用后,阻塞等待另外一方返回的场景,举几个例子:

  • 应用程序发起 read 调用后,会一直阻塞,直到在内核把数据拷贝到用户空间
  • 用户请求服务器后,一直等待接口返回
  • 长连接

NIO:同步非阻塞 IO

同步非阻塞 IO 模型中,该模型用于描述一方发起调用后,虽然等待该请求的结果,但是我们依然执行自己的一些逻辑流程,然后通过什么回调通知或者定时轮训来获取最终结果

在普通的 NIO 中应用程序会一直轮询发起 read 调用(发起调用会降低 CPU 性能),在数据准备的时间中线程不挂起,直到磁盘准备好数据

数据就绪后,实际的 IO 操作会等待数据复制到应用进程的缓冲区中以后才返回

IO 多路复用

java 中的 NIO、Radis 中的单线程、nginx 中的主进程就是 IO 多路复用(使用选择器,缓冲区、通道来实现,通道将用户数据拷贝到缓冲区中,选择器让程序读取缓冲区中数据),IO 多路复用是 NIO 的一种,但是它的好处是可以在同一条阻塞线程上处理多个不同端口的监听
在这里插入图片描述

多路 IO 共用一个同步阻塞接口,任意 IO 可操作都可激活 IO 操作,这是对阻塞 IO 的改进。此时阻塞发生在 select/poll 的系统调用上,而不是阻塞在实际的 I/O 系统调用上。IO 多路复用的高级之处在于它能同时等待多个文件描述符,而这些文件描述符(套接字描述符)其中的任意一个进入读就绪状态,select 等函数就可以返回

信号驱动 IO

这是同步 IO 的一种。信号驱动 I/O 与异步 I/O 的区别是从缓冲区获取数据这个步骤的处理,前者收到的通知是可以开始进行复制操作了,在复制完成之前线程处于阻塞状态,所以它仍属于同步 I/O 操作,而后者收到的通知是复制操作已经完成

AIO:异步 IO 模型

异步 IO 是基于事件或者回调机制实现的,也就是应用操作之后会直接返回(发送 read 直接得到结果),不会堵塞在那里。举个例子:

  • 用户下单时会立马得到下单结果,但是要等待一段时间后才可以收到下单成功通知

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/397192.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

加密案例分享:电子设备制造行业

企业核心诉求选择 1.某企业规模庞大&#xff0c;分支众多&#xff0c;数据安全管理方面极为复杂&#xff1b; 2.企业结构复杂&#xff0c;包括研发、销售、财务、总部、分部、办事处、销售等单位连结成为一个庞大的企业组织&#xff0c;数据产生、存储、流转、使用、销毁变化…

NIO线程模型

NIO线程模型主要涉及以下几个方面&#xff1a; 一、基本概念 NIO&#xff08;New Input/Output&#xff09;是Java的一种新的输入输出模型&#xff0c;也被称为非阻塞IO。其核心特点是数据读写操作均是非阻塞的&#xff0c;即在进行读写操作时&#xff0c;若数据未准备好&…

第129天:内网安全-横向移动WmiSmbCrackMapExecProxyChainsImpacket

这里这个环境继续上一篇文章搭建的环境 案例一&#xff1a; 域横向移动-WMI-自带&命令&套件&插件 首先上线win2008 首先提权到system权限 wmic是windows自带的命令&#xff0c;可以通过135端口进行连接利用&#xff0c;只支持明文方式&#xff0c;优点是不用上传别…

【区块链+医疗健康】医链 - 区块链医疗信息管理系统 | FISCO BCOS应用案例

根据《“十四五”规划和 2035 远景目标纲要》&#xff0c;我国在“十四五”时期将全面推进医疗信息化建设。工信部等部 门联合发布《关于加快推动区块链技术应用和产业发展的指导意见》&#xff0c;促进区块链在医疗健康等公共服务领域开 展应用&#xff0c;促进业务协同办理。…

ES6 export import

1.Export 模块是独立的文件&#xff0c;该文件内部的所有的变量外部都无法获取。如果希望获取某个变量&#xff0c;必须通过export输出&#xff0c; 声明的同时导出变量、函数以及类 // profile.js export var firstName Michael; export var lastName Jackson; export var…

【JUC】Java对象内存布局和对象头

文章目录 面试题Object object new Object() 谈谈你对这句话的理解&#xff1f; 对象在堆内存中存储布局权威定义&#xff08;周志明老师JVM第三版&#xff09;对象在堆内存中的存储布局详解对象头的MarkWord源码对象标记源码 对象内存布局&#xff08;使用JOL证明&#xff09…

猫头虎 分享已解决Bug || java.lang.NullPointerException 解决方案

&#x1f42f; 猫头虎 分享已解决Bug || java.lang.NullPointerException 解决方案 在 后端开发过程中&#xff0c;我们经常会遇到各种各样的Bug。而其中最常见之一就是 java.lang.NullPointerException。很多小伙伴在遇到这个问题时&#xff0c;往往会感到非常头痛&#xff0…

设计模式-单一职责模式

DecoratorBridge Decorator 动机 在某些情况下我们可能会 “过度地使用继承来扩展对象的功能”&#xff0c;由于继承为类型引入的静态特质&#xff0c;使得这种扩展方式缺乏灵活性&#xff1b;并且随着子类的增多&#xff08;扩展功能的增多&#xff09;&#xff0c;各种子类的…

yolov8断点续训

1. 前言 我们在使用yolov8进行训练的时候往往会因为各种各样的原因中断训练&#xff0c;如&#xff1a; 开了太多程序导致崩溃突然断电其他原因 这时候如果下次能继续上次训练的结果继续训练会节省很多时间 2.复现与解决办法 2.1 正常启动训练 yolov8环境搭建与简单配置请…

给 Python 的第三方模块安装工具 pip 换源

sudo mkdir ~/.pipcd .pipsudo nano pip.conf[global] timeout 10 index-url http://mirrors.aliyun.com/pypi/simple/ extra-index-url http://pypi.douban.com/simple/ [install] trusted-hostmirrors.aliyun.compypi.douban.com喜欢或对你有帮助&#xff0c;点个赞吧&…

PMBOK® 第六版 规划范围管理

目录 读后感—PMBOK第六版 目录 规划范围管理就像是为项目划定清晰的界限&#xff0c;通过书面形式明确项目团队必须完成的工作&#xff0c;这有助于有效控制和交付目标产品&#xff0c;防止范围蔓延&#xff0c;合理分配资源&#xff0c;从而提高项目成功率和客户满意度。 一…

Tomcat搭建JSPServlet

一、Tomcat环境搭建 1. 将项目变为Web项目 选中项目&#xff0c;点击Help中的Find Action 搜索Add Framework Support 勾选Web Application 出现这些文件就是成功了 2. 配置Tomcat 点击Edit Configurations 点击加号&#xff0c;选择Tomcat Server Local Deployment栏下点击…

WPF篇(9)-CheckBox复选框+RadioButton单选框+RepeatButton重复按钮

CheckBox复选框 CheckBox继承于ToggleButton&#xff0c;而ToggleButton继承于ButtonBase基类。 案例 前端代码 <StackPanel Orientation"Horizontal" HorizontalAlignment"Center" VerticalAlignment"Center"><TextBlock Text"…

前端学习笔记-JS篇-01

JS基础Day1-01-必看-基本软件以及准备工作_哔哩哔哩_bilibili JavaScript介绍 是什么 1.JavaScript (是什么?) 是一种运行在客户端(浏览器)的编程语言&#xff0c;实现人机交互效果2.作用(做什么?) 网页特效(监听用户的一些行为让网页作出对应的反馈)表单验证(针对表单…

8.9-python管理

一、回顾 [rootpython ~]# vim test.py ​ a3 b4 print(ab) print(a**2b**2) print(25**0.5) ​ [rootpython ~]# python3 test.py 7 25 5.0 ​ ​ #调试test.py脚本 [rootpython ~]# python3 -m pdb test.py > /root/test.py(1)<module>() -> a3 (Pdb) n > …

SpringCloud天机学堂:我的课表(三)

SpringCloud天机学堂&#xff1a;我的课表&#xff08;三&#xff09; 文章目录 SpringCloud天机学堂&#xff1a;我的课表&#xff08;三&#xff09;1、添加课程到课表2、分页查询课表3、查询正在学习的课程 1、添加课程到课表 首先&#xff0c;用户支付完成后&#xff0c;需…

JSON + AJAX + ThreadLocal + 文件上传下载

JSON数据交换 规则 JSON对象和字符串转换 <script type"text/javascript">var jsonPerson {"name": "jack","age": 20}console.log(jsonPerson);var strPerson JSON.stringify(jsonPerson);//对jsonPerson没有影响console.lo…

django如何更新数据库字段并与数据库保持同步?

关键步骤&#xff1a; 第一步&#xff1a; 执行&#xff1a;python manage.py makemigrations 你的项目名称第二步&#xff1a;它会提示你选1还是2&#xff0c;这里因为添加字段&#xff0c;所以选1第三步&#xff1a;出现>>>这个&#xff0c;直接输入这个第四步&am…

cnetos部署高可用以及七层负载均衡

文章目录 centos部署高可用以及七层负载均衡一、准备环境二、配置高可用第一台&#xff1a;第二台&#xff1a; 三、配置负载均衡第一台的七层负载均衡器为haproxy第二台的七层负载均衡器为nginx 四、配置后端服务器五、测试 centos部署高可用以及七层负载均衡 一、准备环境 …

密码学基础:搞懂Hash函数SHA1、SHA-2、SHA3(1)

目录 1.消息摘要(Hash) 2.SHA-1 3.SHA-2 4.小结 1.消息摘要(Hash) Hash函数是一种单向密码体制&#xff0c;把任意长度的输入经过变换得到一个固定长度的输出&#xff0c;同时它还具备单向性&#xff0c;只能从明文到密文&#xff0c;不能逆向&#xff0c;正是由于Hash函数…