文件描述符fd 和 缓冲区

目录

1.文件描述符 fd

1.1文件打开的返回值fd(重点)

1.2.如何理解Linux下的一切皆文件

1.3.文件fd的分配原则 && 输出重定向

1.4.dup2()函数

2.缓冲区

2.1. 概念

2.2. 存在的原因

2.3. 类型(刷新方案)

 2.4. 存放的位置


1.文件描述符 fd

1.1文件打开的返回值fd(重点)

我们可以看到,这三大数据流是来自于C标准库的,类型又是一个我们从来没有听说过的FILE类型。我们可以预料就是,FILE类型应该是C语言库函数内自己封装的一个函数结构体。 

  

我们看到这个数组的下标模式,也大概对文件的管理形式有了一定的猜测。

  1. 首先是对所有的文件,都有一个描述,即结构体对文件进行描述。
  2. 然后,有一个数组存储了这些文件结构体的地址对他们进行管理。
  3. 最后,task_struct 内部有一个指针指向该数组 。

就是如下图这种管理模式

 

1.2.如何理解Linux下的一切皆文件

其实上一切皆文件,就是封装的结果,利用形式上完全一模一样的结构体对各种硬件进行描述,让其截然不同的操作封装硬件提供的接口上(读写。。操作,每一个硬件都封装了这样的函数)通过,函数指针指向接口,其中的返回值,函数指针名等都一致,只是函数的底层实现不一样罢了。这样底层的不一致就被屏蔽了,在我们使用者看来就是一切皆文件了,也就是一切皆struct file

1.3.文件fd的分配原则 && 输出重定向

 fd分配规则:最小的没有使用的数组下标会分配给刚刚打开的文件。

看到这里,是不是很奇怪,明明printf()是向显示器写入的为什么会对log.txt写入呢? 

这数组的前三个在操作系统打开的时候,加载进来了,而printf()函数,默认就是向该数组中fd为1的文件执行写入操作,我们把fd==1的文件关了,重新加载了一个文件进去,按照分配规则,那么那个文件就该被分配为fd==1. 

1.4.dup2()函数

  1. 参数:oldfd:要被复制的文件描述符;newfd:目标文件的描述符。

  2. 返回值:成功,返回新的文件描述符(即:newfd)。出错时,返回 -1,并设置 errno以指示错误。

功能:就是将新的文件描述符变成旧的文件描述符的一份拷贝拷贝。

int main()79 {80   int fd=open("log.txt",O_WRONLY|O_CREAT|O_TRUNC,0666);81 82   dup2(fd,1);83   printf("hello Linux\n");84 85   close(fd);                                                                                                                                                        86 87 }

 

2.缓冲区

2.1. 概念

本质是一块内存区域,用于暂时存放数据,以便更高效地处理输入、输出操作。

  • 此处的缓冲区(如:进度条中的缓冲区等),不是内存中的缓冲区,它是语言层面的缓冲区,即:C语言自带的缓冲区,由C语言标准库提供。

缓冲区也会为格式化输入、输出操作提高场所。

  • printf函数工作原理:它会将其他类型的数据(如整数、浮点数等)转换为字符数据(即字符串),转化后的数据会被写入到FILE结构体维护的缓冲区中,根据条件刷新缓冲区。
  • scanf函数工作原理:scanf会从输入流中读取字符数据,将读取的数据转化为相应的格式化数据,格式化的数据会被存放到FILE结构体维护的缓冲区中,最终被存放到变量中。


2.2. 存在的原因

提高使用者的效率

  • 减少了C接口的使用时间,从而减少了用户的等待时间,提高了使用者的效率:调用C接口时,只要将数据交给了缓冲区,就可立即返回,无需等待实际的写入操作完成,意味这用户可以更快地继续执行其他任务。

提高计算机整体的拷贝效率。

  • 调用系统调用接口,都是有成本的,有时间和空间的开销。
  • 减少调用系统调用的次数,提高了计算机整体的拷贝效率:缓冲区可以聚集大量数据,直到缓冲区满了,再调用一次系统调用进行实际的数据写入,即:进行一次拷贝。

2.3. 类型(刷新方案)


一、无缓冲、无刷新

无缓冲:无刷新,意味着数据不会暂存在缓冲区中,而是立即被写入到目标设备中。

适用场景:需要立即看到结果、实时性要求很高的场景,如:实时系统、设备驱动程序。

优点:保证了数据的即时可见性。

缺点:性能下降,频繁的使用系统调用会增加开销。

二、全缓冲、全刷新

全缓冲:全刷新,缓冲区满了或者关闭文件时,缓冲区的数据才会被刷新到目的设备中。

适用场景:文件的读写操作,尤其是大文件。

优点:减少了系统调用的次数,提高了性能。

缺点:可能会丢失数据,如:在缓冲区的数据未被刷新前,发生崩溃,则这部分的数据就会丢失。

三、行缓冲、行刷新

行缓冲:行刷新,意味着遇到换行符\n,缓冲区的数据就会被立即刷新到目的设备中。

适用场景:标准输入输出(显示器)。

注:当调用c语言接口fflush(),进行强制刷新; 进程退出时,或文件关闭时,自动刷新


 2.4. 存放的位置

  1. 缓冲区存放在FILE结构体中,即:缓冲区是被FILE结构来维护的。
  2. 每个通过标准C库函数打开的文件,都拥有自己的缓冲区。

fwrite等标准库函数,会先将数据拷贝到缓冲区中,然后根据一定的条件,调用系统调用接口进行刷新。

文件操作的系统调用接口,其实是个拷贝函数,它将数据从语言层的缓冲区拷贝到内存的缓冲区。

int main()80 {81  87 88   const char * s1="hello write\n";89 90   write(1,s1,strlen(s1));91 92   const char * s2="hello fprintf\n";93   fprintf(stdout,"%s",s2);94 95   const char * s3="hello fwrite\n";96   fwrite(s3 ,strlen(s3),1,stdout);97 98   fork();99 return 0;                                                        
}

现象1解释:write()为系统调用接口,直接将数据写入到内核中;fprintf、fwrite为库函数,先将数据写入到缓冲区中,因为它们都是向显示器进行写入,而写入显示器是行刷新(遇到换行符\n,进行刷新),所以fork创建子进程前缓冲区中的数据全部被刷新到内核中了。

刷新到内核的数据,不属于进程的数据;存放在缓冲区中的数据,属于进程的数据。

现象2解释:重定向到普通文件时,数据刷新缓冲区的方式,由行缓存变为全缓冲,C语言接口自带缓冲区,所以它会将数据写入到缓冲区中,就不会立即刷新。fork创建子进程,父子共享缓冲区的数据,但是进程退出后,统一进行刷新。刷新缓冲区,是清空缓冲区,是修改数据的一种方式,所以父子进程的数据会发生写时拷贝,父子进程分别刷新各自的缓冲区,随即产生两份数据。write是系统调用接口,直接将数据写入到内核中,不存在所谓的缓冲区。

  1. 一般C库函数写入文件时,是全缓冲; 写入到显示器时,是行缓冲。
  2. 重定向到普通文件时,数据刷新缓冲区的方式,由行缓存变为全缓冲。
  3. 刷新缓冲区,是清空缓冲区,是修改数据的一种方式

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/461830.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【qt qtcreator使用】【正点原子】嵌入式Qt5 C++开发视频

QT creator 的使用 一.qtcreator的介绍  (1).ui界面介绍    [1].软件左侧界面部分    [2].软件界面下方部分    [3].UI设计界面 (2).debug的使用 (3).项目的配置 (4).帮助文档的使用 (5).构建多个项目 二.qtcreator 的设置 (1).qt编译套件的设置 (2).设置快…

Vue3和Springboot前后端简单部署

一、Vue3Springboot 的前后端简单部署 (在win下面部署) 1、前端实现部署 思想: 前端打包项目后、放到nginx中进行部署 1、nginx 安装 和 解压 1、下载 nginx.zip win版本 解压就可以 2、解压后、启动程序 3、访问 nginx 欢迎页面 http://localhost/ 80 端口 可以省略 直接访…

【大数据学习 | kafka】kafka的ack和一致性

1. ack级别 上文中我们提到过kafka是存在确认应答机制的,也就是数据在发送到kafka的时候,kafka会回复一个确认信息,这个确认信息是存在等级的。 ack0 这个等级是最低的,这个级别中数据sender线程复制完毕数据默认kafka已经接收到…

【分布式技术】分布式事务深入理解

文章目录 概述产生原因关键点 分布式事务解决方案3PC3PC的三个阶段:3PC相比于2PC的改进:3PC的缺点: TCCTCC事务的三个阶段:TCC事务的设计原则:TCC事务的适用场景:TCC事务的优缺点:如何解决TCC模…

Linux高阶——1027—

1、守护进程的基本流程 1、父进程创建子进程,父进程退出 守护进程是孤儿进程,但是是工程师人为创建的孤儿进程,低开销模式运行,对系统没有压力 2、子进程(守护进程)脱离控制终端,创建新会话 …

centos7配置keepalive+lvs

拓扑图 用户访问www.abc.com解析到10.4.7.8,防火墙做DNAT将访问10.4.7.8:80的请求转换到VIP 172.16.10.7:80,负载均衡器再将请求转发到后端web服务器。 实验环境 VIP:负载均衡服务器的虚拟ip地址 LB :负载均衡服务器 realserv…

服务器宝塔安装哪吒监控

哪吒文档地址:https://nezha.wiki/guide/dashboard.html 一、准备工作 OAuth : 我使用的gitee,github偶尔无法访问,不是很方便。第一次用了极狐GitLab,没注意,结果是使用90天,90天后gg了,无法登…

【动手学强化学习】part6-策略梯度算法

阐述、总结【动手学强化学习】章节内容的学习情况,复现并理解代码。 文章目录 一、算法背景1.1 算法目标1.2 存在问题1.3 解决方法 二、REINFORCE算法2.1 必要说明softmax()函数交叉熵策略更新思想 2.2 伪代码算法流程简述 2.3 算法代码2.4 运行结果2.5 算法流程说明…

单片机内存管理和启动文件

一、常见存储器介绍 FLASH又称为闪存,不仅具备电子可擦除可编程(EEPROM)的性能,还不会断电丢失数据同时可以快速读取数据,U盘和MP3里用的就是这种存储器。在以前的嵌入式芯片中,存储设备一直使用ROM(EPROM),随着技术的…

Python画图3个小案例之“一起看流星雨”、“爱心跳动”、“烟花绚丽”

源码如下: import turtle # 导入turtle库,用于图形绘制 import random # 导入random库,生成随机数 import math # 导入math库,进行数学计算turtle.setup(1.0, 1.0) # 设置窗口大小为屏幕大小 turtle.title("流星雨动画&…

SQL-lab靶场less1-4

说明:部分内容来源于网络,如有侵权联系删除 前情提要:搭建sql-lab本地靶场的时候发现一些致命的报错: 这个程序只能在php 5.x上运行,在php 7及更高版本上,函数“mysql_query”和一些相关函数被删除&#xf…

AutoGLM:智谱AI的创新,让手机成为你的生活全能助手

目录 引言一、AutoGLM:开启AI的Phone Use时代二、技术核心:AI从“语言理解”到“执行操作”三、实际应用案例:AutoGLM的智能力量1. 智能生活管理🍎2. 社交网络的智能互动🍑3. 办公自动化🍒4. 电子商务的购物…

ceph补充介绍

SDS-ceph ceph介绍 crushmap 1、crush算法通过计算数据存储位置来确定如何存储和检索,授权客户端直接连接osd 2、对象通过算法被切分成数据片,分布在不同的osd上 3、提供很多种的bucket,最小的节点是osd # 结构 osd (or device) host #主…

Scrapy源码解析:DownloadHandlers设计与解析

1、源码解析 代码路径:scrapy/core/downloader/__init__.py 详细代码解析,请看代码注释 """Download handlers for different schemes"""import logging from typing import TYPE_CHECKING, Any, Callable, Dict, Gener…

如何解决docker镜像下载失败问题

经常用docker的朋友都知道,docker hub的镜像仓库经常访问不通 rootiZwz97kfjnf78copv1ae65Z:~# docker pull ubuntu:18.04 Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.…

探索 ONLYOFFICE:开源办公套件的魅力

文章目录 引言一、ONLYOFFICE 产品介绍与历史1.1 ONLUOFFICE 介绍1.2 ONLYOFFICE发展历史 二、ONLYOFFICE 的核心功能2.1 文档处理2.2 演示文稿 三、ONLYOFFICE 部署与安装四、ONLYOFFICE 产品优势和挑战五、ONLYOFFICE 案例分析六、ONLYOFFICE 的未来发展七、全文总结 引言 在…

FlaskFastAPIgunicornunicorn并发调用

Flask VS. FastAPI Flask和FastAPI是Python中两种流行的Web框架,它们各自具有不同的特点和适用场景。以下是它们之间的一些主要区别: 1. 框架类型 Flask:Flask是一个轻量级的微框架,适合构建小型到中型的Web应用。它灵活且易于扩展…

第2章 JSP基础

JavaWeb程序设计-T2(JSP基础) 一、JSP概述 1、JSP概念 JSP(Java Server Page)是sun公司倡导建立的一种动态网页标准。 用于开发动态网页(将后端开发语言嵌入带前端中【将java嵌入到HTML中】) 2、JSP工作原理 JSP就是将传统Java代码嵌入到html页面代码中,由Web服务器进…

Unix 中文件权限设置

在 Unix 和类 Unix 系统中,文件权限是通过八进制数表示的,这些数字代表不同的权限组合。以下是一些常见的八进制数及其对应的权限设置: 1. **0644**: - 所有者(owner):读(read&a…

【小白学机器学习28】 统计学脉络+ 总体+ 随机抽样方法

目录 参考书,学习书 0 统计学知识大致脉络 1 个体---抽样---整体 1.1 关于个体---抽样---整体,这个三段式关系 1.2 要明白,自然界的整体/母体是不可能被全部认识的 1.2.1 不要较真,如果是人为定义的一个整体,是可…