【性能优化点滴】odygrd/quill 中一个简单的标记位作用--降低 IO 次数

StreamSink 类中,成员变量 _write_occurred 的作用是 跟踪自上次刷新(Flush)以来是否有写入操作发生,其核心目的是 优化 I/O 性能。以下是详细解析:


_write_occurred 的作用

1. 避免不必要的刷新(Flush)
  • 机制
    write_log 方法(日志写入)被调用时,_write_occurred 会被设为 true
    flush_sink 方法(主动刷新)被调用时,仅在 _write_occurredtrue 时执行实际的 fflush 操作,随后将其重置为 false
  • 优化意义
    避免在无新日志写入时频繁调用 fflush(系统调用),减少 I/O 开销。
2. 状态跟踪
  • 写入标记
    记录自上次刷新后是否有新数据写入缓冲区。若未写入,跳过刷新操作。
  • 示例场景
    若连续多次调用 flush_sink 但无新日志写入,只有第一次会真正执行 fflush

代码流程解析

写入日志时
void write_log(..., std::string_view log_statement) override {// ... 写入日志到文件safe_fwrite(...); // 实际写入操作_write_occurred = true; // 标记有写入发生
}
  • 写入后必标记:无论日志内容是否为空,只要调用 write_log 即标记为 true
主动刷新时
void flush_sink() override {if (!_write_occurred || !_file) { return; // 无写入或文件未打开时直接返回}flush(); // 执行实际刷新
}void flush() {_write_occurred = false; // 重置标记fflush(_file); // 系统调用刷新缓冲区
}
  • 条件刷新:仅在确实有写入时调用 fflush,避免无意义刷新。

设计必要性

性能优化
场景_write_occurred_write_occurred
高频写入每次 flush 触发 fflush,I/O 压力大仅在必要时触发 fflush,减少系统调用
低频写入多余的 fflush 浪费 CPU 周期无写入时跳过 fflush,节省资源
资源保护
  • 文件句柄有效性
    若文件被意外关闭(如 _file 变为 nullptr),flush_sink 会直接返回,避免操作无效指针。

典型应用场景

1. 日志批量写入
// 连续写入多条日志
sink.write_log(...); // _write_occurred = true
sink.write_log(...); // _write_occurred = true
sink.flush_sink();   // 实际刷新,重置 _write_occurred = false
sink.flush_sink();   // 直接返回(无新写入)
2. 定时刷新策略
// 定时器每 1 秒触发刷新
void on_timer() {sink.flush_sink(); // 仅当 1 秒内有新写入时刷新
}

扩展:fflush 的成本

  • 系统调用开销
    fflush 会触发用户态到内核态的上下文切换,频繁调用可能成为性能瓶颈。
  • 磁盘 I/O 延迟
    强制将缓冲区数据写入磁盘,涉及物理写操作,延迟较高。
  • 优化平衡
    通过 _write_occurred 减少 fflush 次数,在 数据安全性(及时持久化)和 性能 之间取得平衡。

总结

_write_occurred 是一个轻量级的状态标志,通过简单的布尔值跟踪写入状态,实现了:

  1. 减少冗余 I/O 操作:避免无数据时的无效刷新。
  2. 降低系统调用开销:提升高吞吐场景下的性能。
  3. 保护资源:防止操作无效文件指针。

它是高性能日志库中常见的优化手段之一,尤其适用于需要平衡实时性和吞吐量的场景。

感触:对于一些好的三方库,还是有很多值得我们学习借鉴的知识点的,需要我们多想多思考多问一个为什么


【技术人的鼓励】❤️ 如果这篇文章对您有帮助,欢迎点击打赏按钮支持博主!您的鼓励是我持续输出优质技术内容的动力,哪怕只是1元也足以让我感受到这份珍贵的认可。💰

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/39725.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机复试面试

数据库 1.设计过程/设计步骤 1.需求分析:明确客户需求,确定系统边界,生成数据字典 2.概念结构设计:将用户需求抽象为概念模型,绘制e-r图 3.逻辑结构设计:将e-r图转化为dbms相符合的逻辑结构,db…

【零基础学python】python基础语法(一)

前言:Python 是当今最受欢迎的编程语言之一,其广泛应用于 人工智能、数据科学、Web 开发、自动化 等多个领域。它以 简洁的语法、强大的标准库 和 跨平台兼容性 深受开发者喜爱。作为 机器学习和大数据的首选语言,Python 在学术研究、金融分析…

数据类设计_图片类设计之8_自由图形类设计_(前端架构)

前言 学的东西多了,要想办法用出来.C和C是偏向底层的语言,直接与数据打交道.尝试做一些和数据方面相关的内容 引入 前面的内容都是矩阵图形类,现在讨论自由图形类设计 矩阵图形类和自由图形类的差别 左图为矩阵图形类对象,右图为自由图形类对象.矩阵图形类对象单独占据一个矩…

【学习记录】大模型微调之使用 LLaMA-Factory 微调 Qwen系列大模型,可以用自己的数据训练

一、LoRA微调的基本原理 1、基本概念 LoRA(Low-Rank Adaptation)是一种用于大模型微调的技术,通过引入低秩矩阵来减少微调时的参数量。在预训练的模型中,LoRA通过添加两个小矩阵B和A来近似原始的大矩阵ΔW,从而减少需…

绿盟CSSP靶场-将已有虚拟机创建为新镜像作为新虚拟机模板

将部署了自定义软件的虚拟机,【保持镜像】将这个在运的虚拟机存为一个新的镜像。 为了保证上传的镜像是完整的,勾选【全量镜像】。 等待镜像上传完成,可以看到刚刚上传的镜像,状态也为已上传。 将镜像从私有改为共享,…

VMWare Ubuntu 详细安装教程

VMWare Ubuntu 详细安装教程 一、下载安装VMware二、下载 Ubuntu 镜像文件三、安装 Ubuntu四、开启虚拟机 一、下载安装VMware 官网下载地址https://www.vmware.com/products/desktop-hypervisor/workstation-and-fusion知乎大佬的博客原文,含下载地址https://zhua…

嵌入式c学习八

练习 一、指针数组与数组指针 #include <stdio.h>int main() {//c是一个指针数组&#xff0c;里面有4个元素每个元素都是指针 char *c[] {"hello", "world", "homed", "gotogo"}; //cp是指针数组&#xff0c;有4个元素&#…

LLaMA-Factory微调大模型

LLaMA-Factory安装 github 下载 LLaMA-Factory项目 创建虚拟环境 conda create -n llama_factory python3.10 激活 activate llama_factorytorch 安装 conda install pytorch2.3.1 torchvision0.18.1 torchaudio2.3.1 pytorch-cuda12.1 -c pytorch -c nvidia依赖安装 …

第一讲 | 解锁C++编程能力:基础语法解析

C入门基础 一、C的第一个程序二、命名空间三、C输入&输出四、缺省参数/默认参数五、函数重载六、引用1.引用的特性2.引用的使用引用做返回值场景 3.const引用只有指针和引用涉及权限放大、缩小的问题&#xff0c;普通变量没有 4.指针和引用的关系 七、inline八、nullptr 一…

【颠覆性缓存架构】Caffeine双引擎缓存实战:CPU和内存双优化,命中率提升到92%,内存减少75%

千万级QPS验证&#xff01;Caffeine智能双缓存实现 92%命中率&#xff0c;内存减少75% 摘要&#xff1a; 本文揭秘千万级流量场景下的缓存革命性方案&#xff01;基于Caffeine打造智能双模式缓存系统&#xff0c;通过冷热数据分离存储与精准资源分配策略&#xff0c;实现CPU利…

JVM 03

今天是2025/03/24 15:21 day 11 总路线请移步主页Java大纲相关文章 今天进行JVM 5,6 个模块的归纳 首先是JVM的相关内容概括的思维导图 5. 优化技术 JVM通过多种优化技术提升程序执行效率&#xff0c;核心围绕热点代码检测和编译优化实现动态性能提升。 热点代码检测 JVM…

wordpress-网站百宝箱插件

含置顶,网页宠物, 哀悼, 禁止复制, 禁止查看源码, 弹幕, WP优化,媒体分类,预加载,定时发布,在线客服, 留言板, 手机客服, 网站背景, 公告, 跑马灯, 水印, 分享, 打赏, 海报图, 广告,数据库管理,图片加载特效。等综合功能插件

Git 钩子:特定操作脚本

Git 钩子 在特定 Git 操作发生时自动触发的脚本&#xff1b; 可以从提交规范、代码质量、自动化流程、分支管理、安全性检查等多个方面进行配置&#xff0c;帮助团队提高开发效率和代码质量&#xff1b; 本地 记录提交检验 commit-msg 修改&#xff1a;\test\.git\hooks\c…

职坐标:互联网行业职业发展路径解析

内容概要 当前&#xff0c;互联网行业正以指数级速度重塑全球产业格局。数据显示&#xff0c;我国互联网市场规模在2019年上半年实现17.9%的同比增速&#xff0c;而随着工业互联网、5G等前沿技术的加速落地&#xff0c;这一增长趋势仍在强化。工信部近期发布的《新型信息基础设…

红数码影视(RED Digital Cinema)存储卡格式化后的恢复方法

红数码影视(RED Digital Cinema)的摄像机可以生成两种RAW级高清视频文件&#xff0c;一种是R3D&#xff0c;一种是MOV。其中MOV属于苹果(apple)公司的QT视频封装结构&#xff0c;使用的视频编码是Apple ProRes;而R3D则是RED公司自创的RAW视频文件&#xff0c;这种文件解码需要使…

Gitee上库常用git命令

Gitee上库常用git命令 1、Fork 项目2、个人仓库修改3、追加提交4、创建PR5、多笔commit合一 1、Fork 项目 2、个人仓库修改 git add . // -s 表示自动添加邮箱签名信息&#xff0c;-m表示其后跟随commit描述 git commit -sm “add transition freeze” git push origin [目标…

阿里开源的免费数据集成工具——DataX

企业里真实的数据流转是什么样子的呢&#xff1f; 左侧描述了一个企业真实的样子&#xff0c;我们总是需要把数据从一个地方搬到另一个地方&#xff0c;最后就是搬来搬去搬成了一张张解不开的网。 右侧则表达了使用DataX为中心实现数据的同步。 什么是DataX DataX是一个异构…

SpringBoot学习笔记(主)

文章目录 SpringBoot概述自动装配&#xff08;部分&#xff09;概述原理简述相关解释源码位置EnableAutoConfigurationAutoConfigurationImportSelector 配置文件yaml语法单双引号列表多行字符串 配置文件的位置和加载顺序配置文件取值运行jar包 Springboot整合springmvc自动管…

python多线程和多进程的区别有哪些

python多线程和多进程的区别有七种&#xff1a; 1、多线程可以共享全局变量&#xff0c;多进程不能。 2、多线程中&#xff0c;所有子线程的进程号相同&#xff1b;多进程中&#xff0c;不同的子进程进程号不同。 3、线程共享内存空间&#xff1b;进程的内存是独立的。 4、同一…

docker 安装部署 canal

1 mysql 安装 1.1 拉取镜像 docker pull mysql:8.4.41.2 创建挂载目录 mkdir -p /user/lzl/tool/docker/mysql/mysql_8.4.4/home/confmkdir -p /user/lzl/tool/docker/mysql/mysql_8.4.4/home/datamkdir -p /user/lzl/tool/docker/mysql/mysql_8.4.4/home/log1.3 编辑配置文…