自下而上-存储全栈(TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4)存储技术专家成长路线

数字化时代的到来带来了大规模数据的产生,各行各业都面临着数据爆炸的挑战。 随着云计算、物联网、人工智能等新兴技术的发展,对存储技术的需求也越来越多样化。不同应用场景对存储的容量、性能、可靠性和成本等方面都有不同的要求。具备存储技术知识和技能的人才更具有竞争力。

在这里插入图片描述

存储技术专家成长路线

技术点主要运用在存储库架构设计、企业级存储系统、分布式存储系统、云存储系统、分布式数据库、高性能存储引擎、文件系统等领域。

1.接口驱动层

在存储开发中,接口驱动层是指用于访问和操作底层存储系统的软件层。它提供了标准化的接口规范,使应用程序能够对存储设备进行读取、写入、管理和配置等操作。

  • NVMe(Non-Volatile Memory Express 是一种高性能、低延迟的存储接口协议,专门为固态硬盘(SSD)设计而开发的。)
  • SATA(Serial Advanced Technology Attachment 是一种串行的计算机总线接口,广泛应用于存储设备、光驱、显卡等各种计算机硬件中。在存储开发中的作用是提供基本的存储接口、提供高带宽传输、兼容性强和价格低廉。)
  • SCSi(Small Computer System Interface 是一种用于计算机和外部设备间进行数据传输的接口标准。提供高性能数据传输,支持多设备连接,提供高可靠性和冗余性,并具有高度灵活性。)
  • RDMA(Remote Direct Memory Access 是一种数据传输机制,允许两个计算机在不使用CPU的情况下直接从彼此的内存中读取和写入数据。在存储开发中的作用是降低延迟、提高吞吐量,提升存储性能,增强可靠性和数据完整性,并简化存储网络架构。)

2.内核层

内核层通常指的是存储软件的核心组成部分,即负责实现存储系统的基本功能和服务的程序模块。内核层通常包含多个子模块,例如文件系统、卷管理、快照、克隆、数据保护和恢复等,这些子模块共同构成了存储系统的核心。

  • ext4(第四扩展文件系统,是Linux操作系统中常用的一种文件系统。学习ext4文件系统可以帮助存储开发人员更好地理解和应用文件系统相关的技术和原理,从而提升存储系统的性能、可靠性和扩展性。)
  • xfs(XFS是一种高性能的文件系统,学习XFS可以帮助理解和应用高性能、大规模数据管理、可靠性和扩展性等方面的知识)
  • btrfs(Btrfs是一种先进的Linux文件系统,它的全称是B-tree file system。Btrfs采用了许多先进的技术,如快照、校验和、多设备支持等,可以提供出色的性能、可靠性和灵活性。学习Btrfs可以帮助掌握先进的存储技术、理解大规模数据管理、实现快照和备份、保护数据完整性等方面的知识。这些都是构建高效、可靠的存储系统所必需的技能和知识。)
  • procfs(procfs是一个虚拟的文件系统,用于提供有关系统和进程状态的动态信息。学习procfs可以更好地理解和管理存储系统。)
  • tracefs(tracefs是一个用于跟踪和调试内核的文件系统。它提供了一种方便的机制来跟踪和调试内核函数的执行流程和性能数据,可以帮助存储开发人员解决内核相关的问题、优化存储系统的性能,并验证功能的正确性。)
  • 项目:无存储文件系统Kingfs
  • 项目: nvme文件系统zerofs

3.vfs

VFS(Virtual File System,虚拟文件系统)是一个抽象层,用于在操作系统中统一管理不同的文件系统类型和访问方式。它是操作系统内核中的一部分,提供了对文件和文件系统的抽象接口,使得应用程序可以通过统一的方式来访问各种不同类型的文件系统。

学习VFS可以帮助理解和支持多种文件系统类型,简化文件系统与存储系统的交互方式,优化文件系统的性能,以及调试和开发文件系统。

io_uring

io_uring 是一个 Linux 内核提供的异步 I/O 框架,它旨在提供高性能和低延迟的 I/O 操作。io_uring 的设计目标是为用户空间程序提供一种高效的异步 I/O 接口,以取代传统的阻塞式 I/O 和其他异步 I/O 接口的局限性。

通过使用 io_uring,开发人员可以利用其高性能、低延迟和异步并行的特性来优化应用程序的 I/O 操作。它适用于需要处理大量 I/O 的场景,例如数据库、文件服务器、网络服务器等。同时,io_uring 的设计和接口相对简洁,易于使用和理解,使开发人员能够更容易地编写高效的异步 I/O 程序。

  • io_uring异步io
  • cq与sq的运行原理
  • 无锁队列
  • io_uring的setup/enter/register
  • liburing的开发库
  • liburing接口与psync接口的关系
  • 内存映射IO (mmap)
  • 零拷贝
  • psync与io_uring的iops性能对比
  • io_uring与epoll的qps对比
  • 项目:实现tcp+io_uring

fuse

FUSE(Filesystem in Userspace)是一个在用户空间实现文件系统的框架。它允许开发人员通过编写用户空间程序来创建自定义的文件系统,而无需修改操作系统内核。

帮助理解实现灵活的存储系统、定制化的数据管理逻辑,掌握文件系统操作和性能优化的技巧,并具备跨平台开发的能力。

  • fuse的运行原理
  • fuse内核模块
  • libfuse的开发库
  • fuse_operation结构体分析
  • 实现fuse文件系统
  • 项目:fuse与opencv实现图片加水印

4.SPDK

SPDK(Storage Performance Development Kit)是一个用于构建高性能存储应用程序的开源软件开发工具包。它专注于利用现代硬件和存储技术的特性,以最大化存储应用程序的性能。

SPDK 提供了一组库、驱动程序和工具,帮助开发人员构建低延迟、高吞吐量的存储应用程序。

SPDK 主要用于构建高性能存储应用程序,如存储控制器、分布式存储系统、虚拟化存储、数据库存储引擎等。

学习SPDK帮助你构建高性能存储应用程序,理解和应用用户空间驱动程序开发、零拷贝数据传输、事件驱动架构等关键技术,提高存储系统的性能和响应速度。

项目:文件系统

  • spdk blob文件系统设计分析
  • 文件系统引入线程与json配置解析
  • blobstore与blob的关系
  • 4层结构设计vfs
  • 从bIob读写到文件系统的原语操作实现
  • spdk的异步改造posix同步api
  • open/write/read/close的实现
  • LD_PRELOAD更好mysq|系统调用实现
  • iodepth讲解
  • 随机读,随机写,顺序读,顺序写

项目:NVMe的kv存储

  • KV存储拆解Set,Get,Mod,Del
  • bdev与blob对于kv存储的选择
  • kv service接口 set,get,modify,delete
  • pagechunk的get与put
  • btree/hash/map/radixtree/rbtree之间的选择
  • slab分配slot与释放slot
  • 为kv存储加上conf文件
  • kv存储测试用例与性能测试

5.应用层

项目:图床存储引擎 fastdfs

FastDFS是一个开源的分布式文件系统,它旨在解决大规模文件存储问题。FastDFS具有高性能、高可靠性和可扩展性,适用于需要存储大量小文件的场景,如图片存储、视频存储等。

学习FastDFS可以帮助你构建高性能、可扩展和可靠的分布式文件存储系统,满足大规模文件存储和检索的需求。此外,FastDFS的轻量级部署和易用性也使其成为存储开发的一种理想选择。

  • fastdfs架构分析和配置
  • 快速配置fastdfs
  • 上传文件逻辑分析
  • 下载文件逻辑分析
  • tracker,storage分 析
  • 存储机制
  • 支持断点续传
  • 相同文件内容只保存一份
  • 同步机制
  • 线性扩容
  • 如何实现高可用
  • 负载均衡
  • fastdfs-nginx-module模块分析
  • fastcgi请求与响应
  • nginx与fastcgi如何通信
  • nginx-fastcgi-fastdfs如何实现上传下载
  • http接口设计
  • 图床数据库设计
  • 图床文件上传,下载,分享功能实现
  • 业务流程实现

ceph

Ceph是一个开源的分布式存储系统,旨在提供可扩展性、高性能和高可靠性的存储解决方案。Ceph的设计理念是通过将存储和计算资源整合在一起,构建一个统一的分布式存储平台,能够同时支持对象存储、块存储和文件系统存储。

通过学习和使用Ceph可以构建高可靠性、高性能和可扩展的分布式存储解决方案,满足不同应用对存储的需求。

  • ceph的Docker集群部署
  • librados写入
  • 后端存储 ObjectStore
  • 存储池
  • 数据操作流程
  • RBDCache具体实现
  • Ceph加密和压缩
  • CRUSH算法
  • dmClock客户端
  • Ceph性能测试与分析

RockDB

RockDB是一个高性能、可靠性强且易于使用的嵌入式键值存储引擎。它适用于需要快速、持久化存储和检索大量数据的应用程序,并提供了灵活的数据模型选择。

学习RockDB可以帮助你掌握嵌入式高性能存储引擎的集成和应用,以满足应用程序对数据存储的高性能、持久化和可靠性等需求。这对于构建高效的数据存储系统和提供良好的用户体验至关重要。

  • LSM-Tree对于磁盘访问速度
  • Memtable落盘策略
  • SST文件格式
  • 预写式日志 Write-Ahead Log
  • BlockCache LRU缓存
  • Clock缓存机制
  • 写入流程
  • 读取流程
  • LSM-Tree的三大问 题
  • In-Memory Write Buffer

TiDB

TiDB是一个具有分布式架构、强一致性、ACID事务支持和水平扩展能力的开源关系型数据库。

学习TiDB可以帮助你掌握分布式关系型数据库的设计、部署和优化技术,满足应用程序对高可用性、扩展性和性能的要求,从而更好地应对大规模数据存储和处理的挑战。

  • 分布式关系型数据库 兼容MySQL5.7
  • TiDB分布式数据库整体架构
  • 水平扩展 redis-cluster
  • HTAP的OLTP与OLAP
  • TiDB本地部署
  • 集群测试
  • TiDB Server的模块分析
  • Physical与Logical Opt iomizer
  • 存储节点与数据映射关系
  • PD Server调度
  • TiKV Server数据存储
  • 分布式事务与MPP
  • WriteStall写停顿
  • raft运行机制
  • 两阶段提交
  • 隔离级别
  • MVCC
  • TiFlash的列式存储
  • raft列、lock列、write列、default列

系统性视频教程

详情 自下而上-存储全栈(TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4)

20+存储领域必备技术点

5个手写实现项目

1W+行代码

参考资料

  • ext4 Data Struct And Algorithms
  • NVM-Express-Base- Specification-2.0c-2022
  • A Remote Direct Memory Access Protocol Specificati on(rfc5040)
  • SCSl Commands Reference Manual
  • Serial ATA International Organization
  • Supplement to InfiniBand Architecture Specification
  • XFS FileSystem Structure
  • BTRFS: The Linux B-Tree FileSystem

对标岗位

  • 存储开发工程师
  • 分布式存储工程师
  • 云存储开发工程师
  • KV存储技术专家
  • SPDK开发工程师
  • 存储引擎研发工程师

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/215594.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

关系型数据库-SQLite介绍

优点: 1>sqlite占用的内存和cpu资源较少 2>源代码开源,完全免费 3>检索速度上十几兆、几十兆的数据库sqlite很快,但是上G的时候最慢 4>管理简单,几乎无需管理。灵巧、快速和可靠性高 5>功能简…

JVM 性能调优

概述篇 面试题 讲讲你理解的性能评价及测试指标?(瓜子) 生产环境中的问题 生产环境发生了内存溢出该如何处理?生产环境应该给服务器分配多少内存合适?如何对垃圾回收器的性能进行调优?生产环境CPU负载飙高…

为什么近期白酒市场股票暴跌?2024年中高端酒企发展如何撬动市场?

为什么近期白酒市场股票暴跌?2024年中高端酒企发展如何撬动市场? 近期白酒市场股票暴跌的原因主要有两个方面:一是宏观经济环境的不景气,导致投资者对白酒行业的未来发展持谨慎态度;二是白酒市场竞争激烈,龙…

喜报|电巢科技获批教育部第三期供需对接就业育人项目100项!

项目获批 近日,教育部公布了第三期供需对接就业育人项目立项名单,电巢科技获批此次供需对接就业育人项目100项,其中包括定向人才培养培训项目40项、就业实习基地项目40项、人力资源提升项目20项。 在教育部高校学生司指导下,电巢…

Rust 学习

Rust 官网:https://www.rust-lang.org/zh-CN/ 1、Rust 简介 Rust 是一门注重安全(safety)、速度(speed)和并发(concurrency)的现代系统编程语言。Rust 通过内存安全来实现以上目标,但…

人体关键点检测2:Pytorch实现人体关键点检测(人体姿势估计)含训练代码

人体关键点检测2:Pytorch实现人体关键点检测(人体姿势估计)含训练代码 目录 人体关键点检测2:Pytorch实现人体关键点检测(人体姿势估计)含训练代码 1. 前言 2.人体关键点检测方法 (1)Top-Down(自上而下)方法 (2)Bottom-Up(自下而上)方法&#xff1…

听GPT 讲Rust源代码--src/tools(8)

File: rust/src/tools/rust-analyzer/crates/ide-assists/src/handlers/add_missing_match_arms.rs 在Rust源代码中,rust-analyzer是一个Rust编程语言的语言服务器。它提供了代码补全、代码重构和代码导航等功能来帮助开发者提高编码效率。 在rust-analyzer的代码目…

【改进YOLOv8】杂草识别系统:融合YOLO-MS的MS-Block改进YOLOv8

1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 研究背景与意义 随着人工智能技术的不断发展,计算机视觉领域的研究也取得了巨大的进展。目标检测是计算机视觉中的一个重要任务,它的应用范围广泛&#x…

安装anaconda

以管理员身份运行 配置环境变量(图中五个都要配置)

Opencv UI自动化应用人脸识别

OpenCV: Open Source Computer Vision Library OpenCV是一个开源的计算机视觉库,它提供了很多函数,这些函数非常高效地实现了计算机视觉算法 OpenCV官网:http://www.opencv.org.cn/ OpenCV 使用 C/C 开发,同时也提供了 Python、Ja…

智能无人零售:革新零售消费体验的未来

智能无人零售:革新零售消费体验的未来 在当今数字化时代,智能无人零售正以惊人的速度改变着我们的购物方式和消费体验。这一新兴领域的发展,为消费者带来了前所未有的便利和个性化选择。 智能无人零售是指利用先进的智能技术和自动化系统&…

【模拟】LeetCode-48. 旋转图像

旋转图像。 给定一个 n n 的二维矩阵 matrix 表示一个图像。请你将图像顺时针旋转 90 度。 你必须在 原地 旋转图像,这意味着你需要直接修改输入的二维矩阵。请不要 使用另一个矩阵来旋转图像。 示例 1: 输入:matrix [[1,2,3],[4,5,6]…

Citespace、vosviewer、R语言的文献计量学可视化分析

文献计量学是指用数学和统计学的方法,定量地分析一切知识载体的交叉科学。它是集数学、统计学、文献学为一体,注重量化的综合性知识体系。特别是,信息可视化技术手段和方法的运用,可直观的展示主题的研究发展历程、研究现状、研究…

2023年【烟花爆竹储存】考试及烟花爆竹储存证考试

题库来源:安全生产模拟考试一点通公众号小程序 烟花爆竹储存考试参考答案及烟花爆竹储存考试试题解析是安全生产模拟考试一点通题库老师及烟花爆竹储存操作证已考过的学员汇总,相对有效帮助烟花爆竹储存证考试学员顺利通过考试。 1、【单选题】B级成品(…

Nginx首页修改及使用Nginx实现端口转发

按照我之前博客给的方法搭建好这样一个CTF靶场 但是呢它默认是在8000端口 如何直接访问IP地址或者域名就可以实现直接访问到靶场呢 我们需要将80端口的内容转发到8000,使用nginx实现端口转发功能 首先我们安装nginx: 安装工具和库 yum -y install gc…

AI 种菜革命:农业科学家们的探索/《流浪地球》导演感受到AI的威胁,《浪球3》也遇灵感洗礼 | 魔法半周报

我有魔法✨为你劈开信息大海❗ 高效获取AIGC的热门事件🔥,更新AIGC的最新动态,生成相应的魔法简报,节省阅读时间👻 🔥 资讯预览 AI 种菜革命:农业科学家们的探索 《流浪地球》导演感受到AI的威…

Go语言学习:第1天

一、为什么开始学go语言 我自己是做测试的,所测试项目使用的是go语言。开始学习go语言的原因有两个:一方面,为了更好的做好工作; 另一方面,为了提高自己的核心竞争力。 二、第1天学习到的内容 2.1 Go是怎么解决包依…

托盘四向穿梭车自动化密集库供应|单机智能向系统智能跨越的HEGERLS托盘四向车系统

随着物流产业的迅猛发展,托盘四向穿梭式自动化密集仓储系统可认为是在穿梭车货架系统基础上提出的一种新仓储概念。托盘四向穿梭式立体库因其在流通仓储体系中所具有的高效密集存储功能优势、运作成本优势与系统化智能化管理优势,已发展为仓储物流的主流…

vue的el-table多选对某个选项进行禁用

文档相关链接 el-table多选官方文档 用法 <el-table-column type"selection" width"55" :selectable"selectable"></el-table-column>selectable(row, index) { // row当前列队数据if (row.disabled) { // 判断条件return false; …

仿短视频风格的自适应苹果CMS模板源码

这是一款仿短视频风格的自适应苹果CMS模板源码&#xff0c;设计简洁&#xff0c;适合用于搭建个人视频网站或者短视频分享平台。模板支持响应式布局&#xff0c;演示地 址 runruncode.com/yingshimanhau/19650.html 适配各种屏幕尺寸&#xff0c;功能丰富&#xff0c;用户体验良…