reids设计与实现(一)——数据结构

文章目录

    • 1. 前言
    • 2. redis 动态字符串
      • 2.1. 字符串的数据结构:
      • 2.2. 剖析,length;
      • 2.3. 剖析,free;
      • 2.3. 使用c字符串函数;
    • 3. redis 链表
    • 4. 字典
    • 5. 跳跃表
    • 6. 整数set(intset)
      • 6.1. 升级(upgarde)
    • 7. 压缩列表(ziplist)

1. 前言

reids作为最常用的缓存数据库,深入了解,对于业务开发大有裨益,那么从这里开始,我们从《redis设计与实现》这本书,我们同最常用的字符串入手,了解redis的设计与思路。

2. redis 动态字符串

字符串作为redis最为核心,最为常用的数据类型,后面我们称sds,我们深入了解一下。

2.1. 字符串的数据结构:

在这里插入图片描述我们从数据结构入手,猜测字符串实现的功能和特性,我们可以发现,这里相比于c字符串多了两个属性。freelen

2.2. 剖析,length;

  1. 快速获取length :首先,leng最简单的效果便是可以直接获取redis字符串的长短,由于是直接获取属性,时间复杂度为O(1)。

  2. 二进制安全: 除了获取长度外,为了实现redis的sds可以存储任意数据的功能,sds通过length判断字符串是否到结尾,这和c字符串不同(‘/0’),因此可以存储任意二进制数据。

2.3. 剖析,free;

其实简单length之后发现基本功能都差不多了,那么这个free有什么作用呢?

  1. 预留free空间: 减少重新分配,在sds除了记录length之外,还会分配一倍length(1mb大小以内)的未使用空间,如果length在再次增加的情况下,不过增加的长度小于free,则不需要重新分配内存。

2.3. 使用c字符串函数;

redis虽然自行实现了字符串数据机构,但是还是在字符串末尾增加一个’/0’空字符,目的是为了使用c字符串的函数。

3. redis 链表

redis链表并没有非常奇特的地方,在redis链表中主要有两个数据结构。

  1. list 统计
    在这里插入图片描述
    这里包括list的一些概要信息和一些函数,目的是为了后面使用链表节点方便一点。
  2. listnode 节点。
    在这里插入图片描述

一般来说这个在学习数据结构中用的很多,一般情况下,只需要记录一个pre node便可以遍历整个链表。

redis链表为双向链表。并没有过于多的特殊。

4. 字典

字典又称为符号表,map,key-value。

  1. dictht(hash)表,属性包括,hash表数组,表大小,hash表大小掩码,已有节点数量。
    在这里插入图片描述

  2. dictEntry表数据,是key-value结构
    在这里插入图片描述

redis对于hash冲突的解决方案是链地址法,即如果冲突,在原来dictEntrt下面通过next链接冲突节点。

  1. 字典,hash的上层结构,和java中的hashMap功能类似。
    在这里插入图片描述
    dictType 可以指定不同低操作函数。
    ht 为两个hash表,另外一个用于备份。(在再hash时使用)

  2. hash算法: hash算法和普通的hash表别无二致,通话hash算法,hash(key)& mask把数组放到表里。

  3. hash冲突
    redis使用链地址发把键值对存储在链表之前解决冲突,这样的时间复杂度为O(1)。

  4. rehash
    当hash表空间不够的时候,一般需要再次hash,
    渐进式再hash,在渐进式 rehash 过程中,Redis 会同时保持旧的哈希表和新的哈希表。然后,在每次执行命令时,Redis 会从旧哈希表中移动一小批键值对到新哈希表,这个过程分散在多个操作中逐步完成。

具体条件为

  1. 当负载因子大于1且没在持久化(BGSAVE,BGREWRITEAOF)会进行再hash。
  2. 当负载因子大于3,目前在执行BGSAVE,BGREWRITEAOF)时,会进行再hash。
  3. 在负载因子小于0.1时,会进行收缩。
  1. BGSAVE 命令用于在后台创建 Redis 数据库的快照。当执行此命令时,Redis 会 fork 出一个子进程,子进程则将内存中的数据写入到磁盘上的一个 RDB 文件中。这个过程不会阻塞主 Redis 进程,所以 Redis 可以继续处理客户端请求。RDB(Redis DataBase)文件是一个压缩的二进制文件,表示某一时刻 Redis 数据库的完整快照
  2. BGREWRITEAOF 命令用于优化 AOF(Append Only File)文件的大小。Redis 的 AOF 持久化通过记录数据库的所有写操作到一个文件中来工作,这个文件随着操作的积累会不断增长。BGREWRITEAOF 命令会在后台创建一个当前数据的最小操作集,以此来重写 AOF 文件,这个过程同样不会阻塞主 Redis 进程。

5. 跳跃表

跳跃表几乎只用于有序集合。
在这里插入图片描述

  1. zskiplistNode: 这是跳跃表的节点结构定义。每个节点代表有序集合中的一个元素。
  2. zskiplistLevel: 这个结构体定义了跳跃表节点在不同层级的信息,每个节点可以有一个或多个层级(level)。
  • forward: 是一个指向同一层级的下一个节点的指针。在查找操作中,这个指针允许我们“跳过”一些节点,从而更快地在跳跃表中进行搜索。

  • span: 这是一个无符号整数,它记录了当前节点与通过 forward 指针所指向的下一个节点之间的跨度。在进行范围查询或者计算排名时,这个值非常有用,因为它可以快速计算出两个节点之间的间隔。
    backward: 这是一个指向当前节点前一个节点的指针,在双向遍历时使用。

  1. score: 这是一个双精度浮点数,用来保存节点的分数值。在有序集合中,元素是根据这个分数进行排序的,分数相同时则按照存储的对象(obj)来进行字典序比较。

  2. obj: 这是一个指向实际存储数据的指针,通常是一个字符串类型。在 Redis 中,这是指向 robj(Redis 对象)的指针,它可以存储字符串、列表、哈希表等不同类型的数据结构。

  3. level[]: 这是一个大小可变的数组,它的具体长度取决于节点所在的层数。这个数组存储每一层的 zskiplistLevel 结构体,允许节点在跳跃表的多个层级上存在。

可以通过zskiplist持有这些节点。
在这里插入图片描述
为什么要用跳跃表?

简单性:跳表的算法和代码实现相比平衡树要简单得多。对于平衡树,如 AVL
树或红黑树,它们的旋转操作逻辑复杂,难以编写且容易出错。跳表提供了一种容易理解和实现的高效有序数据结构。

效率:跳表的查找、插入和删除操作的平均时间复杂度都是 O(log n),与平衡树相当。

灵活性:跳表支持快速的顺序访问和有效的范围查询,这对于数据库索引来说是非常重要的。

并发性:跳表的数据结构更容易实现锁定机制,这使得在并发环境下的性能表现更好。由于节点的层次结构,跳表可以更容易地实现细粒度锁或无锁并发算法。

动态:跳表无需预先知道数据规模,它可以根据实际需要动态地进行扩展,这在不可预知数据量的实时系统中非常有用。

空间效率:虽然跳表的多层结构需要额外的空间来存储指针,但它的空间复杂度仍然是线性的(O(n)),而且在实践中这个额外空间的使用通常是可控的。

实践:在实际应用中,跳表往往能够提供与平衡树相似或有时候更优的性能表现,特别是在插入和删除操作频繁的场景中。

6. 整数set(intset)

整数集合是集合键的底层实现之一,当一个集合包含整数值元素,并且这个集合的元素数量不多时,redis就会使用整数集合作为集合键的底层实现。

在这里插入图片描述

  1. encoding: 整数类型位宽
    决定着整数是几位的。

  2. length: 集合中元素数量

  3. contents 元素集合
    元素集合仅仅手encoding影响。
    intset 主要支持三种整数编码类型:16 位、32 位和 64 位整数

6.1. 升级(upgarde)

整数集合一般默认会给于较小的整数类型,如16位。

不过当加入一个新的集合元素,数据类型大于整数位宽的话,会进行升级操作,以便存入新的较长的整数。

下面简述下升级步骤

  1. 根据新元素的类型,拓展地城数组空间的大小。
  2. 将原来元素全部转换成新的元素。
  3. 将新元素添加到数组中。

有序集合不支持降级。

思考一下为什么?

  1. 判断麻烦
    升级操作只需大于当前数据类型即可,降级操作需要所有元素小于更小一档数据类型的长度,难以判断。

7. 压缩列表(ziplist)

Redis 的压缩列表(ziplist)是一种为了节省内存而设计的紧凑数据结构,用于存储整数值、小字符串或者一些较小的聚合数据结构,如小哈希表、小列表等。压缩列表是 Redis 内部使用的一种序列化方式,它通过在一个连续的内存区域中紧密排列数据元素来减少内存占用。

  1. 列表结构
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/274030.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

弹性盒子布局 Flexbox Layout

可以嵌套下去 1.display 属性 默认行排列 <style>.flex-item{ height: 20px;width: 10px;background-color: #f1f1f1;margin: 10px;}</style> </head> <body> <div class"flex-container"><div class"flex-item">1&l…

maven项目引入私有jar,并打包到java.jar中

私有jar存放位置 maven依赖 <dependency><groupId>com.hikvision.ga</groupId><artifactId>artemis-http-client</artifactId><version>1.1.10</version><scope>system</scope><systemPath>${project.basedir}/s…

[LeetCode][426]【学习日记】将二叉搜索树转化为排序的双向链表——前驱节点pre 和 当前节点cur 的使用

题目 426. 将二叉搜索树转化为排序的双向链表 将一个 二叉搜索树 就地转化为一个 已排序的双向循环链表 。 对于双向循环列表&#xff0c;你可以将左右孩子指针作为双向循环链表的前驱和后继指针&#xff0c;第一个节点的前驱是最后一个节点&#xff0c;最后一个节点的后继是第…

[Unity3D]--更换天空盒子

我们原来的天空盒子是这样的。 感觉不是特别满意&#xff0c;想换一个更好看的。 去资源商店找个好看的 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 例如这个 然后在Window>Rendering>Lighting里的环境选项里更换材质 更换&#xff1a; ​ …

【React】AntV G6 - 快速入手

环境 react&#xff1a; ^18next: 14.1.0antv/g6: ^4.8.24 安装 npm install antv/g6# or pnpm add antv/g6# or yarn add antv/g6使用 模拟数据 const data {nodes: [ // 节点信息{id: "node1",data: {name: "Circle1"}},{id: "node2",d…

OpenCV开发笔记(七十七):相机标定(二):通过棋盘标定计算相机内参矩阵矫正畸变摄像头图像

若该文为原创文章&#xff0c;转载请注明原文出处 本文章博客地址&#xff1a;https://hpzwl.blog.csdn.net/article/details/136616551 各位读者&#xff0c;知识无穷而人力有穷&#xff0c;要么改需求&#xff0c;要么找专业人士&#xff0c;要么自己研究 红胖子(红模仿)的博…

vscode设置setting.json

{ // vscode默认启用了根据文件类型自动设置tabsize的选项 "editor.detectIndentation": false, // 重新设定tabsize "editor.tabSize": 2, // #每次保存的时候自动格式化 // "editor.formatOnSave": true, // #每次保存的时候将代码按eslint格式…

【鸿蒙 HarmonyOS 4.0】Web组件

一、介绍 页面加载是Web组件的基本功能。根据页面加载数据来源可以分为三种常用场景&#xff0c;包括加载网络页面、加载本地页面、加载HTML格式的富文本数据。 二、加载网页 2.1、加载在线网页 Web组件的使用非常简单&#xff0c;只需要在Page目录下的ArkTS文件中创建一个…

开源好用的所见即所得(WYSIWYG)编辑器:Editor.js

文章目录 特点基于区块干净的数据 界面与交互插件标题和文本图片列表Todo表格 使用安装创建编辑器实例配置工具本地化自定义样式 今天介绍一个开源好用的Web所见即所得(WYSIWYG)编辑器&#xff1a; Editor.js Editor.js 是一个基于 Web 的所见即所得富文本编辑器&#xff0c;它…

蓝牙系列十二:协议栈ATT层分析

ATT层是一个非常重要的层&#xff0c;定义了各种属性、属性的操作方法&#xff0c;但是这些属性有什么作用&#xff0c;能给用户提供什么服务&#xff0c;它并不知道。 下面这个图是BLE协议各层跟医院的各个科室的类比图&#xff1a; 跟医院类比&#xff0c;ATT层就是化验室&a…

数据治理实践——金融行业大数据治理的方向与实践

目录 一、证券数据治理服务化背景 1.1 金融数据治理发展趋势 1.2 证券行业数据治理建设背景 1.3 证券行业数据治理目标 1.4 证券行业数据治理痛点 二、证券数据治理服务化实践 2.1 国信证券数据治理建设框架 2.2 国信证券数据治理建设思路 2.3 数据模型管理 2.4 数据…

Python的http模块requests

目录 1、安装requests模块 首先&#xff0c;确保已经安装了requests模块。如果没有安装&#xff0c;可以使用以下命令安装&#xff1a; 2、导入requests模块 在Python脚本中&#xff0c;导入requests模块&#xff1a; 3、发送HTTP请求 使用requests模块发送HTTP请求非常简单。…

【2024金三银四】

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老导航 檀越剑指大厂系列:全面总结 jav…

Java项目源码基于springboot的家政服务平台的设计与实现

大家好我是程序员阿存&#xff0c;在java圈的辛苦码农。辛辛苦苦板砖&#xff0c;今天要和大家聊的是一款Java项目源码基于springboot的家政服务平台的设计与实现&#xff0c;项目源码以及部署相关请联系存哥&#xff0c;文末附上联系信息 。 项目源码&#xff1a;Java基于spr…

狂飙Linux平台,PostgreSQL16部署大全

&#x1f4e2;&#x1f4e2;&#x1f4e2;&#x1f4e3;&#x1f4e3;&#x1f4e3; 哈喽&#xff01;大家好&#xff0c;我是【IT邦德】&#xff0c;江湖人称jeames007&#xff0c;10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】&#xff01;&#x1f61c;&am…

Docker基础教程 - 12 常用容器部署-Nginx

更好的阅读体验&#xff1a;点这里 &#xff08; www.doubibiji.com &#xff09; 12 常用容器部署-Nginx 下面介绍一下常用容器的部署。可以先简单了解下&#xff0c;用到再来详细查看。 在 Docker 中部署 Nginx&#xff0c;并通过挂载方式将 Nginx 的配置文件和站点目录挂…

Day24:安全开发-PHP应用文件管理模块显示上传黑白名单类型过滤访问控制

目录 文件管理模块-上传-过滤机制 文件管理模块-显示-过滤机制 思维导图 PHP知识点 功能&#xff1a;新闻列表&#xff0c;会员中心&#xff0c;资源下载&#xff0c;留言版&#xff0c;后台模块&#xff0c;模版引用&#xff0c;框架开发等 技术&#xff1a;输入输出&#…

HybridCLR热更新介绍

官方文档 参照视频 HybridCLR介绍 HybridCLR是一个特性完整、零成本、高性能、低内存的近乎完美的Unity全平台原生c#热更方案 HybridCLR与ToLua/XLua、ILRuntime有什么不同 什么是游戏热更新&#xff1a;有热更的游戏更新流程 游戏热更新的种类 资源热更新&#xff1a;主要…

软考 系统架构设计师之回归及知识点回顾(6)

接前一篇文章&#xff1a;软考 系统架构设计师之回归及知识点回顾&#xff08;5&#xff09; 10. 边缘计算 边云协同 边缘计算与云计算各有所长&#xff0c;云计算擅长全局性、非实时、长周期的大数据处理与分析&#xff0c;能够在长周期维护、业务决策支撑等领域发挥优势&…

【Emgu CV教程】9.2、形态学常用操作之膨胀

文章目录 一、膨胀1.什么叫膨胀2.膨胀的作用3.膨胀的函数 三、演示1.原始素材2.代码3.运行结果 一、膨胀 1.什么叫膨胀 前面讲的是腐蚀&#xff0c;与其相反的操作&#xff0c;就是膨胀。二值化图片以黑色为背景&#xff0c;白色为前景物体。膨胀就是扩张前景物体的边缘。其原…