【redis】缓存设计规范

本文是 Redis 键值设计的 14 个核心规范与最佳实践,按重要程度分层说明:


一、通用数据类型选择

这里我们先给出常规的选择路径图。
redis常规选择路径
以下是对每个步骤的分析:

  1. 是否需要排序?
    • zset(有序集合)用于排序的唯一值,而list用于排序的重复值。
  2. 数据是否唯一?
    • set用于存储唯一的值。
  3. 是否需要存储对象?
    • Hash适合存储对象或具有多个字段的结构。
  4. 考虑操作频率?
    • StringHash`都是Redis中最常用的数据类型,适用于高频读写操作。
  5. 数据大小和内存占用大?
    • Bitmap适合存储大量数据,同时占用较少的内存。
  6. 消息队列?
    • stream是Redis用于实现消息队列的数据类型。
  7. 原子操作和数据过期?
    • lua脚本可以用于实现原子操作,而Redis的过期机制可以用于数据过期。

二、键设计规范(Key Design)

  1. 命名规范

    • 格式:业务模块:数据维度:唯一标识(例:user:profile:10001
    • 强制要求:禁止包含空格、换行符、不可见字符
    • 建议:长度控制在 100 字节以内(内存敏感场景)
  2. 大Key规避

    • 单Key值大小限制:
      • String 类型 ≤ 10KB
      • Hash/List/Set/Zset 元素数 ≤ 5000
    • 超标处理方案:
      • 数据分片(例:user:10001:cart_page1)
      • 启用压缩(客户端压缩 + LZF Redis压缩)
  3. 过期策略

    • 必须设置过期时间(包括持久化数据,建议 30 天兜底)
    • 不同过期时间策略:
      -- 使用随机过期时间避免批量过期导致的毛刺
      local expire_time = 86400 + math.random(0, 3600)
      redis.call('EXPIRE', KEYS[1], expire_time)
      

三、值设计规范(Value Design)

  1. 数据结构选择原则

    • 按使用频率选择:
      高频读写 → String/Hash
      范围查询 → ZSET
      去重计算 → Set/HLL
      关系查询 → RedisGraph(需 4.0+)
      
    • 禁止将 Redis 当关系型数据库使用(避免复杂关联查询)
  2. JSON序列化陷阱

    • 推荐方案:
      • 高频字段拆解为 Hash 字段
      • 保留完整 JSON 作为 fallback 方案
    • 优化案例:
      HMSET user:10001 name "John" age 30 
      SET user:10001:full '{...}' EX 3600
      
  3. 计数器设计

    • 必须使用 INCR/DECR 代替 GET+SET
    • 集群环境推荐使用 INCRBY float 代替整数运算

三、高级优化策略

  1. 内存优化技巧

    • Hash 使用 ziplist 编码:
      redis.conf 配置:
      hash-max-ziplist-entries 512
      hash-max-ziplist-value 64
      
    • 使用 SSCAN/ZSCAN 替代 SMEMBERS/ZRANGE
  2. 热点Key治理

    • 检测方法:redis-cli --hotkeys
    • 解决方案:
      • 本地缓存 + 异步刷新
      • Key 分片(例:hotkey_v1 → hotkey:{shard_id}:v1)
  3. 事务与管道

    • 管道(pipeline)批量操作控制在 100 命令/批次
    • Watch 事务中避免包含耗时操作

四、集群与持久化

  1. 集群规范

    • 单个分片内存 ≤ 10GB(AWS 内存优化型实例)
    • 跨槽操作使用 Hash Tag 需满足:
      • 相关Key必须使用相同{}内容
      • 示例:{user10001}.orders, {user10001}.profile
  2. 持久化策略

    • AOF 配置:
      appendfsync everysec
      auto-aof-rewrite-percentage 100
      auto-aof-rewrite-min-size 64mb
      
    • RDB 快照周期 ≥ 15 分钟

五、避坑指南

  1. 危险命令禁用

    rename-command FLUSHALL ""
    rename-command KEYS "internal_KEYS"
    
  2. 慢查询防御

    • 设置超时阈值:
      slowlog-log-slower-than 5000 # 5ms
      
    • 定期分析:SLOWLOG GET 50
  3. 连接池配置

    // Jedis 最佳配置示例
    JedisPoolConfig config = new JedisPoolConfig();
    config.setMaxTotal(500);         // 最大连接数
    config.setMaxIdle(100);          // 最大空闲连接
    config.setMinIdle(20);           // 最小空闲连接
    config.setMaxWaitMillis(2000);   // 最大等待时间
    

六、案例

以下通过 6个高频场景的对比案例 说明 Redis 键值设计的核心规范,帮助直观理解:


案例1:用户信息存储设计

❌ 错误做法

# 大JSON直接存储String类型,无过期时间
SET user_10001 '{name:"John",age:30,address:"...20个字段...",lastLogin:...}'

问题

  • Key无业务含义,易冲突
  • Value超10KB违反大Key规范
  • 高频读取时需全量解析JSON

✅ 正确方案

# 模块化Key命名 + Hash分字段存储 + 过期时间
HMSET user:profile:10001 name "John" age 30 address "..." lastLogin 1717040000
EXPIRE user:profile:10001 2592000  # 30天过期

优化点

  • 键结构清晰:业务模块:数据维度:ID
  • 高频字段独立存取,减少网络传输
  • 兜底过期避免数据堆积

案例2:电商购物车设计

❌ 错误做法

# 用List存储所有商品ID(可能产生大Key)
LPUSH cart:10001 "sku_123:5" "sku_456:3" ...(5000+商品)

问题

  • 超出5000元素的大Key阈值
  • 分页查询困难

✅ 正确方案

# Hash分片存储 + 计数器
HMSET cart:10001:page1 sku_123 5 sku_456 3
HMSET cart:10001:page2 sku_789 2 ...
# 获取商品数量(原子操作)
HINCRBY cart:10001:page1 sku_123 1 

优化点

  • 分片控制单个Key元素数量
  • 利用Hash字段的原子计数特性

案例3:秒杀库存热点Key

❌ 错误做法

# 集中式库存计数器(产生热点Key)
SET stock:sku_8888 1000
DECR stock:sku_8888  # 所有请求集中访问此Key

问题

  • 单Key承受极高QPS
  • 集群模式下无法分散压力

✅ 正确方案

# 库存分片设计
SET stock:sku_8888:shard1 200
SET stock:sku_8888:shard2 200
...
SET stock:sku_8888:shard5 200# 客户端随机选择分片扣减
DECR stock:sku_8888:shard{random(1-5)}

优化点

  • 通过分片分散热点
  • 结合本地缓存减少Redis访问

案例4:页面访问计数器

❌ 错误做法

# 非原子操作导致计数不准
count = redis.GET('page_view:home')
redis.SET('page_view:home', count+1)

问题

  • 并发场景下数据不一致
  • 频繁GET/SET产生大量请求

✅ 正确方案

# 使用INCR原子操作
INCR page_view:home# 按小时滚动存储(避免单Key过大)
INCR page_view:home:2024052715

优化点

  • 原子操作保证准确性
  • 时间分片控制Key规模

案例5:用户消息通知列表

❌ 错误做法

# 用String存储JSON数组(频繁全量读写)
SET msg:10001 '[{id:1,content:"..."}, {...1000条数据}]'

问题

  • 大Value导致网络阻塞
  • 修改任意消息需全量更新

✅ 正确方案

# 使用ZSET按时间排序存储
ZADD msg:10001 1717040000 '{"id":1,"content":"..."}'
ZADD msg:10001 1717040001 '{"id":2,"content":"..."}'# 分页查询最新消息
ZREVRANGE msg:10001 0 9 WITHSCORES

优化点

  • 天然支持按时间排序和分页
  • 单个消息的增删不影响整体

案例6:社交关系存储

❌ 错误做法

# 用String存储用户粉丝列表(大JSON数组)
SET followers:10001 "[20001,20002,...50000个用户ID]"

问题

  • 50000个ID超过大Key限制
  • 判断是否关注需全量扫描

✅ 正确方案

# 使用Set存储关系 + 分页控制
SADD following:10001 20001 20002 ...  # 最多5000元素/Key
SADD following:10001:page2 20003 ...  # 分片存储# 检查关注关系
SISMEMBER following:10001 20001

优化点

  • 分片规避大Key
  • 使用原生集合操作提升效率

总结技巧

  1. Key设计三要素:业务线明确(user)、数据类型清晰(profile)、标识唯一(10001
  2. Value选择原则
    • 优先使用 Hash 替代 String 存储对象
    • 需要排序用 ZSET去重用 Set队列用 List
  3. 性能压测公式
    # 模拟高并发场景
    redis-benchmark -h 127.0.0.1 -p 6379 -n 100000 -c 100 -t set,get
    

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/14715.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Unity抖音云启动测试:如何用cmd命令行启动exe

相关资料:弹幕云启动(原“玩法云启动能力”)_直播小玩法_抖音开放平台 1,操作方法 在做云启动的时候,接完发现需要命令行模拟云环境测试启动,所以研究了下。 首先进入cmd命令,CD进入对应包的文件…

Android studio怎么创建assets目录

在Android Studio中创建assets文件夹是一个简单的步骤,通常用于存储不需要编译的资源文件,如文本文件、图片、音频等 main文件夹,邮件new->folder-assets folder

第26场蓝桥入门赛

5.扑克较量【算法赛】 - 蓝桥云课 C&#xff1a; #include <iostream> #include <algorithm> using namespace std;int a[100005];int main() {int n,k;cin>>n>>k;for (int i1; i<n; i)cin>>a[i], a[i] % k;sort(a1, a1n);int mx a[1]k-a…

公司配置内网穿透方法笔记

一、目的 公司内部有局域网&#xff0c;局域网上有ftp服务器&#xff0c;有windows桌面服务器&#xff1b; 在内网环境下&#xff0c;是可以访问ftp服务器以及用远程桌面登录windows桌面服务器的&#xff1b; 现在想居家办公时&#xff0c;也能访问到公司内网的ftp服务器和win…

c++:list

1.list的使用 1.1构造 1.2迭代器遍历 &#xff08;1&#xff09;迭代器是算法和容器链接起来的桥梁 容器就是链表&#xff0c;顺序表等数据结构&#xff0c;他们有各自的特点&#xff0c;所以底层结构是不同的。在不用迭代器的前提下&#xff0c;如果我们的算法要作用在容器上…

《Wiki.js知识库部署实践 + CNB Git数据同步方案解析》

一、wiki.js 知识库简介 基本概述 定义 &#xff1a;Wiki.js 是一个开源、现代、轻量且功能强大的 Wiki 应用程序&#xff0c;基于 Node.js 构建&#xff0c;旨在帮助个人和团队轻松创建、管理和共享知识。开源性质 &#xff1a;它遵循 AGPLv3 许可证&#xff0c;任何人都可以…

ip地址是手机号地址还是手机地址

在数字化生活的浪潮中&#xff0c;IP地址、手机号和手机地址这三个概念如影随形&#xff0c;它们各自承载着网络世界的独特功能&#xff0c;却又因名称和功能的相似性而时常被混淆。尤其是“IP地址”这一术语&#xff0c;经常被错误地与手机号地址或手机地址划上等号。本文旨在…

微服务 day01 注册与发现 Nacos OpenFeign

目录 1.认识微服务&#xff1a; 单体架构&#xff1a; 微服务架构&#xff1a; 2.服务注册和发现 1.注册中心&#xff1a; 2.服务注册&#xff1a; 3.服务发现&#xff1a; 发现并调用服务&#xff1a; 方法1&#xff1a; 方法2&#xff1a; 方法3:OpenFeign OpenFeig…

网络安全:挑战、技术与未来发展

&#x1f4dd;个人主页&#x1f339;&#xff1a;一ge科研小菜鸡-CSDN博客 &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; 1. 引言 在数字化时代&#xff0c;网络安全已成为全球关注的焦点。随着互联网的普及和信息技术的高速发展&#xff0c;网络攻击的…

PostgreSql-COALESCE函数、NULLIF函数、NVL函数使用

COALESCE函数 COALESCE函数是返回参数中的第一个非null的值&#xff0c;它要求参数中至少有一个是非null的; select coalesce(1,null,2),coalesce(null,2,1),coalesce(null,null,null); NULLIF(ex1,ex2)函数 如果ex1与ex2相等则返回Null&#xff0c;不相等返回第一个表达式的值…

neo4j-解决导入数据后出现:Database ‘xxxx‘ is unavailable. Run :sysinfo for more info.

目录 问题描述 解决方法 重新导入 问题描述 最近在linux上部署了neo4j&#xff0c;参照之前写的博客:neo4j-数据的导出和导入_neo4j数据导入导出-CSDN博客 进行了数据导出、导入操作。但是在进行导入后&#xff0c;重新登录网页版neo4j&#xff0c;发现对应的数据库状态变…

C语言【基础篇】之数组——解锁多维与动态数组的编程奥秘

数组 &#x1f680;前言&#x1f99c;数组的由来与用途&#x1f31f;一维数组详解&#x1f58a;️二维数组进阶&#x1f4af;动态数组原理&#x1f914;常见误区扫盲&#x1f4bb;学习路径建议✍️总结 &#x1f680;前言 大家好&#xff01;我是 EnigmaCoder。本文收录于我的专…

TaskBuilder项目实战:创建项目

用TaskBuilder开发应用系统的第一步就是创建项目&#xff0c;项目可以是一个简单的功能模块&#xff0c;也可以是很多功能模块的集合&#xff0c;具体怎么划分看各位的实际需要&#xff0c;我们一般会将相互关联比较紧密的一组功能模块放到一个独立的项目内&#xff0c;以便打包…

基于DeepSeek API和VSCode的自动化网页生成流程

1.创建API key 访问官网DeepSeek &#xff0c;点击API开放平台。 在开放平台界面左侧点击API keys&#xff0c;进入API keys管理界面&#xff0c;点击创建API key按钮创建API key&#xff0c;名称自定义。 2.下载并安装配置编辑器VSCode 官网Visual Studio Code - Code Editing…

Redis深入学习

目录 Redis是什么&#xff1f; Redis使用场景 Redis线程模型 Redis执行命令是单线程的为什么还这么快&#xff1f; Redis持久化 Redis 事务 Key 过期策略 Redis 和 mysql 如何保证数据一致&#xff1f; 缓存穿透 缓存击穿 缓存雪崩 Redis是什么&#xff1f; redis是一…

Dockerfile 文件详解

在平常的开发工作中&#xff0c;我们经常需要部署项目&#xff0c;一个项目开发完成后&#xff0c;使用 Docker 方式部署&#xff0c;那么首先得构造镜像&#xff0c;构造镜像最主要的就是 Dockerfile 文件的编写&#xff0c;今天简单来总结下 Dockerfile 文件的编写以及有哪些…

开源模型应用落地-CodeQwen模型小试-SQL专家测试(二)

一、前言 代码专家模型是基于人工智能的先进技术&#xff0c;它能够自动分析和理解大量的代码库&#xff0c;并从中学习常见的编码模式和最佳实践。这种模型可以提供准确而高效的代码建议&#xff0c;帮助开发人员在编写代码时避免常见的错误和陷阱。 通过学习代码专家模型&a…

kubeadm构建k8s源码阅读环境

目标 前面看了minikube的源码了解到其本质是调用了kubeadm来启动k8s集群&#xff0c;并没有达到最初看代码的目的。 所以继续看看kubeadm的代码&#xff0c;看看能否用来方便地构建源码调试环境。 k8s源码编译 kubeadm源码在k8s源码库中&#xff0c;所以要先克隆k8s源码。之…

LLM学习笔记1——本地部署Meta-Llama-3.2-1B大模型

系列文章目录 参考博客 参考博客 文章目录 系列文章目录前言与调用一、部署要求二、实现步骤0.深度学习环境错误1&#xff0c;验证pytorch版本时提示以下问题&#xff1a;错误2&#xff0c;验证pytorch版本时提示以下问题&#xff1a;错误3&#xff0c;有时候还会提示你有一些…

搜维尔科技:提供人形机器人传感器的应用案例分析

视觉传感器 • 家庭服务场景&#xff1a;在家庭清洁机器人中&#xff0c;视觉传感器可以识别家具、障碍物的位置和形状&#xff0c;规划清洁路径&#xff0c;避开桌椅、宠物玩具等。如小米扫地机器人&#xff0c;通过视觉传感器与算法结合&#xff0c;能构建房间地图&#xff…