【Redis】一种常见的Redis分布式锁原理简述

本文主要简述一下基于set命令的Redis分布式锁的原理。

一,a线程持有的锁不要被b线程同时持有→setnx

抢锁的时候,最核心的就是,a线程持有的锁不要被b线程同时持有,放在基于set命令的redis分布式锁中来看,就是“如果锁(key)存在我就不能抢,锁(key)不存在我才能抢”,

用原子的redis命令来说就是

setnx key value

key可以设置为你业务中要抢的锁的名字,和其他key区分开。

一开始,redis提供了set、setex(设置key value的同时设置过期时间)、setnx(如果不存在key就设置key value)。

二,如果锁被别人释放了怎么办→ThreadLocal和UUID

一个比较常见的担心是,如果a线程加的锁,被b线程释放了怎么办,毕竟只是一个set命令,用del就可以删除,也就是解锁,那怎么办呢。

在前面我们只设置了key的名字,对value没有做要求。其实我们可以给value加一个唯一ID,让别的线程识别到这个锁是否是自己持有。

线程id是否可以呢,我们直接用线程的id作为value,让线程看一下是否是自己的id,简单直接。答案是不可以,线程id在机器中是唯一的,但是这是分布式锁,多个机器之间,线程id不唯一。

我们倒也不用直接跳到分布式id这么远,其实uuid足矣。uuid中包括了机器的IEEE识别号(如果有网卡,从网卡的mac地址获得),优点是全球唯一且简单、代码方便,uuid不用于自增主键的原因是它不区域递增,以及可能造成网卡的mac地址泄露(曾用于寻找梅丽莎病毒制作者)。

此时我们就需要用到ThreadLocal,让每个线程私有uuid。就这样,我们加入了ThreadLocal和UUID,解决了锁被其他线程释放的问题。

三,锁无人释放问题→加过期时间

1,只靠setnx命令,死锁无法释放

那么紧接着问题来了, 如果加锁的线程挂掉了,导致锁无法正常释放怎么办?要知道,redis的数据如果没有特意设置过期时间,默认的是永不过期。所以我们要设置一个过期时间。

redis中设置过期时间的命令为expire命令,我们当然可以使用expire来给上面的setnx命令来加过期时间,如下:

setnx lock XXX
expire lock 10 //给lock键设置过期时间为10秒

2,setnx+expire命令不够原子

第二个问题来了,setnx+expire命令不够原子,即如果有线程只执行了加锁命令setnx,在第二个命令expire执行之前就挂掉了,又怎么办呢?因为这两个是分开执行的,意味着是存在这种可能的。因此我们就要想方法来将其一次执行。

(1),set key value ex second nx

正如一开始所述,redis在一开始只提供了set、setnx、setex几个命令,却没有其他参数,因此要执行必须分开执行。

在 Redis 2.6.12 之后,Redis 扩展了 SET 命令的参数,使我们可以直接在一条命令中完成所有操作,即如果不存在,再设置Key value(nx),同时设置过期时间(ex)。

注,set命令中,ex参数设置秒,px参数设置毫秒

(2),Lua脚本

redis整合了Lua语言,我们可以基于redis的eval命令,通过Lua脚本来完成原子性操作;

eval命令如下:

eval 脚本内容 Ke个数 key列表 参数列表

如果觉得每次都要上传Lua脚本占带宽,还可以在Redis启动时将Lua脚本上传,由redis将脚本缓存,客户端拿到sha1,在使用lua脚本时只需要上传sha1值即可[1]。即通过script load命令上传脚本,得到sha1,再基于evalsha命令,通过sha1参数执行指定的lua脚本。

evalsha命令使用示例如下:

script load "${cat lua_demo.lua}"
evalsha 脚本sha1值 key个数 key列表 参数列表

四,如何评定过期时间→看门狗线程续期

现在好了,一个基本的redis分布式锁的方案已经有了,那么还有什么问题呢。仔细想想就会发现,问题出在了业务执行时间上。我们应该如何衡量业务执行时间并由此设置过期时间呢?

一个项目里,有的业务执行时间长,有的执行时间短。就算是同一个业务,你通过链路追踪或者监控知道了业务执行大多数是多久,下面分为两种情况,

情况1,我们假设就按照大多数业务能完成的时间来设置过期时间,这肯定是不行的,因为有的业务没完成就释放了锁,极容易出现问题。

情况2,我们按照一个比较大,大到应该不可能出现问题的过期时间,总行了吧?也不行,第一,“应该不可能”,谁知道以后有没有可能有的业务就是时间长到超过了过期时间。第二,为了少数业务执行时间长的情况,而给所有业务,包括大多数只需要较短持有锁时间的业务,都施加很长的过期时间,很明显项目并发能力会严重下降。

怎么办呢,长了也不行,短了也不行。这时候,我们可以加入看门狗方案。什么意思呢,就是说我们可以给线程设置一个不算长对于大多数线程都比较合理的时间,哪怕短点也无所谓。我们专门设置一个守护线程(thread.setDaemon(true))用于监控线程的看门狗线程,看门狗线程会在过期时间快到了且锁还没有被释放时,就去用expire命令给锁续期。

同时配合一个延迟队列DelayQueue(本质是个堆Heap),在加锁时,将装有线程id和续期时间(注意是续期时间,续期时间要比key的过期时间早一点)的entity扔进去,延迟队列根据续期时间排序,这样堆中排在最上面的永远是续期时间最近的entity(堆的特性)。

看门狗线程的任务内容,就是while循环,对延迟队列用take方法阻塞的去拿最近一个需要判断是否要续期的entity,有的话就进行续期,这样我们就可以用一个线程完成对整个项目的所有锁的续期,这样的分布式锁,耗时短的业务用一次过期时间就可以完成,耗时长的业务也可以有看门狗线程来实现续期过期时间。

五,总结→建议不要自己开发,用现成的如Redisson

上面实现的分布式锁,解决了如下几个问题

  • a线程持有的锁不要被b线程同时持有→setnx
  • 如果锁被别人释放了怎么办→ThreadLocal和UUID
  • 只依靠setnx,持有锁的线程挂掉,导致无人去释放锁→给锁添加过期时间,expire命令设置过期时间
  • setnx和expire不够原子→set命令和参数ex、nx,或者lua脚本配置命令eval、evalsha
  • 过期时间不好评定→加入看门狗守护线程,配合延迟队列,看门狗线程用死循环,使用take方法阻塞的等待将最近要续期的任务,将其续期。

实际使用上,我个人的看法是轮子不需要重复开发,我们只需要用Redisson实现的分布式锁,就具有看门狗线程[2]。简简单单两三行代码,就有更完善的分布式锁使用。除非一些特殊的原因,不然不要重复造轮子,以及如非必要,勿增实体(奥卡姆剃刀原则)。

        RLock testLock = redissonClient.getLock("test_lock");boolean res = testLock.tryLock(10, TimeUnit.SECONDS);

参考文章:
[1],用jedis执行lua脚本
[2],redisson中的看门狗机制总结

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/464583.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

H265编码丢帧问题分析

问题 通过海思芯片编码后,将编码的数据通过UDP网口发送到UDP 服务端,UDP服务端收到后保存成文件。 保存的文件有时候用VLC软件可以打开。有时候不能打开,同时用Elecard HEVC Analyer工具打开,发现VLC不能打开时丢帧。如下图,实际为858帧,而此处只有846帧。 分析 UDP包…

如何学习Java“高并发”,并在项目中实际应用?

高并发编程 提到并发编程很多人就会头疼了;首先就是一些基础概念:并发,并行,同步,异步,临界区,阻塞,非阻塞还有各种锁全都砸你脸上,随之而来的就是要保证程序运行时关键…

《TCP/IP网络编程》学习笔记 | Chapter 1:理解网络编程和套接字

《TCP/IP网络编程》学习笔记 | Chapter 1:理解网络编程和套接字 《TCP/IP网络编程》学习笔记 | Chapter 1:理解网络编程和套接字基本概念服务端客户端 基于 Linux 平台的 "Hello world!" 服务端和客户端基于 Linux 的文件操作打开文件关闭文件…

C#-类:声明类、声明类对象

一:类的声明 class 类名 {//特征——成员变量//行为——成员方法//保护特征——成员属性//构造函数和析构函数//索引器//运算符重载//静态成员 }类名:帕斯卡 同一个语句块中的不同类 不能重名 二:声明类对象 2.1 类的声明 ≠ 类对象的声…

qt QProgressBar详解

1、概述 QProgressBar是Qt框架中的一个控件,专门用于显示任务的进度。它提供了一个可视化的进度条,让用户能够直观地了解任务的完成程度。QProgressBar支持水平和垂直两种显示方向,并且可以通过设置最小值和最大值来指定进度条的范围。此外&…

Node.js 入门指南:从零开始构建全栈应用

​🌈个人主页:前端青山 🔥系列专栏:node.js篇 🔖人终将被年少不可得之物困其一生 依旧青山,本期给大家带来node.js篇专栏内容:node.js-入门指南:从零开始构建全栈应用 前言 大家好,我是青山。作…

基于vue框架的的冷链食品物流信息管理系统v81wb(程序+源码+数据库+调试部署+开发环境)系统界面在最后面。

系统程序文件列表 项目功能:用户,司机,冷链食品,冷链食品订单,冷链车辆,配送信息,订单费用,站点信息,食品种类,省,市,食品质量,县 开题报告内容 基于Vue框架的冷链食品物流信息管理系统开题报告 一、研究背景与意义 随着全球食品贸易的快速发展和消费者对食品品质…

使用GetX实现GetPage中间件

前言 GetX 中间件(Middleware)是 GetX 框架中的一种机制,用于在页面导航时对用户进行权限控制、数据预加载、页面访问条件设置等。通过使用中间件,可以有效地控制用户的访问流程,并在适当条件下引导用户到所需页面。 这…

你知道Mac也能拥有丰富的右键菜单栏吗?

Mac的右键菜单栏功能少的可怜,和Windows没法比,所以许多朋友在使用Mac会有很多不习惯的地方,但是Mac的右键菜单栏也能够拥有超多功能,甚至丰富程度可以超越Windows,你知道吗 超级右键能够丰富拓展Mac的右键菜单栏&…

Spring Boot 注解大全:全面解析 Spring Boot 常用注解及其应用场景

Spring Boot 注解大全:全面解析 Spring Boot 常用注解及其应用场景 简介 Spring Boot 是一个基于 Spring 框架的简化开发框架,它旨在简化 Spring 应用的初始搭建和开发过程。Spring Boot 提供了一系列的注解,使得开发者可以更加方便地进行应用开发和配置。本文将详细介绍 S…

使用 Elasticsearch 进行语义搜索

Elasticsearch 是一款功能强大的开源搜索引擎,可用于全文搜索、分析和数据可视化。传统上,Elasticsearch 以其执行基于关键字/词汇的搜索的能力而闻名,其中文档基于精确或部分关键字匹配进行匹配。然而,Elasticsearch 已经发展到支…

(一)<江科大STM32>——软件环境搭建+新建工程步骤

一、软件环境搭建 (1)安装 Keil5 MDK 文件路径:江科大stm32入门教程资料/Keil5 MDK/MDK524a.EXE,安装即可,路径不能有中文。 (2)安装器件支持包 文件路径:江科大stm32入门教程资料…

【顶刊核心变量】上市公司企业数字创新数据(数字产品、流程、业务模式创新(2001-2023年)

1.资料名称:2023-2001年上市公司企业数字创新数据 2.测算方式:参考《系统工程理论与实践》郑攀攀(2024)老师的做法,本文基于上市公司年报文本, 结合文本分析和机器学习方法, 测度了企业数字创新(DI) . 具体的测度步骤…

在K8s平台部署个人博客

在K8s平台部署个人博客 实验步骤查看wordpress前端的service配置word press 实验步骤 kubectl create secret generic mysql-pass --from-literalpasswordYOUR_PASSWORD把mysql.tar.gz和wordpress.tar.gz上传到K8s工作节点,手动解压即可: 通过网盘分享的…

Qt项目实战:红绿灯小程序

目录 一.初始化对象 二.捕获并处理特定的事件 三.自定义绘制方法 四.绘制外部边框 五.绘制内部边框 六.绘制按钮的背景色 七.绘制覆盖层(高光效果) 八.效果 九.代码 1.h 2.cpp 一.初始化对象 1.设置文本、颜色、边框和背景色等默认值。 2.安…

408——计算机网络(持续更新)

文章目录 一、计算机网络概述1.1 计算机网络的概念1.2 计算机网络体系结构1.3 总结 二、物理层2.1 物理层的基本概念2.2 物理层的基本通信技术2.3 总结 一、计算机网络概述 1.1 计算机网络的概念 计算机网络的定义:将地理位置不同的具有独立功能的计算机通过网络线路…

算法简介:K最近邻算法

KNN 1. 最近邻算法1.1 回归 2. 机器学习OCR创建垃圾邮件过滤器预测股票市场 1. 最近邻算法 KNN(k-nearest neighbours)K最近邻算法:采用此算法进行分类,检索距离该元素最近的几个元素是什么类型,那么该元素即为什么类…

力扣动态规划基础版(矩阵型)

62.不同路径(唯一路径问题) 62. 不同路径https://leetcode.cn/problems/unique-paths/ 方法一:动态规划 找状态转移方程,也就是说它从左上角走到右下角,只能往右或者往下走,那么设置一个位置为&#xff…

adb 常用命令汇总

目录 adb 常用命令 1、显示已连接的设备列表 2、进入设备 3、安装 APK 文件到设备 4、卸载指定包名的应用 5、从设备中复制文件到本地 6、将本地文件复制到设备 7、查看设备日志信息 8、重启设备 9、截取设备屏幕截图 10、屏幕分辨率 11、屏幕密度 12、显示设备的…

基于大语言模型(LLM)自主Agent 智能体综述

近年来,LLM(Large Language Model)取得了显著成功,并显示出了达到人类智能的巨大潜力。基于这种能力,使用LLM作为中央控制器来构建自助Agent,以获得类人决策能力。 Autonomous agents 又被称为智能体、Agent。指能够通过感知周围环境、进行规划以及执行动作来完成既定任务。…