详解分布式ID实践

引言

分布式ID，所谓的分布式ID，就是针对整个系统而言，任何时刻获取一个ID，无论系统处于何种情况，该值不会与之前产生的值重复，之后获取分布式ID时，也不会再获取到与其相同的值，它是一个绝对意义上的全局唯一值。

那么，究竟什么情况下需要用到分布式ID呢？

最经典的场景是分库分表，还是以用户数据来举例子，之前只有一张用户表，所以设置表ID自增后，每新增一条数据都会自增ID值，从而确保了ID永远不会重复。
此刻用户表被分成了十张，如果再依靠数据库本身的自增机制来分配ID，显然会导致ID重复，这时分布式ID就派上了用场。除开分库分表外，通常还会用到分布式ID的场景有：

  • 链路ID：分布式链路中，需要通过全局唯一的traceId来串联所有日志；
  • 请求ID：幂等性处理时，需要通过唯一的ID来判断是否为重复请求；
  • 消息标识：MQ需要基于唯一的msgID来区分数据，确保数据不重复或丢失；
  • 短链码：生成短链接时，需要获取一个全局唯一的值作为Code避免重复；

下面将阐述怎么在项目中实践，为我们的对象生成一个分布式ID

UUID生成

String uuid = UUID.randomUUID().toString();
System.out.println(uuid);/*
* 输出结果：
*   b2c2ec5d-efb9-44c7-b2c8-9cef367c8b3f
* */

通过JDK提供的UUID工具类，一行代码就能生成一个UUID，并且得到的UUID不会重复，怎么保障的呢？UUID的底层，会基于硬件地址（MAC地址）、时间戳和随机因子来生成ID。
世界上没有两片完全相同的叶子，者如这句话一般，世界上也没有两台完全相同的机器，这时硬件地址自然不同，再加上正常情况下不可逆转的时间戳，以及一定范围的随机数，就能确保产生的UUID，其全球唯一性。

雪花算法

雪花算法生成的分布式ID，在Java中会使用Long类型来承载，Long类型占位8bytes，也就正好对应上述这张图的64个比特位，这64bit会被分为四部分：

  • 符号位（1bit）：永远为零，表示生成的分布式ID为正数。
  • 时间戳位（2~42bit）：会将当前系统的时间戳插入到这段位置。
  • 工作进程位（43~53bit）：在集群环境下，每个进程唯一的工作ID。
  • 序列号位（54~64bit）：该序列是用来在同一个毫秒内生成不同的序列号。
/*
* 雪花算法实现类
* */
public class Snowflake implements Serializable {private static final long serialVersionUID = 1L;// 雪花算法的起始时间纪元public static long DEFAULT_TWEPOCH = 1288834974657L;public static long DEFAULT_TIME_OFFSET = 2000L;// 机器标识所占的位数private static final long WORKER_ID_BITS = 5L;// 数据中心标识所占的位数private static final long DATA_CENTER_ID_BITS = 5L;// 毫秒内的自增位数private static final long SEQUENCE_BITS = 12L;// 机器ID最大值private static final long MAX_WORKER_ID = 31L;// 数据中心ID最大值private static final long MAX_DATA_CENTER_ID = 31L;// 机器ID左移12位private static final long WORKER_ID_SHIFT = 12L;// 数据中心左移17位private static final long DATA_CENTER_ID_SHIFT = 17L;// 毫秒时间戳左移22位private static final long TIMESTAMP_LEFT_SHIFT = 22L;private static final long SEQUENCE_MASK = 4095L;// 雪花ID相关组成部分的定义private final long twepoch;private final long workerId;private final long dataCenterId;private final boolean useSystemClock;private final long timeOffset;private final long randomSequenceLimit;private long sequence;// 最近一次生产ID的时间戳private long lastTimestamp;public Snowflake() {this(IdUtil.getWorkerId(IdUtil.getDataCenterId(31L), 31L));}public Snowflake(long workerId) {this(workerId, IdUtil.getDataCenterId(31L));}public Snowflake(long workerId, long dataCenterId) {this(workerId, dataCenterId, false);}public Snowflake(long workerId, long dataCenterId, boolean isUseSystemClock) {this((Date)null, workerId, dataCenterId, isUseSystemClock);}public Snowflake(Date epochDate, long workerId, long dataCenterId, boolean isUseSystemClock) {this(epochDate, workerId, dataCenterId, isUseSystemClock, DEFAULT_TIME_OFFSET);}public Snowflake(Date epochDate, long workerId, long dataCenterId, boolean isUseSystemClock, long timeOffset) {this(epochDate, workerId, dataCenterId, isUseSystemClock, timeOffset, 0L);}public Snowflake(Date epochDate, long workerId, long dataCenterId, boolean isUseSystemClock, long timeOffset, long randomSequenceLimit) {this.sequence = 0L;this.lastTimestamp = -1L;this.twepoch = null != epochDate ? epochDate.getTime() : DEFAULT_TWEPOCH;this.workerId = Assert.checkBetween(workerId, 0L, 31L);this.dataCenterId = Assert.checkBetween(dataCenterId, 0L, 31L);this.useSystemClock = isUseSystemClock;this.timeOffset = timeOffset;this.randomSequenceLimit = Assert.checkBetween(randomSequenceLimit, 0L, 4095L);}public long getWorkerId(long id) {return id >> 12 & 31L;}public long getDataCenterId(long id) {return id >> 17 & 31L;}public long getGenerateDateTime(long id) {return (id >> 22 & 2199023255551L) + this.twepoch;}public synchronized long nextId() {long timestamp = this.genTime();// 解决时钟回拨问题if (timestamp < this.lastTimestamp) {if (this.lastTimestamp - timestamp >= this.timeOffset) {throw new IllegalStateException(StrUtil.format("Clock moved backwards. Refusing to generate id for {}ms", new Object[]{this.lastTimestamp - timestamp}));}timestamp = this.lastTimestamp;}if (timestamp == this.lastTimestamp) {long sequence = this.sequence + 1L & 4095L;if (sequence == 0L) {timestamp = this.tilNextMillis(this.lastTimestamp);}this.sequence = sequence;} else if (this.randomSequenceLimit > 1L) {this.sequence = RandomUtil.randomLong(this.randomSequenceLimit);} else {this.sequence = 0L;}this.lastTimestamp = timestamp;return timestamp - this.twepoch << 22 | this.dataCenterId << 17 | this.workerId << 12 | this.sequence;}public String nextIdStr() {return Long.toString(this.nextId());}private long tilNextMillis(long lastTimestamp) {long timestamp;for(timestamp = this.genTime(); timestamp == lastTimestamp; timestamp = this.genTime()) {}if (timestamp < lastTimestamp) {throw new IllegalStateException(StrUtil.format("Clock moved backwards. Refusing to generate id for {}ms", new Object[]{lastTimestamp - timestamp}));} else {return timestamp;}}private long genTime() {return this.useSystemClock ? SystemClock.now() : System.currentTimeMillis();}
}

上面代码可以直接引用来作为我们的雪花算法工具类

由于原始版雪花算法存在的问题，出现了许多改良版算法，但其核心还是前面聊到的雪花算法，比如百度的Uid-Generator算法、美团的Leaf算法-雪花模式、阿里的Seata框架里的雪花算法实现等等，感兴趣的小伙伴可以自行翻阅源码。

以上就是最常用的实践方式欢迎大家补充

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/22257.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

react 踩坑记 too many re-renders.

react 踩坑记 too many re-renders.

报错信息&#xff1a; too many re-renders. React limits the number of randers to prevent an infinite loop. 需求 tabs只有特定标签页才展示某些按钮 button要用 传递函数引用方式 ()>{} *还有要注意子组件内loading触发 导致的重复渲染
阅读更多...
【干货教程】Windows电脑本地部署运行DeepSeek R1大模型（基于Ollama和Chatbox）

【干货教程】Windows电脑本地部署运行DeepSeek R1大模型（基于Ollama和Chatbox）

文章目录 一、环境准备二、安装Ollama2.1 访问Ollama官方网站2.2 下载适用于Windows的安装包2.3 安装Ollama安装包2.4 指定Ollama安装目录2.5 指定Ollama的大模型的存储目录 三、选择DeepSeek R1模型四、下载并运行DeepSeek R1模型五、常见问题解答六、使用Chatbox进行交互6.1 …
阅读更多...
关于YApi接口操作

关于YApi接口操作

YApi有 接口集合 和 测试集合 两个概念。 接口集合 将接口进行分类&#xff0c;使接口结构更清晰&#xff0c;一个接口只能属于一个集合&#xff0c;且不允许与其他接口重名。测试集合 为了方便我们测试接口&#xff0c;测试集合 将若干接口组合在一起&#xff0c;在这里一个接…
阅读更多...
Django REST Framework (DRF) 中用于构建 API 视图类解析

Django REST Framework (DRF) 中用于构建 API 视图类解析

Django REST Framework (DRF) 提供了丰富的视图类&#xff0c;用于构建 API 视图。这些视图类可以分为以下几类&#xff1a; 1. 基础视图类 这些是 DRF 中最基础的视图类&#xff0c;通常用于实现自定义逻辑。 常用类 APIView&#xff1a; 最基本的视图类&#xff0c;所有其…
阅读更多...
Django简介

Django简介

Django是什么 Web应用程序是指在服务器端运行的程序&#xff0c;不需要单独安装&#xff0c;而Django就是其中一个非常流行的框架。 网站运行的主要原理 网站运行的本质就是服务器与客户端之间的数据传输&#xff0c;而其中&#xff0c;超文本传输协议&#xff08;HTTP&…
阅读更多...
JavaScript基础-函数（完整版）

JavaScript基础-函数（完整版）

文章目录 函数基本使用函数提升函数参数arguments对象&#xff08;了解&#xff09;剩余参数(重点)展开运算符(...) 逻辑中断函数参数-默认参数函数返回值-return作用域(scope)全局作用域局部作用域变量的访问原则垃圾回收机制闭包 匿名函数函数表达式立即执行函数 箭头函数箭头…
阅读更多...
1.21作业

1.21作业

1 unserialize3 当序列化字符串中属性个数大于实际属性个数时&#xff0c;不会执行反序列化 外部如果是unserialize&#xff08;&#xff09;会调用wakeup&#xff08;&#xff09;方法&#xff0c;输出“bad request”——构造url绕过wakeup 类型&#xff1a;public class&…
阅读更多...
LLaMA-Factory|微调大语言模型初探索(3)，qlora微调deepseek记录

LLaMA-Factory|微调大语言模型初探索(3)，qlora微调deepseek记录

前言 上篇文章记录了使用lora微调llama-1b，微调成功，但是微调llama-8b显存爆炸，这次尝试使用qlora来尝试微调参数体量更大的大语言模型，看看64G显存的极限在哪里。 1.Why QLora? QLoRA 在模型加载阶段通过 4-bit 量化大幅减少了模型权重的显存占用。QLoRA 通过 反量化到 …
阅读更多...
TCP传输可靠性保障：理论讲解→实战面试解析

TCP传输可靠性保障：理论讲解→实战面试解析

一、TCP为何需要可靠性保障&#xff1f; TCP作为互联网的"运输队长"&#xff0c;承担着80%以上的网络数据传输任务。其核心使命是&#xff1a;在不可靠的IP层之上&#xff0c;构建端到端的可靠传输通道。 想象一下网购时商品运输需要防丢包、防损坏、防错序&#xff…
阅读更多...
一篇搞懂vue3中如何使用ref、reactive实现响应式数据

一篇搞懂vue3中如何使用ref、reactive实现响应式数据

ref 可实现 基本类型、对象类型响应式数据 reactive&#xff1a;只能实现 对象类型响应式 ref实现 基本类型 数据响应式&#xff1a; <template><div class"person"><h2>姓名&#xff1a;{{ name }}</h2><h2>年龄&#xff1a;{{ ag…
阅读更多...
Linux 内核自旋锁spinlock（四）--- queued spinlock

Linux 内核自旋锁spinlock（四）--- queued spinlock

文章目录 前言一、queued spinlock1.1 简介1.2. spin_lock/spin_unlock 二、源码解析2.1 struct qspinlock2.2 struct qnode2.3 queued_spin_lock2.3.1 快速申请通道CPU0申请锁 2.3.2 慢速申请通道CPU0/1申请锁CPU0/1/2申请锁CPU0/1/2/3申请锁 queued_spin_lock_slowpath总结 2…
阅读更多...
一种最常见的js加密解密

一种最常见的js加密解密

前言 在前端开发的广袤天地中&#xff0c;你是否遭遇过一些看似“乱码”般的代码&#xff0c;根本无从下手理解&#xff1f;这其实很可能是被 _0x处理过的代码。_0x就像一位神秘的“化妆师”&#xff0c;能把原本清晰的代码改头换面。今天&#xff0c;我就来分享如何破解这些被…
阅读更多...
git使用-克隆远程项目、分支管理

git使用-克隆远程项目、分支管理

文章目录 克隆远程项目到本地1. 远程找到需要克隆的项目&#xff0c;复制ssh地址2. idea开启git版本控制&#xff08;如果已经开了&#xff0c;忽略此步骤&#xff09;3. clone远端项目4. 克隆完成 分支管理1. 新建分支2. 切换分支3. 合并分支4. 储存变化 克隆远程项目到本地 …
阅读更多...
Python实战：Excel中文转拼音工具开发教程

Python实战：Excel中文转拼音工具开发教程

在日常办公中&#xff0c;我们经常需要处理Excel文件&#xff0c;有时候需要将中文转换为拼音缩写以方便检索和使用。今天我将分享一个使用Python开发的小工具&#xff0c;它可以自动将Excel文件中指定列的中文转换为拼音缩写。 C:\pythoncode\new\ConvertExcelcontentToPinyin…
阅读更多...
什么是矩阵账号？如何高效运营tiktok矩阵账号

什么是矩阵账号？如何高效运营tiktok矩阵账号

‍‌​​‌‌​‌​‍‌​​​‌‌​​‍‌​​​‌​‌​‍‌​​‌​​‌​‍‌​‌‌​‌‌‌‍‌​‌​‌​​​‍‌​​‌​‌‌​‍‌​​​​‌‌​‍‌​‌​​‌‌‌‍‌​​‌‌​‌​‍‌​‌​​‌‌‌‍‌​‌‌‌​​‌‍‌‌​​‌‌‌​‍‌‌​​‌‌​​‍‌…
阅读更多...
Docker-技术架构演进之路

Docker-技术架构演进之路

目录 一、概述 常见概念 二、架构演进 1.单机架构 2.应用数据分离架构 3.应用服务集群架构 4.读写分离 / 主从分离架构 5.引入缓存 —— 冷热分离架构 6.垂直分库 7.业务拆分 —— 微服务 8.容器化引入——容器编排架构 三、尾声 一、概述 在进行技术学习过程中&am…
阅读更多...
并查集算法篇上期：并查集原理及实现

并查集算法篇上期：并查集原理及实现

引入 那么我们在介绍我们并查集的原理之前&#xff0c;我们先来看一下并查集所应用的一个场景&#xff1a;那么现在我们有一个长度为n的数组&#xff0c;他们分别属于不同的集合&#xff0c;那么现在我们要查询数组当中某个元素和其他元素是否处于同一集合当中&#xff0c;或者…
阅读更多...
MacOS 15.3 卸载系统内置软件

MacOS 15.3 卸载系统内置软件

1、关闭系统完整性&#xff08;SIP&#xff09; 进入恢复模式(recovery) 如果您使用的是黑苹果或者白苹果&#xff0c;可以选择 重启按住CommandR 进入&#xff0c;如果是M系列芯片&#xff0c;长按开机键&#xff0c;进入硬盘选择界面进入。 我是MacMini M4芯片&#xff0c;关…
阅读更多...
内容中台重构企业内容管理的价值维度与实施路径

内容中台重构企业内容管理的价值维度与实施路径

内容概要 在数字化转型进程中&#xff0c;企业内容管理&#xff08;ECM&#xff09;与内容中台的差异性体现在价值维度的重构与能力边界的突破。传统ECM系统通常聚焦于文档存储、权限控制等基础功能&#xff0c;而内容中台通过标准化流程引擎与智能工具链&#xff0c;构建起覆…
阅读更多...
挖矿病毒实战分析

挖矿病毒实战分析

场景说明 运维人员再设备巡检过程中发现CPU莫名到达百分百&#xff0c;出现异常&#xff0c;请开始你的应急响应排查 cpu百分百&#xff0c;基本就可以确定是中了挖矿病毒了 我们使用命令ps -aux查看进程&#xff0c;或者使用top -c查看进程&#xff0c;排查挖矿程序 使用t…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023