分布式事务-本地消息表学习与落地方案

本文参考:

数据库事务系列04-本地消息表实现分布式事务

基础概念

本地消息表实现分布式事务最终一致性的核心:是通过上游本地事务的原子性+持久性,配合中间件的重试机制,从而实现调用下游的最终一致性。

这里有几个要点可以解析一下:

  1. 上游本地事务的原子性
    通常上游会专门维护一张本地消息表,存放调用下游的消息,作为调用下游的依据。并且写消息表的动作和上游的业务逻辑都放在同一个本地事务中,位于同一个数据库中,借助本地事务的 ACID 特性,实现写业务逻辑 + 写下游消息的一致。

  2. 中间件的重试机制

    会有中间件异步地去读取上面写的消息表,通常是定时任务去异步地扫表,读取出其中没有被确认调用过下游的消息,再次对下游发起调用。这里对下游发起调用也有多种方式,

    • 在定时任务中按照消息表中记录的结构体直接调用下游 RPC,当有多个下游要接入的时候,上游需要配合改代码,代码耦合度较高,但是逻辑简单,不需要接入其他中间件,时效性最快。
    • 定时任务将消息投递至消息中间件 MQ,由下游消费 MQ,当有多个下游要接入的时候,上游不需要感知,实现了逻辑解耦,但是架构较复杂,需要上下游同时接入中间件 MQ,并且时效性也没有很快,因为定时任务 -> MQ -> 调用下游 会有额外的网络开销。
  3. 调用下游的一致性

    由于可能存在中间件的重试调用,所以下游需要自己保证调用接口的幂等性,否则会存在重复脏数据。

具体实现

来看看网上常见的两种本地消息表实现方案,之前我对这些方案也容易产生混淆,想着这种常见的分布式事务一致性手段,为什么连方案都不能实现统一?但是后来发现各种方案都是基于特定的场景衍生出来的,都有其应用场景,需要具体情况具体分析。先提前总结下,核心区别在于:修改消息表消息状态是由上游控制还是由下游控制的

本地消息表结构

NameTypeComment
IdLong唯一 id
ContentText消息表内容JSON
Biz_TypeInteger消息类型
StatusInteger消息状态(0未确认,1已确认)
Create_timeDatetime创建时间
Modify_timeDatetime修改时间
Ext_fieldText拓展字段

方案 1

核心流程如下所示:

  1. 上游 Service 执行业务逻辑,写入业务数据表
  2. 上游 Service 插入本地消息表,status = 0 未确认
  3. 定时任务扫描消息表中 status = 0 的记录
  4. 定时任务投递 status = 0 的记录至 MQ
  5. 下游 Service 接入并读取 MQ 消息
  6. 下游 Service 幂等消费并执行自己的业务逻辑
  7. 下游 Service 业务逻辑执行成功,回调 上游 Service 的接口通知成功
  8. 上游 Service 被回调以后,更新本地消息表状态为 status = 1 确认

在这里插入图片描述

其中 7, 8 需要上游业务提供回调接口,由下游调用,告知上游消息已经被正确地调用了,通过这一次 RPC 调用保证了上下游服务的最终一致性

方案 2

整体业务架构和上面的方案一致,但流程上有些不一样

  1. 上游 Service 执行业务逻辑,写入业务数据表
  2. 上游 Service 插入本地消息表,status = 0 未确认
  3. 定时任务扫描消息表中 status = 0 的记录
  4. 定时任务投递 status = 0 的记录至 MQ
  5. 定时任务直接将 status 改为 1 已发送
  6. 下游 Service 接入并读取 MQ 消息
  7. 下游 Service 幂等消费并执行自己的业务逻辑

在这里插入图片描述

其中 4,5 是定时任务投递了 MQ 消息过后,就直接将消息表中的状态 status = 1,上游的职责就是最大努力通知,上游将 status = 0 努力通知到下游,通知到下游就与它无关了。后续依赖 MQ 的持久化机制,并且完全信赖下游读取 MQ 消息并且能够成功消费的。

方案 1-2

这算是方案1在架构上的一种变式吧,就是不依赖 MQ,直接 RPC 调用下游,实现起来相对简单,耦合度会比较高,业务上下游针对不同的业务逻辑都需要单独开发一次

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/22603.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

亚马逊云科技 re:Invent 2023:科技前沿风向标,探索未来云计算之窗

文章目录 一、前言二、什么是亚马逊云科技 re:Invent?三、亚马逊云科技 re:Invent 2023 将于何时何地举行四、亚马逊云科技 re:Invent 2023 有什么内容?4.1 亚马逊云科技 re:Invent 2023 主题演讲4.2 亚马逊云科技行业专家探实战 五、更多亚马逊云科技活…

C++——list模拟实现

目录 前言 一、list的结构 二、默认成员函数 构造函数 析构函数 clear 拷贝构造 赋值重载 swap 三、容量相关 empty size 四、数据访问 front/back 五、普通迭代器 begin/end 六、const迭代器 begin/end 七、插入数据 insert push_back push_front 八、…

虚拟机从零实现机器人控制

1. 系统安装 因Docker不适合需要图形界面的开发,因此使用虚拟机VMware方便可视化界面方式查看效果,相关软件可以从官网下载,这里有一整套免费安装文件百度网盘地址: 2. ROS安装 Ubuntu 22.04:https://docs.ros.org…

【Blender】二、建模篇--06,曲线建模/父子级和蒙皮修改器

00:00:03,620 --> 00:00:09,500 前几节可能我们已经做了很多种类型的模型了 但是有一种类型 我们一直避开就是这种管道 1 00:00:10,050 --> 00:00:19,370 藤条头发啊 衣服架子啊这种弯弯绕绕的 需要一定柔软度的模型 那么这节课呢我们都来集中看一下曲线的模型 我们应该…

机器学习实战(7):聚类算法——发现数据中的隐藏模式

第7集:聚类算法——发现数据中的隐藏模式 在机器学习中,聚类(Clustering) 是一种无监督学习方法,用于发现数据中的隐藏模式或分组。与分类任务不同,聚类不需要标签,而是根据数据的相似性将其划…

静态时序分析:时钟组间的逻辑独立、物理独立和异步的区别

相关阅读 静态时序分析https://blog.csdn.net/weixin_45791458/category_12567571.html 当设计中存在多个时钟(同步或异步)时,该如何使用SDC命令约束设计呢?本文就将对此进行讨论。 逻辑独立 例1 多个时钟完全逻辑独立 图1 逻辑…

【从0做项目】Java文档搜索引擎(9)烧脑终章!

阿华代码,不是逆风,就是我疯 你们的点赞收藏是我前进最大的动力!! 希望本文内容能够帮助到你!! 目录 文章导读 零:项目结果展示 一:导入 二:问题引入 1:情…

gsplat 抗锯齿

关键代码 无论时候开启抗锯齿&#xff0c;都会进行二维膨胀&#xff1a; template <typename T> inline __device__ T add_blur(const T eps2d, mat2<T> &covar, T &compensation) {T det_orig covar[0][0] * covar[1][1] - covar[0][1] * covar[1][0];…

根据音频中的不同讲述人声音进行分离音频 | 基于ai的说话人声音分离项目

0.研究背景 在实际的开发中可能会遇到这样的问题&#xff0c;老板让你把音频中的每个讲话人的声音分离成不同的音频片段。你可以使用au等专业的音频处理软件手动分离。但是这样效率太慢了&#xff0c;现在ai这么发达&#xff0c;我们能否借助ai之力来分离一条音频中的不同的说…

一台服务器将docker image打包去另一天服务器安装这个镜像

一台服务器将docker image打到去另一天服务器安装这个镜像 1. 打包2.另一台服务器执行 1. 打包 docker save -o nebula-graph-studio.tar harbor1.vm.example.lan/dockerio/vesoft/nebula-graph-studioxxx.tar 是打包好的文件 后面的是 docker image 2.另一台服务器执行 docke…

STM32-心知天气项目

一、项目需求 使用 ESP8266 通过 HTTP 获取天气数据&#xff08;心知天气&#xff09;&#xff0c;并显示在 OLED 屏幕上。 按键 1 &#xff1a;循环切换今天 / 明天 / 后天天气数据&#xff1b; 按键 2 &#xff1a;更新天气。 二、项目框图 三、cjson作用 https://gi…

自由学习记录(37)

课 对于这一方面&#xff0c;先把课都过一遍吧&#xff0c;尽量快的摸清楚底 软件工程 没有复杂的逻辑推理&#xff0c;概念性和理论很强&#xff0c;所以靠记 ------ 数据&#xff1a;是使程序能够适当处理信息的数据结构 程序&#xff1a;是能够完成预定功能和性能的可执行…

Docker仿真宇树狗GO1

1. 启动容器 docker run -it --rm humble_suo bash2. 安装Go1 的仿真包 apt update apt install -y git cmake build-essential git clone https://github.com/unitreerobotics/unitree_ros.git cd unitree_ros colcon build source install/setup.bash3. 启动仿真环境 ros2…

《游戏人工智能编程 案例精粹》阅读心得

最近读完了这本《游戏人工智能编程 案例精粹》&#xff0c;感觉获益匪浅&#xff0c;在对游戏人工智能的设计上有了更深的感悟。 这本书既适合初学者学习&#xff0c;因为次书会从最基础的数学物理公式推导一步一步介绍到完整的人工智能开发&#xff1b;同时也适合进阶程序员&a…

黑马点评_商品信息缓存模块

保证缓存不要有空档期 删除后马上要写入中间不能插入任何阶段(如查询数据库) 对于单体系统1&#xff0c;将缓存与数据库操作放在同一个事务中&#xff08;当前项目就是一个单体项目&#xff0c;所以选择这种方式&#xff09; 对于分布式系统2&#xff0c;利用TCC&#xff08;Tr…

OnlyOffice:前端编辑器与后端API实现高效办公

OnlyOffice&#xff1a;前端编辑器与后端API实现高效办公 一、OnlyOffice概述二、前端编辑器&#xff1a;高效、灵活且易用1. 完善的编辑功能2. 实时协作支持3. 自动保存与版本管理4. 高度自定义的界面 三、后端API&#xff1a;管理文档、用户与权限1. 轻松集成与定制2. 实时协…

面阵工业相机提高餐饮业生产效率

餐饮行业是一个快节奏、高要求的领域&#xff0c;该领域对生产过程中每一个阶段的效率和准确性都有很高的要求。在食品加工、包装、质量控制和库存管理等不同生产阶段实现生产效率的优化是取得成功的关键步骤。面阵工业相机能够一次性捕捉对象的二维区域图像&#xff0c;并支持…

现场可以通过手机或者pad实时拍照上传到大屏幕的照片墙现场大屏电子照片墙功能

现场可以通过手机或者pad实时拍照上传到大屏幕的照片墙现场大屏电子照片墙功能&#xff0c;每个人都可以通过手机实时拍照上传到大屏幕上,同时还可以发布留言内容&#xff0c;屏幕上会同步滚动播放展示所有人的照片和留言。相比校传统的照片直播功能更加灵活方便&#xff0c;而…

【多线程】线程安全

目录 一、初识线程安全 什么是线程安全问题 理解线程不安全的原因 原因总结 二、解决线程不安全 加锁&#x1f510; 锁对象 synchronized几种使用方式 死锁&#x1f50f; 死锁的三个场景 (1)一个线程针对一把锁连续加锁两次 (2)两个线程两把锁 (3)N个线程M个锁 如…

传统文旅+AI构建数字文旅新生态

传统文旅AI构建数字文旅新生态 前言&#xff1a; 当前许多旅游景区在旅游管理和旅游基础设施配套上都下足了功夫&#xff0c;在一定程度上也给旅客和消费者带来了舒适的体验感。但是针对于我们游客而言&#xff0c;似乎只有欣赏沿途风景、了解景区历史文化、拍照打卡和品尝特色…