数据库变更时，OceanBase如何自动生成回滚 SQL

背景

在开发中，数据的变更与维护工作一般较频繁。当我们执行数据库的DML操作时，必须谨慎考虑变更对数据可能产生的后果，以及变更是否能够顺利执行。若出现意外数据丢失、操作失误或语法错误等情况，我们必须迅速将数据库恢复到变更之前的状态，以确保数据的一致性和完整性。然而，回滚操作通常需要开发人员手动编写回滚SQL脚本，这不仅繁琐复杂，而且极易出错。

为了解决这个问题，ODC（OceanBase Developer Center）V4.2.0支持在执行数据库变更任务时自动生成备份回滚 SQL 以提高开发效率、减少错误率，保证数据的一致性和完整性。当单条误操作 SQL 受影响的数据量在10万以内时，您可使用该方法进行数据恢复。

功能体验

  1. 点击「工单」-> 「新建工单」-> 「数据库变更」，在 ODC 的「新建数据库变更」页面中，勾选「生成备份回滚方案」并填写工单详情。

  1. 点击「新建」后待工单审批通过。
  2. ODC 会根据您填写的「SQL内容」生成对应的「备份回滚方案」，您可以在工单的「任务详情」中的「任务信息」页面点击「下载备份回滚方案」以下载 ODC 生成的「备份回滚方案」文件：

也可以在工单「任务详情」中的「任务流程」中点击「下载备份回滚方案」以下载该文件。

  1. 如需回滚该工单您可以在此工单的「任务详情」页面的右下脚点击「回滚」重新发起数据库变更工单以申请回滚操作。发起回滚工单后您可以在此工单的「任务详情」中的「回滚工单」页面查看此工单关联的回滚工单。

例如，针对 「SQL内容」为以下的数据库变更任务：

update t2 set c2=11 where c1=1;
update tab2 set c2=11 where id=1;

生成的「备份回滚方案」示例如下：

/* 
[SQL]: 
update t2 set c2=11 where c1=1[QUERY SQL]: 
SELECT t2.* FROM t2 WHERE c1=1;*/ 
REPLACE INTO `jingtian_test`.`t2` VALUES (1,11,1);/* 
[SQL]: 
update tab2 set c2=11 where id=1[ERROR MESSAGE]: 
It is not supported to generate rollback plan for tables without primary key or unique key
*/

包含以下几部分内容：

  • 原始的变更 SQL 语句（仅针对 UPDATE/DELETE 语句）。
  • 查询原始变更数据的 SQL 语句。
  • 生成的回滚 SQL。
  • 若针对一条 UPDATE/DELETE 变更 SQL 无法生成回滚 SQL，则其原因会显示在 [ERROR MESSAGE]中。

ODC 如何自动生成一条回滚 SQL

下面是 ODC 根据一条 SQL 生成对应的回滚 SQL 的流程图：

  • SQL 解析：通过 SQL 解析器遍历 SQL 语法树从而将一条 SQL 解析为 SQL 对象。
  • SQL 校验：基于 SQL 对象校验是符合能够生成对应的回滚 SQL 的条件，包括：
    1. 判断是否是 UPDATE/DELETE SQL，ODC 仅针对 UPDATE/DELETE 语句生成对应的回滚 SQL；
    2. 若是 OB MYSQL 模式，判断变更表是否具有主键或唯一建，对于没有主键或唯一键的表执行的变更 SQL 不支持生成回滚 SQL。
  • 基于 SQL 对象生成查询原始变更数据的 SQL。
  • 查询原始变更数据。
  • 基于 SQL 对象和原始变更数据生成对应的回滚 SQL：
    • OB MYSQL 模式针对 UPDATE 语句生成 REPLACE INTO 的回滚 SQL；
    • OB ORACLE 模式针对 UPDATE 语句生成 DELETE 语句和 INSERT INTO 语句；
    • 针对 DELETE 语句生成 INSERT INTO 语句。

接下来详解介绍每一个流程的具体实现。

SQL 解析

SQL 解析可以理解为对 SQL 进行建模，将原始 SQL 语句转化为一个 SQL 对象。我们根据 SQL 的词法和语法文件可以生成 SQL 的词法分析器和语法分析器。词法分析阶段将 SQL 语句拆解成 Token 序列，并识别出关键词、标识、常量等，而语法分析阶段基于词法分析的结果，构造出一棵抽象语法数。例如一条 SQL：

UPDATE tab1, tab2 SET tab1.c2 = 100, tab2.c2=200 WHERE tab1.c1 = tab2.c1;

生成对应的抽象语法树如下图：

通过遍历语法树将其转化为一个 SQL 对象：

可以看到，这个 SQL 对象实际上是将 SQL 语句结构化了，对 SQL 的各个部分都定义了相应的抽象，比如针对 where 的查询条件我们定义成了 CompoundExpression对象。通过将 SQL 语句解析成对象，我们就可以围绕这个对象编写生成对应回滚 SQL 的处理逻辑。

SQL 校验

SQL 校验阶段就是基于解析出来的 SQL statement 对象去做一些校验的逻辑：

  • 判断该 SQL 的类型是否是 UPDATE/DELETE 类型。
  • 针对 OB MYSQL 模式，我们需要做格外的校验变更表是否具有主键或者唯一键的逻辑判断。之所以有这个校验逻辑是由于首先后续的批量查询策略逻辑依赖主键/唯一键，其次针对 UPDATE 语句生成的回滚 SQL 是 REPLACE INTO，该语句也依赖主键/唯一键。通过 SQL 对象我们可以获取到 update 语句的 table_references 对象，我们就基于这个变更的 table 名用以下去查询校验该 table 是否具有主键或者唯一键：
-- 查询主键
SHOW INDEX FROM table_name WHERE Non_unique = 0 and Key_name='PRIMARY';-- 查询唯一建
SHOW INDEX FROM table_name WHERE Non_unique = 0;

而针对 OB ORACLE 模式，我们直接采用 ROWID 作为每一张变更表的唯一建，因此不需要有校验变更表是否具有主键或者唯一键的逻辑。

  • 校验该变更 SQL 是否符合能够生成回滚 SQL 的语句。比如如下 SQL：
UPDATE t1, t2 set col1=2222, col2=333 WHERE t1.c1=t2.c1;

由于 table_references 中涉及多个表，但是 set column_name=... 时没有指明该column_name 的表名，导致我们仅根据这一条 SQL 无法直接确认变更的字段属于哪个表，因此该 SQL 不符合能够生成回滚 SQL 的语句。这种情况只需稍做修改，指明列所属的表就可以支持生成回滚 SQL：

UPDATE t1, t2 set t1.col1=2222, t2.col2=333 WHERE t1.c1=t2.c1;

查询原始变更数据

如何基于一条 SQL 生成对应的查询原始数据的 SQL 呢？其实核心逻辑就是基于解析出的 SQL 对象和 SQL 语句格式去获取我们需要的信息进而拼接出查询 SQL。拿 UPDATE 语句为例，以下是 OB MYSQL 的 UPDATE 语句的格式：

UPDATE [IGNORE] table_referencesSET update_asgn_list[WHERE where_condition] [ORDER BY order_list][LIMIT row_count];table_references:tbl_name [PARTITION (partition_name,...)] [, ...]update_asgn_list:column_name = expr [, ...]order_list: column_name [ASC|DESC] [, column_name [ASC|DESC]...]

简单示例

比如基于以下 SQL：

UPDATE tab1, tab2 SET tab1.c2 = 100, tab2.c2=200 WHERE tab1.c1 = tab2.c1;

通过 SQL 解析后基于 SQL 对象我们可以获取该 SQL Statement 的 table_references、update_asgn_list 和 where_condition，通过 update_asgn_list 我们可以知道该 SQL 涉及的变更表有2个：tab1 和 tab2，进而我们就可以针对每个变更表生成的查询 SQL ：

SELECT * FROM tab1 WHERE tab1.c1 = tab2.c1;SELECT * FROM tab2 WHERE tab1.c1 = tab2.c1;

当然以上的示例 SQL 是一个最简单的例子，复杂一点的场景比如涉及 多表 join 和 子查询 的场景又该怎么生成对应的查询 SQL 呢？其实不管 SQL 多复杂我们的核心都是基于 SQL Statement 去拼接出查询 SQL。

考虑如下涉及多表 join 的 SQL：

UPDATE tab1 v1 inner join tab2 v2 inner join tab3 v3 on v1.c1 = v2.c1 and v1.c1=v3.c1 SET v1.c2=200, v2.c2=200;

针对这条 SQL 我们通过解析 table_references、 update_asgn_list 从而拼接的查询 SQL 如下：

SELECT v1.* FROM tab1 v1 inner join tab2 v2 inner join tab3 v3 on v1.c1 = v2.c1 and v1.c1=v3.c1;SELECT v2.* FROM tab1 v1 inner join tab2 v2 inner join tab3 v3 on v1.c1 = v2.c1 and v1.c1=v3.c1;

批量查询策略

获取到基于原始 SQL 生成的查询 SQL 后，我们就可以执行查询 SQL 来获取原始数据了。在查询数据的时候可能会遇上这个问题：一次查询出的数据过大，导致内存溢出怎么办？针对这个问题传统的处理方式也有很多，比如通过 limit 分页查询，但是这种方式在我们的场景下不适用，比如如果原始 SQL 就带了 limit 那么这种方式就失效了。ODC 采用根据表的主键或唯一键（优先采用主键）拼接批量查询 SQL 的方式来解决这个问题。

OB MYSQL 模式

比如我们通过查询 SQL 可以获取到表 tab1 的主键列为 c1，如果原始的查询 SQL 如下：

SELECT tab1.* FROM tab1 WHERE c3 > 1；

我们先查询出所有变更行数据的主键值：

SELECT tab1.c1 FROM tab1 WHERE c3 > 1；

通过以上 SQL 我们就可以查询出变更的总行数以及每一行的主键值，若总变更行数为 1500 且设置的批量查询的大小为 1000，也就是每次查询最多获取 1000 行的数据，那么基于以上查询 SQL 得到的批量查询 SQL 为：

SELECT tab1.* FROM tab1 WHERE c3 > 1 AND c1 IN (1,2,3, ..., 1000);SELECT tab1.* FROM tab1 WHERE c3 > 1 AND c1 IN (1001,1002,1003, ..., 1500);

这样以来就可以做到批量查询原始变更数据了。由于增加的 where 条件也是走索引的，因此也不存在性能瓶颈问题。

OB ORACLE 模式

针对 ORACLE 模式我们直接利用 ROWID 来拼接批量查询 SQL。比如原始 SQL；

SELECT tab1.* FROM tab1 WHERE c3 > 1；

我们先查询出所有变更行数据的 ROWID 值：

SELECT ROWID FROM tab1 WHERE c3 > 1；

那么基于以上查询 SQL 得到的批量查询 SQL 为：

SELECT tab1.* FROM tab1 WHERE c3 > 1 AND ROWID IN (...);

生成回滚 SQL

通过以上处理逻辑，我们已经获得了原始变更数据，那么接下来就是最后一步基于变更行数据生成回滚 SQL 了。

UPDATE 语句

OB MYSQL 模式

针对 OB MYSQL 模式，UPDATE 语句生成的对应回滚 SQL 为 REPLACE INTO 语句，REPLACE INTO 用于实时覆盖写入数据。写入数据时，会先根据主键或唯一键判断待写入的数据是否已经存在于表中，并根据判断结果选择不同的方式写入数据：

  • 如果待写入数据已经存在，则先删除该行数据，然后插入新的数据。
  • 如果待写入数据不存在，则直接插入新数据。

这里要求变更表必须有主键或者是唯一索引，否则 replace into 会直接插入数据（等效于 INSERT INTO），这可能会导致表中出现重复的数据。

最终 ODC 生成的完整的备份回滚 SQL 文件如下所示：

/* 
[SQL]: 
update tab set col2=2 where col=1;[QUERY SQL]: 
SELECT tab.* FROM tab WHERE col=1;*/ 
REPLACE INTO `schema_name`.`tab` VALUES (1,1,1);

OB ORACLE 模式

针对 OB ORACLE 模式，会先生成 DELTE 语句来删除变更数据，然后生成 INSERT INTO 语句插入原始的变更前的数据，从而避免插入数据时存在主键或者唯一键的冲突。

/* 
[SQL]: 
UPDATE TAB1 set c2=2 where c1=1[QUERY SQL]: 
SELECT TAB1.* FROM TAB1 WHERE c1=1;*/ 
DELETE FROM TAB1 WHERE c1=1;
INSERT INTO "TEST"."TAB1" VALUES (1,1);

DELETE 语句

针对 DELETE 语句，生成的回滚 SQL 为 INSERT INTO 语句。例如针对以下变更 SQL：

delete from tab where col=1;

最终生成的备份回滚文件内容如下:

/* 
[SQL]: 
delete from tab where col=1;[QUERY SQL]: 
SELECT tab.* FROM tab WHERE col=1;*/ 
INSERT INTO `schema_`.`tab` VALUES (1,1,1);

结语

感谢您的阅读～ODC 已于 2023 年 DTCC 大会上正式宣布开源。ODC 希望通过开源，与社区共同打造一款帮助 Dev 和 DBA 真正实现“ONE team”的企业级数据库协同开发工具。如果你对这个开源项目感兴趣，欢迎以任何形式参与 ODC 社区。无论是贡献代码、提出问题、分享见解，或者仅仅是表达对这个开源项目的喜爱与支持，都将成为推动 ODC 项目发展的动力。

↓ 前往 GitHub，深入了解 ODC 的更多细节

GitHub - oceanbase/odc: OceanBase Developer Center(ODC), An open-source, enterprise-grade database tool for collaborative development

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/315069.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Bayes判别示例数据：鸢尾花数据集

Bayes判别示例数据：鸢尾花数据集

使用Bayes判别的R语言实例通常涉及使用朴素贝叶斯分类器。朴素贝叶斯分类器是一种简单的概率分类器，基于贝叶斯定理和特征之间的独立性假设。在R中，我们可以使用e1071包中的naiveBayes函数来实现这一算法。下面，我将通过一个简单的示例展示如…
阅读更多...
npm、yarn与pnpm详解

npm、yarn与pnpm详解

🔥 npm、yarn与pnpm详解 🔖 一、npm 🔍 简介： npm是随Node.js一起安装的官方包管理工具，它为开发者搭建了一个庞大的资源库，允许他们在这个平台上搜索、安装和管理项目所必需的各种代码库或模块。 &#…
阅读更多...
Intelij Idea Push失败，出现git Authentication failed（验证失败）

Intelij Idea Push失败，出现git Authentication failed（验证失败）

目录 1、出现问题的原因 2、解决之法 1、出现问题的原因 能出现这种问题，最主要的原因是链接对上了，但用户验证失败了，即登录失败。 因为服务器转移或者换了git项目链接，导致你忘记了用户名密码，随意输入之后&…
阅读更多...
求三个字符数组最大者（C语言）

求三个字符数组最大者（C语言）

一、N-S流程图&#xff1b; 二、运行结果&#xff1b; 三、源代码&#xff1b; # define _CRT_SECURE_NO_WARNINGS # include <stdio.h> # include <string.h>int main() {//初始化变量值&#xff1b;int i 0;char str[3][20];char string[20];//循环输入3个字符…
阅读更多...
AIGC - SD(中英文本生成图片) + PaddleHub/HuggingFace + stable-diffusion-webui

AIGC - SD(中英文本生成图片) + PaddleHub/HuggingFace + stable-diffusion-webui

功能 stable-diffusion(文本生成图片)webui-win搭建&#xff08;开启api界面汉化&#xff09;PaddleHubHuggingFace: SD2&#xff0c;中文-alibaba/EasyNLP stable-diffusion-webui 下载与安装 环境相关下载 python&#xff08;文档推荐&#xff1a;Install Python 3.10.6 …
阅读更多...
Ubuntu中的 Everything 搜索软件 ==＞ fsearch

Ubuntu中的 Everything 搜索软件 ==＞ fsearch

本文所使用的 Ubuntu 系统版本是 Ubuntu 22.04 ! 在 Windows 中&#xff0c;我经常使用 Everything 来进行文件搜索&#xff0c;搜索效率比 Windows 自带的高出千百倍。 那么在 Ubuntu 系统中&#xff0c;有没有类似的软件呢&#xff1f;那必须有&#xff0c;它就是 FSearch 。…
阅读更多...
uniapp app权限说明弹框2024.4.23更新

uniapp app权限说明弹框2024.4.23更新

华为上架被拒绝 用uni-app开发的app&#xff0c;上架华为被拒&#xff0c;问题如下&#xff1a; 您的应用在运行时&#xff0c;未见向用户告知权限申请的目的&#xff0c;向用户索取&#xff08;电话、相机、存储&#xff09;等权限&#xff0c;不符合华为应用市场审核标准。…
阅读更多...
C#基础：WPF中常见控件的布局基础

C#基础：WPF中常见控件的布局基础

一、用ViewBox实现放缩控件不变 二、布局代码 <Window x:Class"WpfApp1.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml"Title"MainWindow"…
阅读更多...
探索矿业数字化平台：实现智能化采矿与管理

探索矿业数字化平台：实现智能化采矿与管理

随着信息技术的迅猛发展&#xff0c;矿业领域也在逐步实现数字化转型。数字化平台的出现为矿业企业带来了更高效、更智能的采矿与管理方式。本文将探讨矿业数字化平台的意义、特点以及未来发展方向。 ### 1. 数字化平台的意义 传统的矿业生产和管理方式存在诸多问题&#xff…
阅读更多...
浏览器渲染机制：重排（Reflow）与重绘（Repaint）以及Vue优化策略

浏览器渲染机制：重排（Reflow）与重绘（Repaint）以及Vue优化策略

浏览器渲染机制是一个复杂但有序的过程&#xff0c;其目的是将HTML、CSS和JavaScript代码转化为用户可以看到和交互的视觉界面。重排&#xff08;Reflow&#xff09;与重绘&#xff08;Repaint&#xff09;是浏览器渲染过程中对页面元素进行更新的两个重要步骤&#xff0c;理解…
阅读更多...
系统设计 --- E2E Test System

系统设计 --- E2E Test System

系统设计 --- E2E Test System 什么是E2EE2E Architecture Example 什么是E2E E2E&#xff08;端到端&#xff09;测试是一种软件测试方法&#xff0c;旨在模拟真实的用户场景&#xff0c;测试整个应用程序或系统的端到端功能和交互流程。E2E 测试涵盖了从用户界面到后端系统的…
阅读更多...
物联网实战--平台篇之(一)架构设计

物联网实战--平台篇之(一)架构设计

本项目的交流QQ群:701889554 物联网实战--入门篇https://blog.csdn.net/ypp240124016/category_12609773.html 物联网实战--驱动篇https://blog.csdn.net/ypp240124016/category_12631333.html 一、平台简介 物联网平台这个概念比较宽&#xff0c;大致可以分为两大类&#x…
阅读更多...
APP自定义身份证相机(Android +iOS)

APP自定义身份证相机(Android +iOS)

基本上同时兼容安卓和苹果的插件都需要付费&#xff0c;这里我找了2个好用的免费插件 1.仅支持安卓&#xff1a;自定义身份证相机&#xff08;支持蒙版自定义&#xff09;&#xff0c;内置蒙版&#xff0c;照片预览&#xff0c;身份证裁剪 - DCloud 插件市场、 2.支持iOS(已测…
阅读更多...
【Unity】AssetBundle加载与卸载

【Unity】AssetBundle加载与卸载

unity官方apiAssetBundle-LoadFromFileAsync - Unity 脚本 API 异步加载AB包 using UnityEngine; using System.Collections; using System.IO;public class LoadFromFileAsyncExample : MonoBehaviour {IEnumerator Start(){var bundleLoadRequest AssetBundle.LoadFromFil…
阅读更多...
区块链安全应用------压力测试

区块链安全应用------压力测试

测试要求&#xff1a; 1. 对以下AccountManager智能合约进行压测(基础要求set函数测试&#xff0c;balanceOf涵为20分加分项)2. 在本地链进行测试&#xff0c;需要监控本地进程的资源使用情况。每个进程的multiOutput属性为Avg3. 需要将每一个更改的配置文件截图&#xff0c;和…
阅读更多...
深度解析 Spring 源码：三级缓存机制探究

深度解析 Spring 源码：三级缓存机制探究

文章目录 一、 三级缓存的概述二、 三级缓存的实现原理2.1 创建Bean流程图2.2 getBean()2.3 doGetBean()2.4 createBean()2.5 doCreateBean()2.4 getSingleton() 三、 三级缓存的使用场景与注意事项3.1 在实际开发中如何使用三级缓存3.2 三级缓存可能出现的问题及解决方法 一、…
阅读更多...
【服务器部署篇】Linux下Ansible安装和配置

【服务器部署篇】Linux下Ansible安装和配置

作者介绍&#xff1a;本人笔名姑苏老陈&#xff0c;从事JAVA开发工作十多年了&#xff0c;带过刚毕业的实习生&#xff0c;也带过技术团队。最近有个朋友的表弟&#xff0c;马上要大学毕业了&#xff0c;想从事JAVA开发工作&#xff0c;但不知道从何处入手。于是&#xff0c;产…
阅读更多...
不可重复读，幻读和脏读

不可重复读，幻读和脏读

不可重复读一般在读未提交&#xff0c;读已提交这两种隔离级别出现&#xff0c;第一次读和第二次读的数据不一致。 幻读一般在读未提交&#xff0c;读已提交&#xff0c;可重复读出现&#xff0c;原因是第一个事务执行时&#xff0c;第二个事务完成了提交&#xff0c;在第一个…
阅读更多...
CISSP通关学习笔记：共计 9 个章节（已完结）

CISSP通关学习笔记：共计 9 个章节（已完结）

1. 笔记说明 第 0 章节为开篇介绍&#xff0c;不包括知识点。第 1 - 8 章节为知识点梳理汇总&#xff0c;8 个章节的知识框架关系如下图所示&#xff1a; 2. 笔记目录 「 CISSP学习笔记 」0.开篇「 CISSP学习笔记 」1.安全与风险管理「 CISSP学习笔记 」2.资产安全「 CISSP…
阅读更多...
网络安全实训Day15

网络安全实训Day15

写在前面 电子垃圾&#xff0c;堂堂恢复连载。本来不想分天数梳理了&#xff0c;但是最后要写实训报告&#xff0c;报告里还要有实训日记记录每日学的东西&#xff0c;干脆发这里留个档&#xff0c;到时候写报告提供一个思路。 网络空间安全实训-渗透测试 渗透测试概述 定义 一…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023