「YashanDB迁移体验官」Mysql生产环境迁移至YashanDB数据库深度体验

「YashanDB迁移体验官」Mysql生产环境迁移至YashanDB数据库深度体验

  • 1. 前言
    • 1.1 产品介绍
    • 1.2 产品架构
    • 1.3 产品规格
      • 1.3.1 数据库版本支持
      • 1.3.2 数据类型支持
  • 2. YMP安装
    • 2.1 环境说明
    • 2.2 执行安装
    • 2.3 访问YMP
      • 2.3.1 YMP登录界面
      • 2.3.2 YMP迁移流程
  • 3. YMP数据迁移
    • 3.1 创建数据源
    • 3.2 创建任务
    • 3.3 迁移评估
    • 3.4 迁移配置
    • 3.5 离线迁移
    • 3.6 校验初始化
    • 3.7 一致性校验
  • 4. YMP迁移问题记录
    • 4.1 YMP使用注意点
      • 4.1.1 多个迁移任务中不能有同名的schema
      • 4.1.2 迁移评估需要完全兼容才能进行下一步
      • 4.1.3 迁移评估不兼容的对象仅支持在线修改
      • 4.1.5 YMP内置库版本必须大于或等于目标端数据库版本
      • 4.1.6 数据迁移失败不支持手动修复状态
    • 4.2 YMP迁移兼容问题
      • 4.2.1 auto_increment替换问题
      • 4.2.2 varchar字符类型单位问题
      • 4.2.3 数据库保留字问题
      • 4.2.4 字面量查询问题
      • 4.2.5 索引键长度超过上限
      • 4.2.6 纯数字的字段名转换报错
      • 4.2.7 GIS数据类型暂不支持转换
      • 4.2.8 空格字符迁移遇到NULL问题
      • 4.2.9 字段重复索引问题
  • 5.迁移小结

1. 前言

作为崖山数据库产品发布的第一批体验体验官，有幸被邀请参与崖山迁移平台（YashanDB Migration Platform，YMP）产品的体验活动，所以有了今天的这篇文章。

本次迁移计划将Mysql数据迁移到YashanDB数据库中，并在迁移过程中遇到的问题及其对产品的体验输出自己的使用感受和产品建议，也希望国产数据库能做得越来越棒！

1.1 产品介绍

崖山迁移平台（YashanDB Migration Platform，下文以YMP代称）是YashanDB提供的数据库迁移产品，支持异构RDBMS与YashanDB之间进行迁移评估、离线迁移、数据校验的能力。 YMP提供可视化服务，用户只需通过简单的界面操作，即可完成从评估到迁移整个流程的执行与监控，实现低门槛、低成本、高效率的异构数据库迁移。

YMP是一款具备【精准评估】、【SQL自动转换】、【评估迁移无缝对接】、【对象一键迁移】、【数据高i性能迁移】、【数据校验】、【一站式服务】这7个核心特性的工具，能够解决迁移兼容性与工作量评估、异构数据库元数据迁移以及数据快速迁移的问题。

1.2 产品架构

YMP的总体架构如下：
image.png

1.3 产品规格

1.3.1 数据库版本支持

image.png

1.3.2 数据类型支持

image.png

2. YMP安装

YMP工具官方提供的部署文档如下：
https://doc.yashandb.com/ymp/23.2/zh/%E5%AE%89%E8%A3%85%E5%8D%87%E7%BA%A7/%E5%AE%89%E8%A3%85%E4%B8%8E%E5%8D%B8%E8%BD%BD.html

YMP工具部署的步骤简单，需要关注的是YMP工具的业务存储库选择问题。
目前YMP支持默认内置库和自定义内置库两种接入方式：
默认内置库：安装YMP工具时默认安装YashanDB作为内置库；
自定义内置库：使用外部的YashanDB数据库作为YMP的业务库使用。

2.1 环境说明

类型系统版本数据库数据库版本地址迁移数据量
源端rhel7.6Mysql5.7.44xx.xx.xx.xx115.1G
目标端rhel7.6YashanDB23.2.1.100xx.xx.xx.xx
YMP工具rhel7.623.2.1.0xx.xx.xx.xx

2.2 执行安装

下载连接：https://download.yashandb.com/download
上传软件包Yashan Migration Platform 23.2.1（Linux X86）到/tmp下边

## 1. 创建安装用户
useradd ymp
echo "ymp" | passwd --stdin ymp## 2. 创建安装目录并解压安装包
$ mkdir -p /home/ymp/soft
$ unzip /tmp/yashan-migrate-platform-v23.2.1.2-linux-x86-64.zip -d /home/ymp/soft
$ cd /home/ymp/soft/yashan-migrate-platform## 3. 安装参数调整
### 3.1 配置内置库的密码和端口（注意不要与本机的其他端口重叠）
$ cat /home/ymp/soft/yashan-migrate-platform/conf/db.properties
YASDB_PASSWORD=ymppw602.
YASDB_PORT=8091
YASDB_CHARACTER_SET=UTF8### 3.2 配置YMP配置文件，注意服务端口不要重叠，内置库连接信息注意填写正确
### 注意：这里只列出YMP服务端口和内置库连接信息配置，其他优化项根据实际情况进行调整
$ cat /home/ymp/soft/yashan-migrate-platform/conf/application.properties
server.port=8080
spring.datasource.url=jdbc:yasdb://127.0.0.1:8091/yashan
spring.datasource.username=YMP_DEFAULT
spring.datasource.password=ymppw602.
spring.datasource.largePoolSize=64M
spring.datasource.cursorPoolSize=64M
...### 4. 执行安装
$ cd /home/ymp/soft/yashan-migrate-platform/
$ sh bin/ymp.sh installnodb --db /home/ymp/yashandb-23.2.1.0-linux-x86_64.tar.gz### 5. 检查安装情况
$ cd /home/ymp/soft/yashan-migrate-platform/
$ sh bin/ymp.sh status

2.3 访问YMP

浏览器访问：http://xx.xx.xx.xx/#/login，初始化用户名密码：admin/admin

2.3.1 YMP登录界面

image.png

2.3.2 YMP迁移流程

YMP迁移流程如下图所示，主要包含创建任务、迁移评估、迁移配置、离线迁移、数据初始化和一致性校验这6个流程。

image.png

3. YMP数据迁移

注： 由于本次迁移采用的是正式环境数据，所以下列内容关于正式数据的用户名和表名等都做了打码和脱敏。

3.1 创建数据源

1715701534481.jpg

3.2 创建任务

image.png

3.3 迁移评估

image.png

3.4 迁移配置

image.png

3.5 离线迁移

image.png

3.6 校验初始化

image.png

3.7 一致性校验

image.png

4. YMP迁移问题记录

本章记录YMP实际迁移中遇到的问题，部分问题由于数据保密要求不做展示，故提供问题复现测试用例供参考。

4.1 YMP使用注意点

4.1.1 多个迁移任务中不能有同名的schema

问题现象： 新建迁移任务提示被XX迁移任务评估占用。

image.png

原因分析： 新建的迁移任务与YMP平台现有的迁移任务中存在同名的schema。

## 登录YMP内置库查询用户情况，发现新建的迁移任务中迁移的schema名与内置库中的schema重叠了
$ yasql sys/ymppw602.@xx.xx.xx.xx:8091
SQL> select username, created from dba_users order by 2;

解决方案： 删除原有的已经完成的迁移任务，再新建新的迁移任务。

4.1.2 迁移评估需要完全兼容才能进行下一步

问题现象：【迁移评估】流程执行后，存在部分不兼容对象，无法进行下一步操作。

image.png

原因分析： YMP设定的逻辑是兼容达到100%，才能进行下一步操作。

解决方案： 根据实际情况进行不兼容对象处理，可以在线改造SQL或者忽略该不兼容对象后，完成后执行【刷新报告】，兼容度达到100%后可以进行下一步操作。

4.1.3 迁移评估不兼容的对象仅支持在线修改

问题现象： 不兼容SQL提示表不存在，改造SQL后在YMP内置库执行创建表操作，【刷新报告】之后还是提示表不存在。

image.png

image.png

image.png

原因分析： 【迁移评估】中不兼容的对象，不支持直接在内置库中进行直接修改后跳过不兼容错误。在“刷新报告”之后，手动新增的内置库内容会自动被删除掉。

解决方案： YMP平台上在线更新不兼容对象的SQL语句后，执行【验证并保存】操作。

image.png

4.1.5 YMP内置库版本必须大于或等于目标端数据库版本

image.png

4.1.6 数据迁移失败不支持手动修复状态

问题现象： 【离线迁移】流程中针对部分数据迁移失败的数据，无法手动修复状态。

image.png

原因分析： YMP暂不支持手动修复数据迁移失败的状态。

解决方案： 查看迁移失败问题详情后，在内置库处理对应失败问题，执行【迁移重试】后完成迁移。

image.png
image.png
image.png
image.png

4.2 YMP迁移兼容问题

4.2.1 auto_increment替换问题

问题现象： YashanDB建表语句中使用auto_increment关键字执行失败。
image.png

原因分析： YashanDB不支持auto_increment自增语法。

解决方案： YashanDB创建SEQUENCE的方式来兼容MYSQL的auto_increment语法。

问题复现：

## Mysql源端建表：
mysql> CREATE TABLE `T1` (`id` bigint(20) NOT NULL AUTO_INCREMENT);## YashanDB目标端建表：
SQL> CREATE TABLE T1 ("ID" bigint NOT NULL AUTO_INCREMENT);
[1:39]YAS-04209 unexpected word AUTO_INCREMENT## YashanDB目标端改造兼容
SQL> CREATE SEQUENCE T1_ID_SEQ;
SQL> CREATE TABLE T1 ("ID" bigint NOT NULL DEFAULT T1_ID_SEQ.NEXTVAL);

4.2.2 varchar字符类型单位问题

问题现象： YMP工具迁移过程中出现字符长度超出。
image.png

原因分析： YashanDB的varchar数据类型单位默认是byte

解决方案： 使用varchar(N char)的方式来兼容MYSQL varchar语法。

问题复现：

## Mysql源端建表和插数据：
mysql> CREATE TABLE `T2`(`record` varchar(2));
Query OK, 0 rows affected (0.10 sec)
mysql> INSERT INTO T2 VALUES ('记录');
Query OK, 1 row affected (0.02 sec)## YashanDB目标端建表和插数据：
SQL> CREATE TABLE T2 (RECORD VARCHAR(2));
Succeed.
SQL> INSERT INTO T2 VALUES('记录');
YAS-04008 RECORD size exceeding limit 2## YashanDB目标端改造：
SQL> ALTER TABLE T2 MODIFY RECORD VARCHAR(2 CHAR);
SQL> INSERT INTO T3 VALUES('记录');
1 row affected.

4.2.3 数据库保留字问题

问题现象： 不兼容SQL改造过程中，执行建表语句遇到关键字冲突问题。
image.png

原因分析： 建表过程中有个字段名为LEVEL，是YashanDB的保留字，所以报错了。

解决方案： 将该字段名用双引号引起来可以规避。

问题复现：

-- YashanDB目标端创建表：
SQL> create table t4 (LEVEL varchar(10));
[1:18]YAS-04110 invalid variant name-- YashanDB目标端改造：
SQL> create table t4 ("LEVEL" varchar(10));
Succeed.

4.2.4 字面量查询问题

问题现象： YMP迁移过程中不兼容语句提示“implict table"报错。
image.png

原因分析： MYSQL数据库支持简写的字面量查询方式，YashanDB数据库需要使用DUAL伪表做查询。

解决方案： 使用DUAL做伪表即可规避。
image.png

4.2.5 索引键长度超过上限

问题现象： YMP迁移评估不兼容对象提示索引字符长度超出。
image.png

原因分析： 查看组合索引的3个字段长度，(500CHAR+500CHAR+500CHAR)*4=6000bytes，刚好等于6000bytes的上限。

解决方案： 根据实际情况调整组合索引字段长度。

image.png

SQL> alter table table_name modify column_name varchar (N CHAR);

image.png

4.2.6 纯数字的字段名转换报错

问题现象： YMP元数据迁移过程中出现纯数字的字段名无法设置非空约束报错。
image.png

原因分析： YMP针对这种特殊字段名无法直接做转换。

解决方案： 将纯数字的字段名加上双引号后，执行【验证并保存】可规避。
image.png

4.2.7 GIS数据类型暂不支持转换

问题现象： YMP元数据迁移过程中空间数据类型的表无法正常转换。
image.png

原因分析： YMP暂不支持自动转换空间数据类型。

解决方案： YashanDB具备GIS能力，可以用ST_GEOMETRY类型进行兼容。
image.png

4.2.8 空格字符迁移遇到NULL问题

问题现象： YashanDB数据库非空约束插入空字符会出现报错。
image.png

原因分析： Mysql非空约束允许插入空字符，但是YashanDB不支持，因此会出现报错。

解决方案： 先删除表的非空约束，把数据导入完成。

image.png

4.2.9 字段重复索引问题

问题现象： YMP元数据迁移过程中提示字段重复索引问题。
image.png

原因分析： MYSQL支持在主键索引列再创建普通索引。YashanDB不支持该功能。

解决方案： 暂时先忽略该索引，观察迁移到YashanDB后的SQL执行计划和效率，再根据实际情况创建索引。

5.迁移小结

  1. YMP迁移工具部署简单，操作界面简洁美观，操作流程清晰明了，小白也可以轻松上手；
  2. 迁移过程透明化，从评估到迁移整个流程都提供了详细的报告供下载；
  3. 产品功能上还存在优化空间，地理空间类型迁移能力也较薄弱；
  4. YMP目前仅支持全量迁移，暂不支持在线迁移或实时同步等功能；
  5. 总体而言，YMP的迁移体验还是蛮不错的。优秀的产品总是在各式各样的应用场景不断迭代后诞生，希望YMP产品能够不断优化迭代，做的越来越好！YashanDB加油！国产数据库加油！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/329334.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

5.23小结

5.23小结

1.java项目创新 目前想添加一个自动回复的功能和设置验证方式有（允许任何人添加，禁止添加，设置回答问题添加，普通验证添加） 目前只完成画好前端界面，前端发送请求，还有表的修改 因为涉及表字…
阅读更多...
Shell编程之条件判断语句

Shell编程之条件判断语句

目录 一、条件判断 1、test命令 2、文件测试 3、整数值比较 4、字符串判断 5、逻辑测试 二、if语句 1、if单分支语句 2、双分支语句 3、多分之语句 4、case 分支语句 一、条件判断 Shell环境根据命令执行后的返回状态值（echo $?）来判断是否执行成…
阅读更多...
简析网络风险量化的价值与应用实践，如何构建网络风险预防架构

简析网络风险量化的价值与应用实践，如何构建网络风险预防架构

网络风险量化能够让公司董事会和高管层看清当前的网络安全风险格局；它还将使安全团队能够在业务需求的背景下做出网络安全决策，帮助组织确定哪些风险对业务构成最大的威胁，以及预期的经济损失将是什么。 随着网络攻击手段的日益多样化和复杂…
阅读更多...
学硕都考11408的211院校！河北工业大学计算机考研考情分析！

学硕都考11408的211院校！河北工业大学计算机考研考情分析！

河北工业大学（Hebei University of Technology），简称河北工大，坐落于天津市，由河北省人民政府、天津市人民政府与中华人民共和国教育部共建， 隶属于河北省，是国家“双一流”建设高校、国家“211…
阅读更多...
jenkins自动化部署详解

jenkins自动化部署详解

一、准备相关软件 整个自动化部署的过程就是从git仓库拉取最新代码，然后使用maven进行构建代码，构建包构建好了之后，通过ssh发送到发布服务的linux服务器的目录，最后在此服务器上执行相关的linux命令进行发布。 此篇文章jenkins…
阅读更多...
Default Folder X for Mac v6.0.7激活版：高效、智能的文件管理新选择

Default Folder X for Mac v6.0.7激活版：高效、智能的文件管理新选择

在快节奏的工作与生活中，高效管理文件已成为每个Mac用户的迫切需求。Default Folder X for Mac正是为了满足这一需求而生，它以其卓越的性能和丰富的功能，为Mac用户带来了前所未有的文件管理体验。 Default Folder X for Mac拥有直观易用的界面…
阅读更多...
数据链路层简单介绍

数据链路层简单介绍

mac地址（物理地址） mac地址和ip地址，目的都是为了区分网络上的不同设备的，在最开始的时候，mac地址和ip地址是两伙人，独立各自提出的，ip地址是4个字节（早都不够用了）&…
阅读更多...
BOM..

BOM..

区别：
阅读更多...
【vue-3】动态属性绑定v-bind

【vue-3】动态属性绑定v-bind

1、文本动态绑定&#xff1a; <input type"text" v-bind:value"web.url"> 简写&#xff1a; <input type"text" :value"web.url"> 2、文字样式动态绑定 <b :class"{textColor:web.fontStatus}">vue学…
阅读更多...
ICRA 2024: NVIDIA 联合多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院等研究人员开发了精细操作的手术机器人

ICRA 2024: NVIDIA 联合多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院等研究人员开发了精细操作的手术机器人

英伟达&#xff08;NVIDIA&#xff09;正与学术研究人员合作&#xff0c;研究手术机器人。 NVIDIA 联合多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院和佐治亚理工学院的研究人员开发了 ORBIT-Surgical&#xff0c;一个训练机器人的模拟框架&#xff0c;可以提高手术团…
阅读更多...
《QT实用小工具·六十五》基于QPropertyAnimation实现的移动动画和控件覆盖

《QT实用小工具·六十五》基于QPropertyAnimation实现的移动动画和控件覆盖

1、概述 源码放在文章末尾 该项目基于QPropertyAnimation实现了控件平移动画和控件之间的相互覆盖效果&#xff0c;项目demo演示如下所示&#xff1a; 项目解析&#xff1a; new QPropertyAnimation(ui.SingleOcclusion, “pos”); //创建动画对象&#xff0c;第一个参数传…
阅读更多...
使用Xterm实现终端构建

使用Xterm实现终端构建

————html篇———— // 需要使用Xterm Xterm的官网&#xff1a; Xterm.js 新建项目 增加基本文件 下载 框架 npm init -y Xterm依赖 npm install xterm/xterm 参考文档写的代码 贴入代码 <html><head><link rel"stylesheet" href"nod…
阅读更多...
2024 Google I/O - 提前窥探 Android 15 的新功能与适配

2024 Google I/O - 提前窥探 Android 15 的新功能与适配

今年年初就简单介绍过 Android 15 预览版 的相关内容&#xff0c;而昨天 Google I/O 宣布了 Android 15 Beta2&#xff0c;作为第二个 Beta 版本 &#xff0c;它已经基本接近它未来的样子&#xff0c;毕竟下个版本就是 Platform Stability 了&#xff0c;所以让我们提前来一睹 …
阅读更多...
APH-Archives of Public Health

APH-Archives of Public Health

文章目录 一、期刊简介二、征稿信息三、期刊表现四、投稿须知五、投稿咨询 一、期刊简介 Archives of Public Health是一份范围广泛的公共卫生杂志&#xff0c;致力于出版公共卫生领域所有可靠的科学。该杂志旨在更好地了解人群的健康。该杂志有助于公共卫生知识&#xff0c;加…
阅读更多...
IP学习——ospf1

IP学习——ospf1

OSPF:开放式最短路径优先协议 无类别IGP协议&#xff1a;链路状态型。基于 LSA收敛&#xff0c;故更新量较大&#xff0c;为在中大型网络正常工作&#xff0c;需要进行结构化的部署---区域划分、ip地址规划 支持等开销负载均衡 组播更新 ---224.0.0.5 224.0.0.6 …
阅读更多...
ChatGPT-4o 实战 如何快速分析混淆加密和webpack打包的源码

ChatGPT-4o 实战 如何快速分析混淆加密和webpack打包的源码

ChatGPT-4o 几个特点 一个对话拥有长时间的记忆&#xff0c;可以连续上传文件&#xff0c;让其分析&#xff0c;最大一个代码文件只能3M&#xff0c;超出3M的文件&#xff0c;可以通过split-file可以进行拆分 其次ChatGPT-4o可以生成文件的下载链接&#xff0c;这有利于大文件的…
阅读更多...
基于springboot+vue的学生考勤管理系统

基于springboot+vue的学生考勤管理系统

开发语言&#xff1a;Java框架&#xff1a;springbootJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#xff1a;…
阅读更多...
Spring 框架的具体下载步骤

Spring 框架的具体下载步骤

Spring 框架下载网址&#xff1a;JFrog 1.访问 Spring 官网 https://spring.io/ 2.在官网首页点击“Projects”进入项目页面。在项目页面找到“Spring Framework”并点击。 3.点击Spring Framework页面上的GitHub图标&#xff0c;进入GitHub仓库。 4.在GitHub仓库页面&…
阅读更多...
简述MyBatis中#{}引用和${}引用的区别

简述MyBatis中#{}引用和${}引用的区别

各位大佬光临寒舍&#xff0c;希望各位能赏脸给个三连&#xff0c;谢谢各位大佬了&#xff01;&#xff01;&#xff01; 目录 1.有无预编译 优点 缺点 2.SQL执行的快慢 3.能否被SQL注入 4.参数输入方式 5.总结 1.有无预编译 #{}是有预编译的而${}是没有预编译的&…
阅读更多...
使用决策树对金融贷款数据进行分析

使用决策树对金融贷款数据进行分析

使用决策树对金融贷款数据进行分析 在本篇博客中&#xff0c;我们将通过使用 Python、Pandas 和多种机器学习技术&#xff0c;对一组贷款数据进行全面分析。通过详细的步骤展示&#xff0c;你将学会如何进行数据预处理、可视化分析以及构建预测模型。 第一步&#xff1a;导入…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023