02.percona Toolkit工具pt-archiver命令实践

1.命令作用

Percona Toolkit有的32个命令,可以分为7大类
工具类别 工具命令 工具作用 备注

开发类	pt-duplicate-key-checker	列出并删除重复的索引和外键	 pt-online-schema-change	在线修改表结构	 pt-query-advisor	分析查询语句,并给出建议,有bug	已废弃pt-show-grants	规范化和打印权限	 pt-upgrade	在多个服务器上执行查询,并比较不同性能类	pt-index-usage	分析日志中索引使用情况,并出报告	 pt-pmp	为查询结果跟踪,并汇总跟踪结果	 pt-visual-explain	格式化执行计划	 pt-table-usage	分析日志中查询并分析表使用情况	pt 2.2新增命令配置类	pt-config-diff	比较配置文件和参数	 pt-mysql-summary	对mysql配置和status进行汇总	 pt-variable-advisor	分析参数,并提出建议	 监控类	pt-deadlock-logger	提取和记录mysql死锁信息	 pt-fk-error-logger	提取和记录外键信息	 pt-mext	并行查看status样本信息	 pt-query-digest	分析查询日志,并产生报告	常用命令pt-trend	按照时间段读取slow日志信息	已废弃复制类	pt-heartbeat	监控mysql复制延迟	 pt-slave-delay	设定从落后主的时间	 pt-slave-find	查找和打印所有mysql复制层级关系	 pt-slave-restart	监控salve错误,并尝试重启salve	 pt-table-checksum	校验主从复制一致性	 pt-table-sync	高效同步表数据	 系统类	
pt-diskstats	查看系统磁盘状态	 pt-fifo-split	模拟切割文件并输出	 pt-summary	收集和显示系统概况	 pt-stalk	出现问题时,收集诊断数据	 pt-sift	浏览由pt-stalk创建的文件	pt 2.2新增命令pt-ioprofile	查询进程IO并打印一个IO活动表	pt 2.2新增命令实用类	
pt-archiver	将表数据归档到另一个表或文件中	 pt-find	查找表并执行命令	 pt-kill	Kill掉符合条件的sql	常用命令pt-align	对齐其他工具的输出	pt 2.2新增命令pt-fingerprint	将查询转成密文	pt 2.2新增命令

2.数据归档实践基本使用方法

pt-archiver 是 Percona Toolkit 中的一个组件,主要用于对 MySQL 表数据进行归档和清除。它可以将数据归档到另一台服务器上的另一张表,或者归档到一个文件中,文件可以使用 LOAD DATA INFILE 进行数据装载。

2.1.归档到文件

pt-archiver --source h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table \
--where "create_time >= '2020-01-01' and create_time < '2021-01-01'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--file './%Y-%m-%d-%D.%t'

常用选项

  • --source: 指定需要进行归档操作的表,使用 DSN 方式表示。
  • --dest: 指定要归档到的目标端表,使用 DSN 方式表示。
  • --where: 指定通过 WHERE 条件语句指定需要归档的数据。
  • --file: 指定表数据需要归档到的文件。
  • --limit: 指定每条语句获取表和归档表的行数。
  • --commit-each: 指定按每次获取和归档的行数进行提交。
  • --bulk-delete: 使用单个 DELETE 语句删除 chunk 的方式来批量删除行。
  • --bulk-insert: 使用 LOAD DATA LOCAL INFILE 的方法,通过批量插入的方式来插入行。
  • --progress: 指定每多少行打印进度信息。
  • --run-time: 指定工具归档操作在退出之前需要运行的时间。
  • --no-delete: 指定不删除已被归档的表数据。
  • --charset-A: 指定连接字符集。

例子:

原始表数据如下:

pt-archiver --source h=127.0.0.1,P=3306,u=root,p='123456',D=lewei,t=role \
--where "modifiedDate >= '2020-01-01' and modifiedDate < '2024-01-01'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--file './%Y-%m-%d-%D.%t'

特别注意:语句中 \  是不能删除的。

执行后:

表中还剩几条数据。

导出的文件:

2.2.归档到另一张表并删除原表数据(不删除的话加上 --no-delete) 

 

pt-archiver --source h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table \
--dest h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table_bak \
--where "create_time >= '2020-12-31' and create_time < '2021-01-01'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--bulk-insert

这个命令会将数据归档到 database 数据库中的 table_bak 表,并从原表中删除这些数据。

2.3.只删除数据

pt-archiver --source h=127.0.0.1,P=3306,u=archiver,p='password',D=database,t=table \
--where "create_time >= '2021-01-01' and create_time < '2021-01-02'" \
--charset utf8 \
--bulk-delete \
--limit 1000 \
--commit-each \
--statistics \
--purge \
--primary-key-only

这个命令只会删除 database 数据库中 table 表里 create_time 在 2021-01-01 到 2021-01-02 之间的数据。

3.注意事项

  • 确保源表和目标表具有相同的结构。
  • 如果使用 --bulk-insert 选项,确保目标数据库有足够的权限和资源来创建临时表并执行批量插入。
  • 使用 pt-archiver 时,建议在低峰时段进行,以减少对生产环境的影响。
  • 归档操作可能需要一定的时间,特别是处理大量数据时。确保有足够的时间和资源来完成操作。
  • 在执行删除操作之前,确保备份了所有重要数据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/284837.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AST学习入门

AST学习入门 1.AST在线解析网站 https://astexplorer.net/ 1.type: 表示当前节点的类型&#xff0c;我们常用的类型判断方法t.is********(node)**,就是判断当前的节点是否为某个类型。 2**.start**:表示当前节点的开始位置 3.end:当前节点结束 4.loc : 表示当前节点所在的行…

项目解决方案:旅游景区4G/5G无线视频监控联网系统设计方案

目录 一、背景 二、系统设计 1.1 总体设计要求 1.2 系统架构设计说明 1.3 系统拓扑图 1.4 关键技术 1.4.1 5G支持技术 1.4.2 视频图像处理技术 1.4.3 数据融合与分析技术 三、功能特点 3.1 高效可靠 3.2 实时监测 3.3 远程控制 3.4 故障预测 四、应用前景 …

DBO优化GRNN回归预测(matlab代码)

DBO-GRNN回归预测matlab代码 蜣螂优化算法(Dung Beetle Optimizer, DBO)是一种新型的群智能优化算法&#xff0c;在2022年底提出&#xff0c;主要是受蜣螂的的滚球、跳舞、觅食、偷窃和繁殖行为的启发。 数据为Excel股票预测数据。 数据集划分为训练集、验证集、测试集,比例…

面试笔记——Redis(双写一致、持久化)

双写一致 双写一致性&#xff1a; 当修改了数据库中的数据&#xff0c;也要更新缓存的数据&#xff0c;使缓存和数据库中的数据保持一致。 相关问题&#xff1a;使用Redis作为缓存&#xff0c;mysql的数据如何与Redis进行同步&#xff1f;——双写一致性问题 回答时&#xff0…

五、分布式锁-redission

源码仓库地址&#xff1a;gitgitee.com:chuangchuang-liu/hm-dingping.git 1、redission介绍 目前基于redis的setnx特性实现的自定义分布式锁仍存在的问题&#xff1a; 问题描述重入问题同一个线程无法多次获取统一把锁。当方法A成功获取锁后&#xff0c;调用方法B&#xff0…

说说webpack中常见的Loader?解决了什么问题?

文章目录 一、是什么配置方式 二、特性三、常见的loadercss-loaderstyle-loaderless-loaderraw-loaderfile-loaderurl-loader 参考文献 一、是什么 loader 用于对模块的"源代码"进行转换&#xff0c;在 import 或"加载"模块时预处理文件 webpack做的事情…

【JS】如何避免输入中文拼音时触发input事件

现有一段代码&#xff0c;监听input事件。 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" con…

自动驾驶感知新范式——BEV感知经典论文总结和对比(一)

自动驾驶感知新范式——BEV感知经典论文总结和对比&#xff08;一&#xff09; 博主之前的博客大多围绕自动驾驶视觉感知中的视觉深度估计&#xff08;depth estimation&#xff09;展开&#xff0c;包括单目针孔、单目鱼眼、环视针孔、环视鱼眼等&#xff0c;目标是只依赖于视…

elment-ui el-tabs组件 每次点击后 created方法都会执行2次

先看错误的 日志打印: 错误的代码如下: 正确的日志打印: 正确的代码如下: 前言: 在element-ui的tabs组件中,我们发现每次切换页面,所有的子组件都会重新渲染一次。当子页面需要发送数据请求并且子页面过多时,这样会过多的占用网络资源。这里我们可以使用 v-if 来进行…

数据结构面试常见问题之串的模式匹配(KMP算法)系列-大师改进实现以及原理

&#x1f600;前言 KMP算法是一种改进的字符串匹配算法&#xff0c;由D.E.Knuth&#xff0c;J.H.Morris和V.R.Pratt提出的&#xff0c;因此人们称它为克努特—莫里斯—普拉特操作&#xff08;简称KMP算法&#xff09;。KMP算法的核心是利用匹配失败后的信息&#xff0c;尽量减少…

Jackson 2.x 系列【2】生成器 JsonGenerator

有道无术&#xff0c;术尚可求&#xff0c;有术无道&#xff0c;止于术。 本系列Jackson 版本 2.17.0 源码地址&#xff1a;https://gitee.com/pearl-organization/study-seata-demo 文章目录 1. 前言2. 案例演示2.1 创建 JsonFactory2.2 创建 JsonGenerator2.3 写入操作2.4 查…

stm32使用定时器实现PWM与呼吸灯

PWM介绍 STM32F103C8T6 PWM 资源&#xff1a; 高级定时器&#xff08; TIM1 &#xff09;&#xff1a; 7 路 通用定时器&#xff08; TIM2~TIM4 &#xff09;&#xff1a;各 4 路 例如定时器2 PWM 输出模式&#xff1a; PWM 模式 1 &#xff1a;在 向上计数 时&#xff0…

GETSHELL方法总结上

渗透的总步骤 1.信息收集找到弱漏洞 2.漏洞挖掘 漏洞验证 3.有一定权限 getshell 4.提权后---渗透 5.内网渗透】 前后台拿shell方法汇总 接下来我们实操一波dedecms也就是织梦cms 如果你们的靶场是空白的 可能是php版本 我们修改为5.2 可能是源码问题 我们不要急着上传…

c++常考基础知识(2)

二.c关键字 关键字汇总 c中共有63个关键字&#xff0c;其中包括int&#xff0c;char&#xff0c;double等类型关键字&#xff0c;if&#xff0c;else&#xff0c;while&#xff0c;do&#xff0c;等语法关键字&#xff0c;还有sizeof等函数关键字。 三.数据结构 1.数组&#x…

【算法】小强爱数学(迭代公式+数论取模)

文章目录 1. 问题2. 输入3. 输出4. 示例5. 分析6. 思路7. 数论&#xff0c;取模相关公式8. 数论&#xff0c;同余定理9. 代码 1. 问题 小强发现当已知 x y B xyB xyB以及 x y A xyA xyA时,能很轻易的算出 x n x_ {n} xn​ y n y_ {n} yn​ 的值.但小强想请你在已知A和B的…

数据结构(五)——树森林

5.4 树和森林 5.4.1 树的存储结构 树的存储1&#xff1a;双亲表示法 用数组顺序存储各结点&#xff0c;每个结点中保存数据元素、指向双亲结点(父结点)的“指针” #define MAX_TREE_SIZE 100// 树的结点 typedef struct{ElemType data;int parent; }PTNode;// 树的类型 type…

【Mysql】硬盘性能压测(Sysbench工具)

1、IOPS和吞吐量介绍 IOPS&#xff08;每秒输入/输出操作数&#xff09;&#xff1a;是衡量存储设备每秒能够执行的输入/输出操作的数量。对于数据库等需要频繁读写的应用程序而言&#xff0c;IOPS 是一个关键的性能指标。更高的 IOPS 意味着存储设备能够处理更多的读写请求&am…

【Vue】三、使用ElementUI实现图片上传

目录 一、前端代码实现 二、后端代码实现 三、调试效果实现 一、前端代码实现 废话不多说直接上代码 <el-form-item prop"image" label"上传图片" v-model"form.image"><el-upload:action"http://localhost:8…

基于springboot+vue的智慧生活商城系统

博主主页&#xff1a;猫头鹰源码 博主简介&#xff1a;Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战&#xff0c;欢迎高校老师\讲师\同行交流合作 ​主要内容&#xff1a;毕业设计(Javaweb项目|小程序|Pyt…

Stable Diffusion 本地训练端口与云端训练端口冲突解决办法

方法之一&#xff0c;修改本地训练所用的端口 1 首先&#xff0c;进入脚本训练器的根目录 例如&#xff1a;C:\MarkDeng\lora-scripts-v1.7.3 找到gui.py 2 修改端口号 因为云端训练器也是占用28000和6006端口 那么本地改成27999和6007也是可以的 保存退出&#xff0c;运行启动…