1.问题
在生产环境中,执行大表删除操作时,很容易因为占用了大量io资源导致其他事务被阻塞,最终事务不断堆积导致MySQL挂掉。
2.drop命令
drop命令,MySQL主要干了两件事:
- 清除buffer pool缓冲(内存)
- 删除表的ibd数据文件(磁盘)
第一点,因为buffer pool中存在最近修改的数据(称为脏页)还未刷新到磁盘中,如果需要删除表,那么则需要把这些脏页丢弃(都删除表了,那数据自然也不需要了)。
第二点,最关键和耗时的步骤,删除表磁盘上的数据文件,这会导致占用大量的io资源。
3.解决
借助linux硬链接的机制,为表的数据文件创建一个硬链接,这样执行drop操作时,删除的就不是真实的数据文件,而是一个指针,能够极大的提高drop速度,降低影响其他事务执行的风险。
创建硬链接的命令:
ln sysuser.ibd sysuser.ibd.hdlk
drop表完成后,就只剩下一个硬链接文件了,可以找个业务低峰期使用truncate或rm命令将其删除
4.注意
即使借助硬链接删除表很快,但也要挑选在业务低峰期去执行。这是我亲身经历的一个教训,在下午5点多下班的时候去删除一个与业务无关的表,20多T,结果还是导致数据库阻塞了,后面的事务全都在等待,事务一直堆积导致数据库挂了。(这应该和硬件性能有关,要是io给力直接秒删,连硬链接都不需要)
最后还是晚上11点我师傅去删了,也是硬链接的方式,花了不到两分钟。
用硬链接删除的方式也是我学习其他大神的,以下是参考博客:
https://www.cnblogs.com/rjzheng/p/9497109.html
https://www.modb.pro/db/450054.html