小型网站项目策划书,专做定制网站建设,个人网站可以做什么,吉安网站开发MySql误删数据还原方案
Hi#xff0c;我是阿昌#xff0c;今天学习记录的是关于MySql误删数据还原方案的内容。
传统的高可用架构是不能预防误删数据的#xff0c;因为主库的一个 drop table 命令#xff0c;会通过 binlog 传给所有从库和级联从库#xff0c;进而导致整…MySql误删数据还原方案
Hi我是阿昌今天学习记录的是关于MySql误删数据还原方案的内容。
传统的高可用架构是不能预防误删数据的因为主库的一个 drop table 命令会通过 binlog 传给所有从库和级联从库进而导致整个集群的实例都会执行这个命令。虽然之前遇到的大多数的数据被删都是运维同学或者 DBA 背锅的。但实际上只要有数据操作权限的同学都有可能踩到误删数据这条线。
为了找到解决误删数据的更高效的方法需要先对和 MySQL 相关的误删数据做下分类
使用 delete 语句误删数据行使用 drop table 或者 truncate table 语句误删数据表使用 drop database 语句误删数据库使用 rm 命令误删整个 MySQL 实例。 一、误删行
在 MySQL是怎么保证主备一致的 中提到如果是使用 delete 语句误删了数据行可以用 Flashback 工具通过闪回把数据恢复回来。
Flashback 恢复数据的原理是修改 binlog 的内容拿回原库重放。而能够使用这个方案的前提是需要确保 binlog_formatrow 和 binlog_row_imageFULL。
具体恢复数据时对单个事务做如下处理
对于 insert 语句对应的 binlog event 类型是 Write_rows event把它改成 Delete_rows event 即可同理对于 delete 语句也是将 Delete_rows event 改为 Write_rows event而如果是 Update_rows 的话binlog 里面记录了数据行修改前和修改后的值对调这两行的位置即可。
如果误操作不是一个而是多个会怎么样呢
比如下面三个事务
(A)delete ...
(B)insert ...
(C)update ...现在要把数据库恢复回这三个事务操作之前的状态用 Flashback 工具解析 binlog 后写回主库的命令是
(reverse C)update ...
(reverse B)delete ...
(reverse A)insert ...也就是说如果误删数据涉及到了多个事务的话需要将事务的顺序调过来再执行。需要说明的是不建议直接在主库上执行这些操作。
恢复数据比较安全的做法是恢复出一个备份或者找一个从库作为临时库在这个临时库上执行这些操作然后再将确认过的临时库的数据恢复回主库。
为什么要这么做呢这是因为一个在执行线上逻辑的主库数据状态的变更往往是有关联的。可能由于发现数据问题的时间晚了一点儿就导致已经在之前误操作的基础上业务代码逻辑又继续修改了其他数据。所以如果这时候单独恢复这几行数据而又未经确认的话就可能会出现对数据的二次破坏。
当然不止要说误删数据的事后处理办法更重要是要做到事前预防。我有以下两个建议
把 sql_safe_updates 参数设置为 on。这样一来如果忘记在 delete 或者 update 语句中写 where 条件或者 where 条件里面没有包含索引字段的话这条语句的执行就会报错。代码上线前必须经过 SQL 审计。
设置了 sql_safe_updateson如果我真的要把一个小表的数据全部删掉应该怎么办呢如果确定这个删除操作没问题的话可以在 delete 语句中加上 where 条件比如 where id0。但是delete 全表是很慢的需要生成回滚日志、写 redo、写 binlog。
所以从性能角度考虑应该优先考虑使用 truncate table 或者 drop table 命令。
使用 delete 命令删除的数据还可以用 Flashback 来恢复。而使用 truncate /drop table 和 drop database 命令删除的数据就没办法通过 Flashback 来恢复了。
为什么呢这是因为即使配置了 binlog_formatrow执行这三个命令时记录的 binlog 还是 statement 格式。binlog 里面就只有一个 truncate/drop 语句这些信息是恢复不出数据的。 二、误删库 / 表
那么如果真的是使用这几条命令误删数据了又该怎么办呢
这种情况下要想恢复数据就需要使用全量备份加增量日志的方式了。这个方案要求线上有定期的全量备份并且实时备份 binlog。
在这两个条件都具备的情况下假如有人中午 12 点误删了一个库恢复数据的流程如下
取最近一次全量备份假设这个库是一天一备上次备份是当天 0 点用备份恢复出一个临时库从日志备份里面取出凌晨 0 点之后的日志把这些日志除了误删除数据的语句外全部应用到临时库。
这个流程的示意图如下所示 关于这个过程需要说明如下几点
为了加速数据恢复如果这个临时库上有多个数据库可以在使用 mysqlbinlog 命令时加上一个–database 参数用来指定误删表所在的库。这样就避免了在恢复数据时还要应用其他库日志的情况。在应用日志的时候需要跳过 12 点误操作的那个语句的 binlog 如果原实例没有使用 GTID 模式只能在应用到包含 12 点的 binlog 文件的时候先用–stop-position 参数执行到误操作之前的日志然后再用–start-position 从误操作之后的日志继续执行如果实例使用了 GTID 模式就方便多了。假设误操作命令的 GTID 是 gtid1那么只需要执行set gtid_nextgtid1;begin;commit; 先把这个 GTID 加到临时实例的 GTID 集合之后按顺序执行 binlog 的时候就会自动跳过误操作的语句。 不过即使这样使用 mysqlbinlog 方法恢复数据还是不够快主要原因有两个
如果是误删表最好就是只恢复出这张表也就是只重放这张表的操作但是 mysqlbinlog 工具并不能指定只解析一个表的日志用 mysqlbinlog 解析出日志应用应用日志的过程就只能是单线程。在MySQL备库并行复制能力中的那些并行复制的方法在这里都用不上。
一种加速的方法是在用备份恢复出临时实例之后将这个临时实例设置成线上备库的从库这样
在 start slave 之前先通过执行change replication filter replicate_do_table (tbl_name) 命令就可以让临时库只同步误操作的表这样做也可以用上并行复制技术来加速整个数据恢复过程。
这个过程的示意图如下所示。 可以看到图中 binlog 备份系统到线上备库有一条虚线是指如果由于时间太久备库上已经删除了临时实例需要的 binlog 的话可以从 binlog 备份系统中找到需要的 binlog再放回备库中。
假设发现当前临时实例需要的 binlog 是从 master.000005 开始的但是在备库上执行 show binlogs 显示的最小的 binlog 文件是 master.000007意味着少了两个 binlog 文件。这时就需要去 binlog 备份系统中找到这两个文件。把之前删掉的 binlog 放回备库的操作步骤是这样的
从备份系统下载 master.000005 和 master.000006 这两个文件放到备库的日志目录下打开日志目录下的 master.index 文件在文件开头加入两行内容分别是 “./master.000005”和“./master.000006”;重启备库目的是要让备库重新识别这两个日志文件现在这个备库上就有了临时库需要的所有 binlog 了建立主备关系就可以正常同步了。
不论是把 mysqlbinlog 工具解析出的 binlog 文件应用到临时库还是把临时库接到备库上这两个方案的共同点是误删库或者表后恢复数据的思路主要就是通过备份再加上应用 binlog 的方式。也就是说这两个方案都要求备份系统定期备份全量日志而且需要确保 binlog 在被从本地删除之前已经做了备份。但是一个系统不可能备份无限的日志你还需要根据成本和磁盘空间资源设定一个日志保留的天数。
如果DBA 团队可以保证把某个实例恢复到半个月内的任意时间点这就表示备份系统保留的日志时间就至少是半个月。 建议不论使用上述哪种方式都要把这个数据恢复功能做成自动化工具并且经常拿出来演练。
为什么这么说呢这里的原因主要包括两个方面
虽然“发生这种事大家都不想的”但是万一出现了误删事件能够快速恢复数据将损失降到最小也应该不用跑路了。而如果临时再手忙脚乱地手动操作最后又误操作了对业务造成了二次伤害那就说不过去了。 三、延迟复制备库
利用并行复制来加速恢复数据的过程但是这个方案仍然存在“恢复时间不可控”的问题。如果一个库的备份特别大或者误操作的时间距离上一个全量备份的时间较长比如一周一备的实例在备份之后的第 6 天发生误操作那就需要恢复 6 天的日志这个恢复时间可能是要按天来计算的。
那么有什么方法可以缩短恢复数据需要的时间呢
如果有非常核心的业务不允许太长的恢复时间可以考虑搭建延迟复制的备库。这个功能是 MySQL 5.6 版本引入的。 一般的主备复制结构存在的问题是如果主库上有个表被误删了这个命令很快也会被发给所有从库进而导致所有从库的数据表也都一起被误删了。延迟复制的备库是一种特殊的备库通过 CHANGE MASTER TO MASTER_DELAY N 命令可以指定这个备库持续保持跟主库有 N 秒的延迟。比如把 N 设置为 3600这就代表了如果主库上有数据被误删了并且在 1 小时内发现了这个误操作命令这个命令就还没有在这个延迟复制的备库执行。
这时候到这个备库上执行 stop slave再通过之前介绍的方法跳过误操作命令就可以恢复出需要的数据。 可以得到一个只需要最多再追 1 小时就可以恢复出数据的临时实例也就缩短了整个数据恢复需要的时间。 四、预防误删库 / 表的方法
第一条建议是账号分离。这样做的目的是避免写错命令。比如
只给业务开发同学 DML 权限而不给 truncate/drop 权限。而如果业务开发人员有 DDL 需求的话也可以通过开发管理系统得到支持。即使是 DBA 团队成员日常也都规定只使用只读账号必要的时候才使用有更新权限的账号。 第二条建议是制定操作规范。这样做的目的是避免写错要删除的表名。比如
在删除数据表之前必须先对表做改名操作。然后观察一段时间确保对业务无影响以后再删除这张表。改表名的时候要求给表名加固定的后缀比如加 _to_be_deleted)然后删除表的动作必须通过管理系统执行。并且管理系删除表的时候只能删除固定后缀的表。 五、rm 删除数据
其实对于一个有高可用机制的 MySQL 集群来说最不怕的就是 rm 删除数据了。
只要不是恶意地把整个集群删除而只是删掉了其中某一个节点的数据的话HA 系统就会开始工作选出一个新的主库从而保证整个集群的正常工作。这时要做的就是在这个节点上把数据恢复回来再接入整个集群。
当然了现在不止是 DBA 有自动化系统SA系统管理员也有自动化系统所以也许一个批量下线机器的操作会让整个 MySQL 集群的所有节点都全军覆没。应对这种情况建议只能是说尽量把备份跨机房或者最好是跨城市保存。 六、问题 回忆下历过的误删数据事件用了什么方法来恢复数据呢 在这个过程中得到的经验又是什么呢 有一次维护一张表需要手动修改大量数据的状态sql就很多然后保存到txt文件中以附件的形式发给部门老大审批部门老大审批后转发邮件给运维然后运维这哥们用的是360浏览器他预览的sql然后全部复制到客户端执行但是问题也在这360浏览器预览的时候由于文本偏长到了某一条语句只有前半部分的update语句没有后面的条件然后就悲剧了。 全表的状态都变成同一个。然后就特别莫名其妙还被老大批了一顿。说写的脚本有问题。这锅我可不背把脚本在本地备份库跑了一遍又一遍就是没有问题。然后再去运维哥们那叫他再复制一下脚本就发现问题了。 好在执行脚本前进行了表备份。扩展一下如果用谷歌浏览器就不会出现这种问题发现问题后立马恢复了数据
