参考:https://zhuanlan.zhihu.com/p/429637485
1. 什么是数据的一致性
“数据一致”一般指的是:缓存中有数据,缓存的数据值 = 数据库中的值。
但根据缓存中是有数据为依据,则”一致“可以包含两种情况:
- 缓存中有数据,缓存的数据值 = 数据库中的值(需均为最新值,本文将“旧值的一致”归类为“不一致状态”)
- 缓存中本没有数据,数据库中的值 = 最新值(有请求查询数据库时,会将数据写入缓存,则变为上面的“一致”状态)
”数据不一致“:缓存的数据值 ≠ 数据库中的值;缓存或者数据库中存在旧值,导致其他线程读到旧数据
2. 数据不一致情况及应对策略
根据是否接收写请求,可以把缓存分成读写缓存和只读缓存。
只读缓存:只在缓存进行数据查找,即使用 “更新数据库+删除缓存” 策略;
读写缓存:需要在缓存中对数据进行增删改查,即使用 “更新数据库+更新缓存”策略。
2.1 针对只读缓存(更新数据库+删除缓存)
只读缓存:新增数据时,直接写入数据库;更新(修改/删除)数据时,先删除缓存。 后续,访问这些增删改的数据时,会发生缓存缺失,进而查询数据库,更新缓存。
- 新增数据时 ,写入数据库;访问数据时,缓存缺失,查数据库,更新缓存(始终是处于”数据一致“的状态,不会发生数据不一致性问题)
- 更新(修改/删除)数据时 ,会有个时序问题:更新数据库与删除缓存的顺序(这个过程会发生数据不一致性问题)
在更新数据的过程中,可能会有如下问题:
- 无并发请求下,其中一个操作失败的情况
- 并发请求下,其他线程可能会读到旧值
因此,要想达到数据一致性,需要保证两点:
- 无并发请求下,保证 A 和 B 步骤都能成功执行
- 并发请求下,在 A 和 B 步骤的间隔中,避免或消除其他线程的影响
接下来,我们针对有/无并发场景,进行分析并使用不同的策略。
A. 无并发情况
无并发请求下,在更新数据库和删除缓存值的过程中,因为操作被拆分成两步,那么就很有可能存在“步骤 1 成功,步骤 2 失败” 的情况发生(由于单线程中步骤 1 和步骤 2 是串行执行的,不太可能会发生 “步骤 2 成功,步骤 1 失败” 的情况)。
(1) 先删除缓存,再更新数据库
(2) 先更新数据库,再删除缓存
解决策略:
a.消息队列+异步重试
无论使用哪一种执行时序,可以在执行步骤 1 时,将步骤 2 的请求写入消息队列,当步骤 2 失败时,就可以使用重试策略,对失败操作进行 “补偿”。
具体步骤如下:
- 把要删除缓存值或者是要更新数据库值操作生成消息,暂存到消息队列中(例如使用 Kafka 消息队列);
- 当删除缓存值或者是更新数据库值操作成功时,把这些消息从消息队列中去除(丢弃),以免重复操作;
- 当删除缓存值或者是更新数据库值操作失败时,执行失败策略,重试服务从消息队列中重新读取(消费)这些消息,然后再次进行删除或更新;
- 删除或者更新失败时,需要再次进行重试,重试超过的一定次数,向业务层发送报错信息。
b.订阅 Binlog 变更日志
- 创建更新缓存服务,接收数据变更的 MQ 消息,然后消费消息,更新/删除 Redis 中的缓存数据;
- 使用 Binlog 实时更新/删除 Redis 缓存。利用 Canal,即将负责更新缓存的服务伪装成一个 MySQL 的从节点,从 MySQL 接收 Binlog,解析 Binlog 之后,得到实时的数据变更信息,然后根据变更信息去更新/删除 Redis 缓存;
- MQ+Canal 策略,将 Canal Server 接收到的 Binlog 数据直接投递到 MQ 进行解耦,使用 MQ 异步消费 Binlog 日志,以此进行数据同步;
不管用 MQ/Canal 或者 MQ+Canal 的策略来异步更新缓存,对整个更新服务的数据可靠性和实时性要求都比较高,如果产生数据丢失或者更新延时情况,会造成 MySQL 和 Redis 中的数据不一致。因此,使用这种策略时,需要考虑出现不同步问题时的降级或补偿方案。
B. 高并发情况
使用以上策略后,可以保证在单线程/无并发场景下的数据一致性。但是,在高并发场景下,由于数据库层面的读写并发,会引发的数据库与缓存数据不一致的问题(本质是后发生的读请求先返回了)
(1) 先删除缓存,再更新数据库
假设线程 A 删除缓存值后,由于网络延迟等原因导致未及更新数据库,而此时,线程 B 开始读取数据时会发现缓存缺失,进而去查询数据库。而当线程 B 从数据库读取完数据、更新了缓存后,线程 A 才开始更新数据库,此时,会导致缓存中的数据是旧值,而数据库中的是最新值,产生“数据不一致”。其本质就是,本应后发生的“B 线程-读请求” 先于 “A 线程-写请求” 执行并返回了。
或者
解决策略: