diva-notes
  • README
  • Ads
    • 定价策略
    • 广告层级
    • 归因模型
    • 买量
    • Chat GPT
    • Google
  • AI
    • 参考资料
    • Chat GPT
    • stable-diffusion-webui安装
  • Algorithm
    • 倍增
    • 并查集
    • 参考
    • 环的判断
    • 凸包
    • 蓄水池抽样
    • 最短路径
    • 最小生成树
    • KMP算法
    • Rabin-Karp算法
    • Tarjan桥算法
  • Architecture
    • Serverless
  • Career
  • CICD
    • 代码质量
    • CICD实践
  • Data Structure
    • 布谷鸟过滤器
    • 布隆过滤器
    • 浮点
    • 红黑树
    • 锁
    • LSM树
  • DB
    • My SQL
      • 隔离级别
      • 架构
      • 索引
      • 锁
      • 页结构
      • 主从同步
      • ACID
      • Log
      • MVCC
      • Questions
    • Postgres
      • 持久化
      • 对比MySQL
      • 隔离级别
      • 索引
      • Greenpulm
      • MVCC
    • 倒排索引
    • 列式存储
    • H Base
    • HDFS
    • MPP数据库选型
    • Questions
  • Distributed System
    • 分布式事务
    • 服务网格
    • BASE理论
    • CAP
    • Etcd
    • Raft协议
    • ZAB协议
  • Go
    • 1.语言基础
      • 1.CPU寄存器
      • 2-1.函数调用
      • 2-2.函数调用栈
      • 2.接口
      • 3.汇编
      • 4.调试
    • 2.编译
      • 1.编译
      • 2.词法与语法分析
      • 3.类型检查
      • 4.中间代码生成
      • 5.机器码生成
    • 3.数据结构
      • 1.数组array
      • 2.切片slice
      • 3.哈希表map
      • 4.字符串
    • 4.常用关键字
      • 1.循环
      • 2.defer
      • 3.panic和recover
      • 4.make和new
    • 5.并发编程
      • 1.上下文Context的实现
      • 2-1.runtime.sema信号量
      • 2-2.sync.Mutex的实现
      • 2-3.sync.WaitGroup
      • 2-4.sync.Once的实现
      • 2-5.sync.Map的实现
      • 2-6.sync.Cond
      • 2-7.sync.Pool的实现
      • 2-8.sync.Semaphore的实现
      • 2-9.sync.ErrGroup
      • 3.定时器Timer的实现
      • 4.Channel的实现
      • 5-1.调度-线程
      • 5-2.调度-MPG
      • 5-3.调度-程序及调度启动
      • 5-4.调度-调度策略
      • 5-5.调度-抢占
      • 6.netpoll实现
      • 7.atomic
    • 6.内存管理
      • 1-1.内存分配基础-TCmalloc
      • 1-2.内存分配
      • 2.垃圾回收
      • 3.栈内存管理
    • 参考
    • 各版本特性
    • 坑
    • Go程序性能优化
    • http.Client
    • net.http路由
    • profile采样的实现
    • Questions
    • time的设计
  • Kafka
    • 高可用
    • 架构
    • 消息队列选型
    • ISR
    • Questions
  • Network
    • ARP
    • DNS
    • DPVS
    • GET和POST
    • HTTP 2
    • HTTP 3
    • HTTPS
    • LVS的转发模式
    • NAT
    • Nginx
    • OSI七层模型
    • Protobuf
    • Questions
    • REST Ful
    • RPC
    • socket缓冲区
    • socket详解
    • TCP滑动窗口
    • TCP连接建立源码
    • TCP连接四元组
    • TCP三次握手
    • TCP数据结构
    • TCP四次挥手
    • TCP拥塞控制
    • TCP重传机制
    • UDP
  • OS
    • 磁盘IO
    • 调度
    • 进程VS线程
    • 零拷贝
    • 内存-虚拟内存
    • 内存分配
    • 用户态VS内核态
    • 中断
    • COW写时复制
    • IO多路复用
    • Questions
  • Redis
    • 安装
    • 参考
    • 高可用-持久化
    • 高可用-主从同步
    • 高可用-Cluster
    • 高可用-Sentinel
    • 缓存一致性
    • 事务
    • 数据结构-SDS
    • 数据结构-Skiplist
    • 数据结构-Ziplist
    • 数据结构
    • 数据类型-Hashtable
    • 数据类型-List
    • 数据类型-Set
    • 数据类型-Zset
    • 数据淘汰机制
    • 通信协议-RESP
    • Questions
    • Redis6.0多线程
    • Redis分布式锁
    • Redis分片
  • System Design
    • 本地缓存
    • 错误处理
    • 大文件处理
    • 点赞收藏关注
    • 短链接生成系统
    • 负载均衡
    • 高并发高可用
    • 规则引擎
    • 集卡活动
    • 秒杀系统
    • 评论系统
    • 熔断
    • 限流
    • 延迟队列
    • Docker
    • ES
    • K 8 S
    • Node.js
    • Questions
  • Work
    • Bash
    • Charles
    • Code Review
    • Ffmpeg
    • Git
    • intellij插件
    • I Term 2
    • Mac
    • mysql命令
    • Nginx
    • postgresql命令
    • Protoc
    • Ssh
    • Systemd
    • Tcp相关命令
    • Vim
Powered by GitBook
On this page
  • 谈谈一致性
  • 场景:秒杀
  • 场景:数据库 + 缓存
  • 参考
  1. Redis

缓存一致性

谈谈一致性

一致性就是数据保持一致,在分布式系统中,可以理解为多个节点中数据的值是一致的。

  • 强一致性:这种一致性级别是最符合用户直觉的,它要求系统写入什么,读出来的也会是什么,用户体验好,但实现起来往往对系统的性能影响大

  • 弱一致性:这种一致性级别约束了系统在写入成功后,不承诺立即可以读到写入的值,也不承诺多久之后数据能够达到一致,但会尽可能地保证到某个时间级别(比如秒级别)后,数据能够达到一致状态

  • 最终一致性:最终一致性是弱一致性的一个特例,系统会保证在一定时间内,能够达到一个数据一致的状态。这里之所以将最终一致性单独提出来,是因为它是弱一致性中非常推崇的一种一致性模型,也是业界在大型分布式系统的数据一致性上比较推崇的模型

场景:秒杀

  • 跳过分布式复制,直接就在单节点完成读写,这是保证强一致性最好的办法。

  • 性能上需要垂直切分数据,分散各节点压力。也就是每个 Redis 都是作为主节点存在,将需要秒杀的商品,做数据上的切分,由每个 Redis 承担一部分商品的读写访问,那么这个过程就是分布式计算中无共享的并行化模式了,适合使用 Redis cluster 架构

场景:数据库 + 缓存

理论上讲,给缓存设置过期时间,就能保证最终一致性。

1. 先更缓存,再更数据库

  1. 如果更数据库失败,需要自行实现缓存的回滚逻辑,很麻烦

  2. 和下面一样的并发问题

2. 先更数据库,再更缓存

2.1. 更新失败后的回滚

如果更缓存失败,会导致缓存和数据库数据不一致。需要业务增加重试逻辑

2.2. 并发场景下的顺序问题

如果同时有请求A和请求B进行更新操作,那么以下场景会出现脏数据:

  1. 线程A更新了数据库

  2. 线程B更新了数据库

  3. 线程B更新了缓存

  4. 线程A更新了缓存

2.3 业务场景角度

如果读较集中于部分热点数据,则大量缓存不会被读到,更新这些缓存浪费资源

2.4 解决

要解决 2.2 并发下的顺序问题,想办法保证操作的顺序就可以了。像上面的场景里,起个线程 C 通过阿里的 canal 中间件从 DB binlog 同步数据到缓存,就可以保证顺序。

另一种思路是在更新数据时从缓冲中删除数据,这种方案叫【Cache-Aside】。设计如下:

  • 失效:应用程序先从cache取数据,没有得到,则从数据库中取数据,成功后,放到缓存中。

  • 命中:应用程序从cache中取数据,取到后返回。

  • 更新:先把数据存到数据库中,成功后,再让缓存失效。

但先删缓存,再更新数据库。还是先更新数据库,再删缓存?

3. 先删缓存,再更数据库

该方案会导致不一致的原因是:同时有一个请求A进行更新操作,另一个请求B进行查询操作。那么会出现如下情形:

  1. A删缓存

  2. B读不到缓存,从 DB 加载旧数据到缓存

  3. A更新 DB

由于读比写的速度快,所以步骤2一般比步骤3快

  • 可以采用延时双删策略,即第一步删完缓存后,睡眠过一会儿再删一次

采用这种同步淘汰策略,吞吐量降低怎么办?

  • 睡眠和第二次删除新起线程来做

4. 先更数据库,再删缓存

facebook 在论文《Scaling Memcache at Facebook》中提出,他们用的也是先更新数据库,再删缓存的策略。

该方案也有不一致问题:

  1. A查缓存,缓存刚好失效;A从DB查出旧数据

  2. B更数据库并删除缓存

  3. A加载旧数据进缓存

不过一般A读的速度原高于B写的速度,即步骤3通常早于步骤2,所以这种情况很难出现。

假设,有人非要抬杠,有强迫症,一定要解决怎么办?

首先,给缓存设有效时间是一种方案。其次,采用异步延时删除策略,保证读请求完成以后,再进行删除操作。

这个方案还有一种做法:单起一个线程C,通过阿里 canal 中间件消费 DB binlog,消费后不是更新缓存,而是删除缓存。B站的评论就是这么做的。

也有问题:1. A读取旧数据(但还没写到缓存)、2. C从缓存删除数据、3. B读取新数据到缓存、4. A写旧数据到缓存。不过同样几率很小,步骤4 一般都早于3

删缓存失败的解决方案

这是3和4都存在的一个问题。要解决,提供一个保障的重试机制即可。

  1. 写压力不大的场景,将删除失败的数据直接放入内存里,单起一个线程不断重试即可

  2. 删除失败的数据,放入消息队列里进行重试

    • 删除失败属于很少见的 case,消息队列里不会有太多数据

    • 为此引入消息队列,会对业务线代码造成大量的侵入

  3. 接数据库 binlog

    • mysql 有个阿里中间件叫 canal,可以完成订阅 binlog 日志的功能

    • 另起一段非业务代码,同步 binlog 和 redis

参考

Previous高可用-SentinelNext事务

Last updated 2 years ago

读字节 - 对于秒杀、抢购等场景,主从结构,多个redis之间同时读写,怎么确保数据一致性?