diva-notes
  • README
  • Ads
    • 定价策略
    • 广告层级
    • 归因模型
    • 买量
    • Chat GPT
    • Google
  • AI
    • 参考资料
    • Chat GPT
    • stable-diffusion-webui安装
  • Algorithm
    • 倍增
    • 并查集
    • 参考
    • 环的判断
    • 凸包
    • 蓄水池抽样
    • 最短路径
    • 最小生成树
    • KMP算法
    • Rabin-Karp算法
    • Tarjan桥算法
  • Architecture
    • Serverless
  • Career
  • CICD
    • 代码质量
    • CICD实践
  • Data Structure
    • 布谷鸟过滤器
    • 布隆过滤器
    • 浮点
    • 红黑树
    • 锁
    • LSM树
  • DB
    • My SQL
      • 隔离级别
      • 架构
      • 索引
      • 锁
      • 页结构
      • 主从同步
      • ACID
      • Log
      • MVCC
      • Questions
    • Postgres
      • 持久化
      • 对比MySQL
      • 隔离级别
      • 索引
      • Greenpulm
      • MVCC
    • 倒排索引
    • 列式存储
    • H Base
    • HDFS
    • MPP数据库选型
    • Questions
  • Distributed System
    • 分布式事务
    • 服务网格
    • BASE理论
    • CAP
    • Etcd
    • Raft协议
    • ZAB协议
  • Go
    • 1.语言基础
      • 1.CPU寄存器
      • 2-1.函数调用
      • 2-2.函数调用栈
      • 2.接口
      • 3.汇编
      • 4.调试
    • 2.编译
      • 1.编译
      • 2.词法与语法分析
      • 3.类型检查
      • 4.中间代码生成
      • 5.机器码生成
    • 3.数据结构
      • 1.数组array
      • 2.切片slice
      • 3.哈希表map
      • 4.字符串
    • 4.常用关键字
      • 1.循环
      • 2.defer
      • 3.panic和recover
      • 4.make和new
    • 5.并发编程
      • 1.上下文Context的实现
      • 2-1.runtime.sema信号量
      • 2-2.sync.Mutex的实现
      • 2-3.sync.WaitGroup
      • 2-4.sync.Once的实现
      • 2-5.sync.Map的实现
      • 2-6.sync.Cond
      • 2-7.sync.Pool的实现
      • 2-8.sync.Semaphore的实现
      • 2-9.sync.ErrGroup
      • 3.定时器Timer的实现
      • 4.Channel的实现
      • 5-1.调度-线程
      • 5-2.调度-MPG
      • 5-3.调度-程序及调度启动
      • 5-4.调度-调度策略
      • 5-5.调度-抢占
      • 6.netpoll实现
      • 7.atomic
    • 6.内存管理
      • 1-1.内存分配基础-TCmalloc
      • 1-2.内存分配
      • 2.垃圾回收
      • 3.栈内存管理
    • 参考
    • 各版本特性
    • 坑
    • Go程序性能优化
    • http.Client
    • net.http路由
    • profile采样的实现
    • Questions
    • time的设计
  • Kafka
    • 高可用
    • 架构
    • 消息队列选型
    • ISR
    • Questions
  • Network
    • ARP
    • DNS
    • DPVS
    • GET和POST
    • HTTP 2
    • HTTP 3
    • HTTPS
    • LVS的转发模式
    • NAT
    • Nginx
    • OSI七层模型
    • Protobuf
    • Questions
    • REST Ful
    • RPC
    • socket缓冲区
    • socket详解
    • TCP滑动窗口
    • TCP连接建立源码
    • TCP连接四元组
    • TCP三次握手
    • TCP数据结构
    • TCP四次挥手
    • TCP拥塞控制
    • TCP重传机制
    • UDP
  • OS
    • 磁盘IO
    • 调度
    • 进程VS线程
    • 零拷贝
    • 内存-虚拟内存
    • 内存分配
    • 用户态VS内核态
    • 中断
    • COW写时复制
    • IO多路复用
    • Questions
  • Redis
    • 安装
    • 参考
    • 高可用-持久化
    • 高可用-主从同步
    • 高可用-Cluster
    • 高可用-Sentinel
    • 缓存一致性
    • 事务
    • 数据结构-SDS
    • 数据结构-Skiplist
    • 数据结构-Ziplist
    • 数据结构
    • 数据类型-Hashtable
    • 数据类型-List
    • 数据类型-Set
    • 数据类型-Zset
    • 数据淘汰机制
    • 通信协议-RESP
    • Questions
    • Redis6.0多线程
    • Redis分布式锁
    • Redis分片
  • System Design
    • 本地缓存
    • 错误处理
    • 大文件处理
    • 点赞收藏关注
    • 短链接生成系统
    • 负载均衡
    • 高并发高可用
    • 规则引擎
    • 集卡活动
    • 秒杀系统
    • 评论系统
    • 熔断
    • 限流
    • 延迟队列
    • Docker
    • ES
    • K 8 S
    • Node.js
    • Questions
  • Work
    • Bash
    • Charles
    • Code Review
    • Ffmpeg
    • Git
    • intellij插件
    • I Term 2
    • Mac
    • mysql命令
    • Nginx
    • postgresql命令
    • Protoc
    • Ssh
    • Systemd
    • Tcp相关命令
    • Vim
Powered by GitBook
On this page
  • 主从复制原理
  • 断线重连
  1. Redis

高可用-主从同步

主从同步分为 2 个步骤:同步和命令传播

主从复制原理

首先,Redis 的复制分为 同步 (sync) 和 **命令传播 **(command propagate) 两个操作:

同步(rdb全量同步)

一般用做新从节点加入集群时的首次数据同步

  1. 从服务器向主服务器发送 sync 命令

  2. 收到 sync 命令后,主服务器执行 bgsave 命令,用来生成 rdb 文件

  3. bgsave 执行完成后,将生成的 rdb 文件发送给从服务器,用来给从服务器更新数据

  4. 发送 rdb 文件、从库重放 rdb 文件都比较耗时。因此期间,主节点需要在一个缓冲区中记录从现在开始执行的写命令。

    • 复制积压缓冲区是一个固定长度、先进先出的队列,默认 1MB,大小可配置。

    • 如果缓冲区溢出,将导致同步中断。

  5. 主服务器再将缓冲区记录的写命令发送给从服务器,从服务器执行完这些写命令后,此时的数据库状态便和主服务器一致了。

  6. bgsave 会耗 CPU、内存、磁盘,发给从节点会耗费网络。发送期间,从节点不可用。

命令传播

主服向从发送写命令(推)

这个其实是上面 同步 部分的第4步。首次数据同步完成后,对后续增量命令的同步,就叫命令传播。

在客户端发来写命令后,Redis 采用的是 ANY/ONE 的做法, 只要 master 处理完该请求,就立马返回客户端,不会等待从节点响应。而是异步的把这些命令转发给所有的 slave 节点。(因此 Redis 是 AP 只保证高可用性的,因为主挂掉后从升主,这个从可能少数据)

转发的过程中可能因为网络问题导致数据丢失。于是 Redis 的 master 节点在内存中开辟一个默认大小为 1M 的环形缓冲区。在转发给 slave 节点用户请求的同时把该请求写入环形缓冲区。每个 slave 节点接收到一个命令之后会自增 repl_offset 值用来记录复制偏移量。同时 master 节点也会记录当前缓冲区的最新命令的 repl_offset。salve 节点会定期的向 master 节点发送心跳命令,告知其偏移量,请求同步复制,master 节点会检查 slave 节点的复制偏移量是否在当前 master 节点的缓冲区中,如果在则从缓冲区中发送命令,否则触发全量复制。

断线重连

  • 2.8 之前,重连会直接全量重新同步数据

  • 2.8 开始,用 psync 代替 sync,以实现同步进度检查,以及部分同步。

    • 向主服务器发送 PSYNC [主服务器ID] [上次复制偏移量]

    • 如果从节点最近的复制偏移量在这个缓冲区里,就从复制偏移量之后开始同步

    • 否则还是全量同步

Run id

在进行初次复制时,主服务器将会将自己的运行 id 发送给从服务器,让其保存起来。

当从服务器断线重连后,从服务器会将这个运行 id 发送给刚连接上的主服务器。

若当前服务器的运行 id 与之相同,说明从服务器断线前复制的服务器就是当前服务器,主服务器可以尝试执行部分同步;若不同则说明从服务器断线前复制的服务器不是当前服务器,主服务器直接执行完整重同步。

心跳

完成了同步之后,主从服务器就会进入命令传播阶段,此时从服务器会以每秒 1 次的频率,向主服务器发送命令:REPLCONF ACK <replication_offset> 。其中 replication_offset 是从服务器当前的复制偏移量

发送这个命令主要有三个作用:

  • 检测主从服务器的网络状态

  • 辅助实现 min-slaves 选项

  • 上报自身的复制偏移量

min-slaves 选项

redis的配置文件中,存在两个参数:

如果从节点与主节点的最后交互时间,距离当前时间小于 min-slaves-max-lag 的值,则认为该从节点状态是连接的。

主节点定期统计连接状态的从节点数目,如果该数目小于 min-slaves-to-write 的值,则主节点会拒绝执行写数据库的命令,类似于 kafka 里 ISR 的概念。

min-slaves-to-write 3 // 要求保持同步状态的 slave 数量
min-slaves-max-lag 10 // slave 连接到 master 的最大延迟时间,超过这个时间视为失去连接

按照上面的配置,要求至少3个 slave 节点保持连接,数据同步的延迟不能超过10秒,否则 master 就会拒绝写请求。

参考

Previous高可用-持久化Next高可用-Cluster

Last updated 2 years ago

蘑菇睡不着 - 详解Redis主从复制
袁秀龙 - Raft协议(1)——Raft协议与Redis集群中的一致性协议的异同
Redis replication for large data to new slave
悟空聊架构 - 万字长文,5个纬度,深度剖析Redis主从架构原理