diva-notes
  • README
  • Ads
    • 定价策略
    • 广告层级
    • 归因模型
    • 买量
    • Chat GPT
    • Google
  • AI
    • 参考资料
    • Chat GPT
    • stable-diffusion-webui安装
  • Algorithm
    • 倍增
    • 并查集
    • 参考
    • 环的判断
    • 凸包
    • 蓄水池抽样
    • 最短路径
    • 最小生成树
    • KMP算法
    • Rabin-Karp算法
    • Tarjan桥算法
  • Architecture
    • Serverless
  • Career
  • CICD
    • 代码质量
    • CICD实践
  • Data Structure
    • 布谷鸟过滤器
    • 布隆过滤器
    • 浮点
    • 红黑树
    • 锁
    • LSM树
  • DB
    • My SQL
      • 隔离级别
      • 架构
      • 索引
      • 锁
      • 页结构
      • 主从同步
      • ACID
      • Log
      • MVCC
      • Questions
    • Postgres
      • 持久化
      • 对比MySQL
      • 隔离级别
      • 索引
      • Greenpulm
      • MVCC
    • 倒排索引
    • 列式存储
    • H Base
    • HDFS
    • MPP数据库选型
    • Questions
  • Distributed System
    • 分布式事务
    • 服务网格
    • BASE理论
    • CAP
    • Etcd
    • Raft协议
    • ZAB协议
  • Go
    • 1.语言基础
      • 1.CPU寄存器
      • 2-1.函数调用
      • 2-2.函数调用栈
      • 2.接口
      • 3.汇编
      • 4.调试
    • 2.编译
      • 1.编译
      • 2.词法与语法分析
      • 3.类型检查
      • 4.中间代码生成
      • 5.机器码生成
    • 3.数据结构
      • 1.数组array
      • 2.切片slice
      • 3.哈希表map
      • 4.字符串
    • 4.常用关键字
      • 1.循环
      • 2.defer
      • 3.panic和recover
      • 4.make和new
    • 5.并发编程
      • 1.上下文Context的实现
      • 2-1.runtime.sema信号量
      • 2-2.sync.Mutex的实现
      • 2-3.sync.WaitGroup
      • 2-4.sync.Once的实现
      • 2-5.sync.Map的实现
      • 2-6.sync.Cond
      • 2-7.sync.Pool的实现
      • 2-8.sync.Semaphore的实现
      • 2-9.sync.ErrGroup
      • 3.定时器Timer的实现
      • 4.Channel的实现
      • 5-1.调度-线程
      • 5-2.调度-MPG
      • 5-3.调度-程序及调度启动
      • 5-4.调度-调度策略
      • 5-5.调度-抢占
      • 6.netpoll实现
      • 7.atomic
    • 6.内存管理
      • 1-1.内存分配基础-TCmalloc
      • 1-2.内存分配
      • 2.垃圾回收
      • 3.栈内存管理
    • 参考
    • 各版本特性
    • 坑
    • Go程序性能优化
    • http.Client
    • net.http路由
    • profile采样的实现
    • Questions
    • time的设计
  • Kafka
    • 高可用
    • 架构
    • 消息队列选型
    • ISR
    • Questions
  • Network
    • ARP
    • DNS
    • DPVS
    • GET和POST
    • HTTP 2
    • HTTP 3
    • HTTPS
    • LVS的转发模式
    • NAT
    • Nginx
    • OSI七层模型
    • Protobuf
    • Questions
    • REST Ful
    • RPC
    • socket缓冲区
    • socket详解
    • TCP滑动窗口
    • TCP连接建立源码
    • TCP连接四元组
    • TCP三次握手
    • TCP数据结构
    • TCP四次挥手
    • TCP拥塞控制
    • TCP重传机制
    • UDP
  • OS
    • 磁盘IO
    • 调度
    • 进程VS线程
    • 零拷贝
    • 内存-虚拟内存
    • 内存分配
    • 用户态VS内核态
    • 中断
    • COW写时复制
    • IO多路复用
    • Questions
  • Redis
    • 安装
    • 参考
    • 高可用-持久化
    • 高可用-主从同步
    • 高可用-Cluster
    • 高可用-Sentinel
    • 缓存一致性
    • 事务
    • 数据结构-SDS
    • 数据结构-Skiplist
    • 数据结构-Ziplist
    • 数据结构
    • 数据类型-Hashtable
    • 数据类型-List
    • 数据类型-Set
    • 数据类型-Zset
    • 数据淘汰机制
    • 通信协议-RESP
    • Questions
    • Redis6.0多线程
    • Redis分布式锁
    • Redis分片
  • System Design
    • 本地缓存
    • 错误处理
    • 大文件处理
    • 点赞收藏关注
    • 短链接生成系统
    • 负载均衡
    • 高并发高可用
    • 规则引擎
    • 集卡活动
    • 秒杀系统
    • 评论系统
    • 熔断
    • 限流
    • 延迟队列
    • Docker
    • ES
    • K 8 S
    • Node.js
    • Questions
  • Work
    • Bash
    • Charles
    • Code Review
    • Ffmpeg
    • Git
    • intellij插件
    • I Term 2
    • Mac
    • mysql命令
    • Nginx
    • postgresql命令
    • Protoc
    • Ssh
    • Systemd
    • Tcp相关命令
    • Vim
Powered by GitBook
On this page
  • 1. 需求分析
  • 1.1 业务能力
  • 1.2 容灾能力
  • 1.3 流量压力
  • 2. 架构
  • 2.1 总览
  • 2.2 表设计
  • 2.3 三级数据存储
  • 参考
  1. System Design

点赞收藏关注

[TOC]

1. 需求分析

1.1 业务能力

  • 以 “稿件” 为例,点赞服务需要提供

  • 对某个稿件点赞/取消赞

  • 点赞状态查询:查询是否对 单个/一批稿件 点过赞

  • 查询某个稿件的点赞数

  • 查询某个稿件的点赞人列表

  • 查询某个用户的点赞列表

  • 查询用户收到的总点赞数

1.2 容灾能力

存储不可用

  • 例如当DB不可用时,需要依托缓存尽可能提供服务。

  • 同理当缓存不可用时,DB也需要保证自己不宕机的情况下尽可能提供服务。

消息队列不可用

  • 通过RPC调用的方式自动降级

机房灾难

  • 切换机房

1.3 流量压力

全局流量压力:

  1. 批量聚合写;比如聚合10s内的点赞数,一次性写入

  2. 异步化处理,保证速率

单点流量(热点)压力:

  1. 本地缓存

2. 架构

2.1 总览

整个点赞服务的系统可以分为五个部分

  1. 流量路由层(决定流量应该去往哪个机房)

  2. 业务网关层(统一鉴权、反黑灰产等统一流量筛选)

  3. 点赞服务(thumbup-service),提供统一的RPC接口

  4. 点赞异步任务(thumbup-job)

  5. 数据层(db、kv、redis)

2.2 表设计

最重要的点赞记录表:

存储 用户 uid、被点赞的实体ID(messageID)、点赞来源、时间 等信息

并且在 uid、messageID 两个维度上建立索引,这样既可以查用户点赞了哪些稿件,也可以查稿件有哪些点赞用户

2.3 三级数据存储

DB + Redis + 本地缓存

第一层存储:DB层 - (TiDB)

见 2.2 表设计

第二层存储 Redis

缓存层Cache:点赞作为一个高流量的服务,缓存的设立肯定是必不可少的。点赞系统主要使用的是 CacheAside 模式。这一层缓存主要基于Redis缓存:以点赞数和用户点赞列表为例:

1.点赞数

用业务ID和该业务下的实体ID作为缓存的Key,并将点赞数与点踩数拼接起来存储以及更新

key = count:patten:{business_id}:{message_id}
value = {likes},{disLikes}

2.用户点赞列表

用mid与业务ID作为key,value则是一个ZSet,member为被点赞的实体ID,score为点赞的时间。

当该业务下某用户有新的点赞操作的时候,被点赞的实体则会通过 zadd的方式把最新的点赞记录加入到该ZSet里面来

为了维持用户点赞列表的长度(不至于无限扩张),需要在每一次加入新的点赞记录的时候,按照固定长度裁剪用户的点赞记录缓存。比如缓存中只记录第一页数据,超过该长度的数据请求需要回源DB查询

key = user:likes:patten:{mid}:{business_id}
member(messageID)
score(likeTimestamp)

3.为稿件点赞的用户

这个也是存最近的一页用户就可以

第三层存储 本地缓存

本地缓存的建立,目的是为了应对缓存热点问题。

利用最小堆算法,在可配置的时间窗口范围内,统计出访问最频繁的缓存Key,并将热Key(Value)按照业务可接受的TTL存储在本地内存中。

2.4 灾备

一主多从、同城多活。主故障时提升从为主

降级:在所有兜底、降级能力都已失效的前提下也不会直接返回错误给用户,而是会以空值或者假特效的方式与用户交互。后续等服务恢复时,再将故障期间的数据写回存储

参考

Previous大文件处理Next短链接生成系统

Last updated 2 years ago

芦文超 - 【点个赞吧】 - B站千亿级点赞系统服务架构设计
图片