diva-notes
  • README
  • Ads
    • 定价策略
    • 广告层级
    • 归因模型
    • 买量
    • Chat GPT
    • Google
  • AI
    • 参考资料
    • Chat GPT
    • stable-diffusion-webui安装
  • Algorithm
    • 倍增
    • 并查集
    • 参考
    • 环的判断
    • 凸包
    • 蓄水池抽样
    • 最短路径
    • 最小生成树
    • KMP算法
    • Rabin-Karp算法
    • Tarjan桥算法
  • Architecture
    • Serverless
  • Career
  • CICD
    • 代码质量
    • CICD实践
  • Data Structure
    • 布谷鸟过滤器
    • 布隆过滤器
    • 浮点
    • 红黑树
    • 锁
    • LSM树
  • DB
    • My SQL
      • 隔离级别
      • 架构
      • 索引
      • 锁
      • 页结构
      • 主从同步
      • ACID
      • Log
      • MVCC
      • Questions
    • Postgres
      • 持久化
      • 对比MySQL
      • 隔离级别
      • 索引
      • Greenpulm
      • MVCC
    • 倒排索引
    • 列式存储
    • H Base
    • HDFS
    • MPP数据库选型
    • Questions
  • Distributed System
    • 分布式事务
    • 服务网格
    • BASE理论
    • CAP
    • Etcd
    • Raft协议
    • ZAB协议
  • Go
    • 1.语言基础
      • 1.CPU寄存器
      • 2-1.函数调用
      • 2-2.函数调用栈
      • 2.接口
      • 3.汇编
      • 4.调试
    • 2.编译
      • 1.编译
      • 2.词法与语法分析
      • 3.类型检查
      • 4.中间代码生成
      • 5.机器码生成
    • 3.数据结构
      • 1.数组array
      • 2.切片slice
      • 3.哈希表map
      • 4.字符串
    • 4.常用关键字
      • 1.循环
      • 2.defer
      • 3.panic和recover
      • 4.make和new
    • 5.并发编程
      • 1.上下文Context的实现
      • 2-1.runtime.sema信号量
      • 2-2.sync.Mutex的实现
      • 2-3.sync.WaitGroup
      • 2-4.sync.Once的实现
      • 2-5.sync.Map的实现
      • 2-6.sync.Cond
      • 2-7.sync.Pool的实现
      • 2-8.sync.Semaphore的实现
      • 2-9.sync.ErrGroup
      • 3.定时器Timer的实现
      • 4.Channel的实现
      • 5-1.调度-线程
      • 5-2.调度-MPG
      • 5-3.调度-程序及调度启动
      • 5-4.调度-调度策略
      • 5-5.调度-抢占
      • 6.netpoll实现
      • 7.atomic
    • 6.内存管理
      • 1-1.内存分配基础-TCmalloc
      • 1-2.内存分配
      • 2.垃圾回收
      • 3.栈内存管理
    • 参考
    • 各版本特性
    • 坑
    • Go程序性能优化
    • http.Client
    • net.http路由
    • profile采样的实现
    • Questions
    • time的设计
  • Kafka
    • 高可用
    • 架构
    • 消息队列选型
    • ISR
    • Questions
  • Network
    • ARP
    • DNS
    • DPVS
    • GET和POST
    • HTTP 2
    • HTTP 3
    • HTTPS
    • LVS的转发模式
    • NAT
    • Nginx
    • OSI七层模型
    • Protobuf
    • Questions
    • REST Ful
    • RPC
    • socket缓冲区
    • socket详解
    • TCP滑动窗口
    • TCP连接建立源码
    • TCP连接四元组
    • TCP三次握手
    • TCP数据结构
    • TCP四次挥手
    • TCP拥塞控制
    • TCP重传机制
    • UDP
  • OS
    • 磁盘IO
    • 调度
    • 进程VS线程
    • 零拷贝
    • 内存-虚拟内存
    • 内存分配
    • 用户态VS内核态
    • 中断
    • COW写时复制
    • IO多路复用
    • Questions
  • Redis
    • 安装
    • 参考
    • 高可用-持久化
    • 高可用-主从同步
    • 高可用-Cluster
    • 高可用-Sentinel
    • 缓存一致性
    • 事务
    • 数据结构-SDS
    • 数据结构-Skiplist
    • 数据结构-Ziplist
    • 数据结构
    • 数据类型-Hashtable
    • 数据类型-List
    • 数据类型-Set
    • 数据类型-Zset
    • 数据淘汰机制
    • 通信协议-RESP
    • Questions
    • Redis6.0多线程
    • Redis分布式锁
    • Redis分片
  • System Design
    • 本地缓存
    • 错误处理
    • 大文件处理
    • 点赞收藏关注
    • 短链接生成系统
    • 负载均衡
    • 高并发高可用
    • 规则引擎
    • 集卡活动
    • 秒杀系统
    • 评论系统
    • 熔断
    • 限流
    • 延迟队列
    • Docker
    • ES
    • K 8 S
    • Node.js
    • Questions
  • Work
    • Bash
    • Charles
    • Code Review
    • Ffmpeg
    • Git
    • intellij插件
    • I Term 2
    • Mac
    • mysql命令
    • Nginx
    • postgresql命令
    • Protoc
    • Ssh
    • Systemd
    • Tcp相关命令
    • Vim
Powered by GitBook
On this page
  • socket 缓冲区
  • TCP 部分
  • 缓冲区满的情况
  • 缓冲区 close
  • UDP 部分
  1. Network

socket缓冲区

socket 缓冲区

socket 在操作系统层面,可以理解为一个文件。我们可以对这个文件进行一些方法操作。

用 listen 方法,可以让程序作为服务器监听其他客户端的连接。

用 connect ,可以作为客户端连接服务器。

用 send 或 write 可以发送数据,recv 或 read 可以接收数据。

在建立好连接之后,这个 socket文件就像是远端机器的 "代理人" 一样。比如,如果我们想给远端服务发点什么东西,那就只需要对这个文件执行写操作就行了。

那写到了这个文件之后,剩下的发送工作自然就是由操作系统内核来完成了。

既然是写给操作系统,那操作系统就需要提供一个地方给用户写。同理,接收消息也是一样。

这个地方就是 socket 缓冲区,实际是个环形缓冲队列 ring buffer。

用户发送消息的时候写给 send buffer(发送缓冲区)

用户接收消息的时候写给 recv buffer(接收缓冲区)

也就是说 一个socket ,会带有两个缓冲区,一个用于发送,一个用于接收。因为这是个先进先出的结构,有时候也叫它们发送、接收队列。

怎么观察 socket 缓冲区

在 linux 环境下执行 netstat -nt 命令。

# netstat -nt
Active Internet connections (w/o servers)
Proto     Recv-Q     Send-Q        Local Address            Foreign Address         State      
  tcp          0         60      172.22.66.69:22       122.14.220.252:59889    ESTABLISHED
#协议   接收缓冲区  发送缓冲区             本机地址                    远端地址       连接状态

TCP 部分

我们在使用TCP建立连接之后,一般会使用 send 发送数据。

 int main(int argc, char *argv[])
 {
     // 创建socket
     sockfd=socket(AF_INET,SOCK_STREAM, 0))
 
     // 建立连接  
     connect(sockfd, 服务器ip信息, sizeof(server))  
 
     // 执行 send 发送消息
     send(sockfd,str,sizeof(str),0))  

     // 关闭 socket
     close(sockfd);

     return 0;
}

上面是一段伪代码,仅用于展示大概逻辑,我们在建立好连接后,一般会在代码中执行 send 方法。那么此时,消息就会被立刻发到对端机器吗?

答案是不确定!执行 send 之后,数据只是拷贝到了socket 缓冲区。至 什么时候会发数据,发多少数据,全听操作系统安排。

在用户进程中,程序通过操作 socket 会从用户态进入内核态,而 send 方法会将数据一路传到传输层。在识别到是 TCP 协议后,会调用 tcp_sendmsg 方法。

 // net/ipv4/tcp.c
 int tcp_sendmsg()
 {  
   // 如果还有可以放数据的空间
   if (skb_availroom(skb) > 0) {
     // 尝试拷贝待发送数据到发送缓冲区
     err = skb_add_data_nocache(sk, skb, from, copy);
   }  
   // 下面是尝试发送的逻辑代码,先省略     
}

在 tcp_sendmsg 中, 核心工作就是将待发送的数据组织按照先后顺序放入到发送缓冲区中, 然后根据实际情况(比如拥塞窗口等)判断是否要发数据。如果不发送数据,那么此时直接返回。

缓冲区满的情况

这里分两种情况。

首先,socket 在创建的时候,是可以设置是阻塞的还是非阻塞的。

1int s = socket(AF_INET, SOCK_STREAM | SOCK_NONBLOCK, IPPROTO_TCP);

比如通过上面的代码,就可以将 socket 设置为非阻塞 (SOCK_NONBLOCK)。

  • 如果 socket 是阻塞的,那么程序会在那干等,直到释放出新的缓存空间,就继续把数据拷进去,然后返回。

    • 如果缓冲区没满,但剩余空间不够了,那么程序会先将缓冲区写满,再干等

    • 这种情况会在客户端故障拒收数据的情况下产生。应用程序可以设置超时时间,超过时长后断开和客户端的连接。

  • 如果 socket 是非阻塞的,程序就会立刻返回一个 EAGAIN 错误信息,意思是 Try again , 现在缓冲区满了,你也别等了,待会再试一次。

缓冲区 close

首先我们要知道,**一般正常情况下,发送缓冲区和接收缓冲区 都应该是空的。**如果发送、接收缓冲区长时间非空,说明有数据堆积,这往往是由于一些网络问题或用户应用层问题,导致数据没有正常处理。

正常情况下,如果 socket 缓冲区为空,执行 close。就会触发四次挥手。

这个也是面试老八股文内容了,这里我们只需要关注第一次挥手,发的是 FIN 就够了。

缓冲区有数据时,执行 close 了,会怎么样?

接收缓冲区

  • 如果接收缓冲区还有数据未读,会先把接收缓冲区的数据清空,然后给对端发一个 RST。(对端就会收到 connection reset by peer)

发送缓冲区

  • 内核会等待 TCP 层把发送缓冲区数据都发完,最后再执行 四次挥手的第一次挥手(FIN包)

既然如此,如何判断数据发送成功?

通过 send() 函数无法判断,只能通过 TCP协议的 ACK确认机制,由接收端发送 ACK才能判断数据发送成功

UDP 部分

UDP socket 也是 socket,一个 socket 就是会有收和发两个缓冲区。跟用什么协议关系不大。因此 UDP 也是有两个缓冲区的。

使用 UDP 发送数据的时候,可以设置一个 MSG_MORE 的标记。

系统会先把数据放到发送队列中,然后根据这个标记再考虑是不是立刻发送。

不过我们大部分情况下,都不会用 MSG_MORE,也就是来一个数据包就立即发一个数据包。从这个行为上来说,虽然UDP用上了发送缓冲区,但实际上并没有起到"缓冲"的作用。

参考

PreviousRPCNextsocket详解

Last updated 2 years ago

小白debug - 代码执行send成功后,数据就发出去了吗