diva-notes
  • README
  • Ads
    • 定价策略
    • 广告层级
    • 归因模型
    • 买量
    • Chat GPT
    • Google
  • AI
    • 参考资料
    • Chat GPT
    • stable-diffusion-webui安装
  • Algorithm
    • 倍增
    • 并查集
    • 参考
    • 环的判断
    • 凸包
    • 蓄水池抽样
    • 最短路径
    • 最小生成树
    • KMP算法
    • Rabin-Karp算法
    • Tarjan桥算法
  • Architecture
    • Serverless
  • Career
  • CICD
    • 代码质量
    • CICD实践
  • Data Structure
    • 布谷鸟过滤器
    • 布隆过滤器
    • 浮点
    • 红黑树
    • 锁
    • LSM树
  • DB
    • My SQL
      • 隔离级别
      • 架构
      • 索引
      • 锁
      • 页结构
      • 主从同步
      • ACID
      • Log
      • MVCC
      • Questions
    • Postgres
      • 持久化
      • 对比MySQL
      • 隔离级别
      • 索引
      • Greenpulm
      • MVCC
    • 倒排索引
    • 列式存储
    • H Base
    • HDFS
    • MPP数据库选型
    • Questions
  • Distributed System
    • 分布式事务
    • 服务网格
    • BASE理论
    • CAP
    • Etcd
    • Raft协议
    • ZAB协议
  • Go
    • 1.语言基础
      • 1.CPU寄存器
      • 2-1.函数调用
      • 2-2.函数调用栈
      • 2.接口
      • 3.汇编
      • 4.调试
    • 2.编译
      • 1.编译
      • 2.词法与语法分析
      • 3.类型检查
      • 4.中间代码生成
      • 5.机器码生成
    • 3.数据结构
      • 1.数组array
      • 2.切片slice
      • 3.哈希表map
      • 4.字符串
    • 4.常用关键字
      • 1.循环
      • 2.defer
      • 3.panic和recover
      • 4.make和new
    • 5.并发编程
      • 1.上下文Context的实现
      • 2-1.runtime.sema信号量
      • 2-2.sync.Mutex的实现
      • 2-3.sync.WaitGroup
      • 2-4.sync.Once的实现
      • 2-5.sync.Map的实现
      • 2-6.sync.Cond
      • 2-7.sync.Pool的实现
      • 2-8.sync.Semaphore的实现
      • 2-9.sync.ErrGroup
      • 3.定时器Timer的实现
      • 4.Channel的实现
      • 5-1.调度-线程
      • 5-2.调度-MPG
      • 5-3.调度-程序及调度启动
      • 5-4.调度-调度策略
      • 5-5.调度-抢占
      • 6.netpoll实现
      • 7.atomic
    • 6.内存管理
      • 1-1.内存分配基础-TCmalloc
      • 1-2.内存分配
      • 2.垃圾回收
      • 3.栈内存管理
    • 参考
    • 各版本特性
    • 坑
    • Go程序性能优化
    • http.Client
    • net.http路由
    • profile采样的实现
    • Questions
    • time的设计
  • Kafka
    • 高可用
    • 架构
    • 消息队列选型
    • ISR
    • Questions
  • Network
    • ARP
    • DNS
    • DPVS
    • GET和POST
    • HTTP 2
    • HTTP 3
    • HTTPS
    • LVS的转发模式
    • NAT
    • Nginx
    • OSI七层模型
    • Protobuf
    • Questions
    • REST Ful
    • RPC
    • socket缓冲区
    • socket详解
    • TCP滑动窗口
    • TCP连接建立源码
    • TCP连接四元组
    • TCP三次握手
    • TCP数据结构
    • TCP四次挥手
    • TCP拥塞控制
    • TCP重传机制
    • UDP
  • OS
    • 磁盘IO
    • 调度
    • 进程VS线程
    • 零拷贝
    • 内存-虚拟内存
    • 内存分配
    • 用户态VS内核态
    • 中断
    • COW写时复制
    • IO多路复用
    • Questions
  • Redis
    • 安装
    • 参考
    • 高可用-持久化
    • 高可用-主从同步
    • 高可用-Cluster
    • 高可用-Sentinel
    • 缓存一致性
    • 事务
    • 数据结构-SDS
    • 数据结构-Skiplist
    • 数据结构-Ziplist
    • 数据结构
    • 数据类型-Hashtable
    • 数据类型-List
    • 数据类型-Set
    • 数据类型-Zset
    • 数据淘汰机制
    • 通信协议-RESP
    • Questions
    • Redis6.0多线程
    • Redis分布式锁
    • Redis分片
  • System Design
    • 本地缓存
    • 错误处理
    • 大文件处理
    • 点赞收藏关注
    • 短链接生成系统
    • 负载均衡
    • 高并发高可用
    • 规则引擎
    • 集卡活动
    • 秒杀系统
    • 评论系统
    • 熔断
    • 限流
    • 延迟队列
    • Docker
    • ES
    • K 8 S
    • Node.js
    • Questions
  • Work
    • Bash
    • Charles
    • Code Review
    • Ffmpeg
    • Git
    • intellij插件
    • I Term 2
    • Mac
    • mysql命令
    • Nginx
    • postgresql命令
    • Protoc
    • Ssh
    • Systemd
    • Tcp相关命令
    • Vim
Powered by GitBook
On this page
  1. Go
  2. 5.并发编程

5-3.调度-程序及调度启动

任何一个由编译型语言(不管是C,C++,go还是汇编语言)所编写的程序在被操作系统加载起来运行时都会顺序经过如下几个阶段:

  1. 从磁盘上把可执行程序读入内存;

  2. 创建进程和主线程;

  3. 为主线程分配栈空间;

  4. 把由用户在命令行输入的参数拷贝到主线程的栈;

  5. 把主线程放入操作系统的运行队列等待被调度执起来运行。

程序启动

使用 GDB 调试 Go 程序,可以看到程序入口对应的代码文件。程序启动部分的代码是用汇编写的,以 amd64 CPU 为例,程序的入口函数为 runtime/rt0_linux_amd64.s。里面依次执行如下步骤:

  1. 初始化第一个 g0、m0。m0 为代表进程的主线程

  2. 调用 osinit() 初始化系统核心数

  3. 调用 schedinit() 初始化调度器

    1. 初始化调度器、内存分配器、堆、栈等

    2. 会创建一批 P,数量默认为 CPU 数

    3. 如果用户设置了 GOMAXPROCS 环境变量,则 P 的数量为 max(GOMAXPROCS, 256),也就是最多 256

    4. 这些 P 初始创建好后都放置在全局变量 Sched 的 pidle 队列里

  4. 调用 newproc() 函数创建出第一个 G,这个 goroutine 将执行的函数是 runtime/proc.go/main(),该协程即为 main goroutine

    1. 里面创建了一个新的内核线程 M: 系统监控 sysmon

    2. 初始化、启动垃圾回收

    3. 运行我们写的 main() 函数

  5. 调用 mstart() 启动调度

入口为 _rt0_amd64 函数,里面调用 rt0_go:

// runtime/asm_amd64.s
TEXT _rt0_amd64(SB),NOSPLIT,$-8  // 定义 _rt0_amd64 这个符号
    MOVQ    0(SP), DI            // 把参数数量 argc 的地址放入 DI 寄存器
    LEAQ    8(SP), SI            // 把参数数组 argv 的地址放入 SI 寄存器
    JMP    runtime·rt0_go(SB)    // 跳转至 rt0_go

rt0_go 函数里先初始化了第一个 g0、m0。和普通 M 里的 g0 不同,第一个 g0 是用汇编写的初始化和空间分配逻辑,栈大约 64KB,也大于 M 里 g0 的 8KB 的栈、普通 G 默认 2KB 的栈

// runtime/asm_amd64.s
TEXT runtime·rt0_go(SB),NOSPLIT|TOPFRAME,$0

    MOVQ    $runtime·g0(SB), DI
    LEAQ    (-64*1024+104)(SP), BX // 这个 g0 有大约 64KB 的栈
    MOVQ    BX, g_stackguard0(DI)
    MOVQ    BX, g_stackguard1(DI)
    MOVQ    BX, (g_stack+stack_lo)(DI)
    MOVQ    SP, (g_stack+stack_hi)(DI)

    LEAQ    runtime·g0(SB), CX    // 把 g0 的地址存入 CX 寄存器
    MOVQ    CX, g(BX)             // 把 g0 的地址保存在线程本地存储里面
    LEAQ    runtime·m0(SB), AX    // 把 m0 的地址存入 AX 寄存器

    MOVQ    CX, m_g0(AX)          // 关联 m0 与 g0: m.g0 = g0 
    MOVQ    AX, g_m(CX)           // 关联 go 与 m0: g0.m = m0

    MOVL    24(SP), AX            // 把函数参数个数 argc 写入 AX 寄存器
    MOVL    AX, 0(SP)             // argc 写入栈顶
    MOVQ    32(SP), AX            // 把函数及参数地址 argv 写入 AX 寄存器
    MOVQ    AX, 8(SP)             // argv 写入栈

然后是命令行参数的解析、获取CPU核数、调度器及 P 的初始化:

// runtime/asm_amd64.s
    CALL    runtime·args(SB)      // 命令行参数
    CALL    runtime·osinit(SB)    // 获取 CPU 核心数和内存物理页大小
    CALL    runtime·schedinit(SB) // 初始化 P

然后将 runtime.mainPC 函数地址放入寄存器,这个函数实际就是 runtime/proc.go/main 函数

// runtime/asm_amd64.s
    MOVQ     $runtime·mainPC(SB), AX    // = runtime/proc.go/main()
    PUSHQ    AX
    
// 定义 runtime·mainPC 函数为 $runtime·main
DATA     runtime·mainPC+0(SB)/4,$runtime·main(SB) // +0(SB)是地址偏移量,4是每个字节大小
GLOBL    runtime·mainPC(SB),RODATA,$4             // 定义为全局变量、只读、4字节

runtime/proc.go/main() 函数的主要内容包括:新建一个 sysmon 线程、初始化 GC,执行我们写的 main() 函数

// runtime/proc.go
// go:linkname main_main main.main
// 链接到我们写的 main.go/main 函数
func main_main()

func main() {
    // 新建 sysmon 线程
    systemstack(func() {
              newm(sysmon, nil, -1) 
        })
  
    // 初始化 GC
    gcenable()
  
    // 执行我们写的 main.go/main() 函数
    fn := main_main 
    fn()
}

然后调用 runtime.newproc() 函数新建一个 G 运行上面的函数。这个 G 叫 main goroutine

// runtime/asm_amd64.s
    CALL    runtime·newproc(SB)     // 创建 G 执行 runtime/proc.go/main(),这个 G 叫 main goroutine
    POPQ    AX

最后调用 mstart() 函数启动 M 线程运行上面的 main goroutine,并启动调度:

 // runtime/asm_amd64.s
    CALL    runtime·mstart(SB)   // 启动 M 运行上一步创建的 main goroutine  
    CALL    runtime·abort(SB)    // 上面的 mstart 函数正常情况下会一直执行,不会走到这里。如果走到这里说明主协程崩溃了,在这执行异常退出
    RET

mstart() 函数实际指向 runtime.mstart(),里面主要做的就是调用 schedule() 函数开始调度:

// runtime/asm_amd64.s
TEXT runtime·mstart(SB),NOSPLIT|TOPFRAME,$0
    CALL    runtime·mstart0(SB)

// runtime/proc.go
func mstart0() {
    mstart1()
}

// 启动调度
func mstart1(){
    schedule()
}

在 schedule() 里,main goroutine 作为唯一的 goroutine 将被执行,由此开始用户写的代码。

// runtime/proc.go
func schedule() {
    execute(gp, inheritTime)
}
Previous5-2.调度-MPGNext5-4.调度-调度策略

Last updated 2 years ago