golang waitgroup

案例

WaitGroup 可以解决一个 goroutine 等待多个 goroutine 同时结束的场景，这个比较常见的场景就是例如 后端 worker 启动了多个消费者干活，还有爬虫并发爬取数据，多线程下载等等。
我们这里模拟一个 worker 的例子

package mainimport ("fmt""sync"
)func worker(i int) {fmt.Println("worker: ", i)
}func main() {var wg sync.WaitGroupfor i := 0; i < 10; i++ {wg.Add(1)go func(i int) {defer wg.Done()worker(i)}(i)}wg.Wait()
}

问题: 反过来支持多个 goroutine 等待一个 goroutine 完成后再干活吗？ 看我们接下来的源码分析你就知道了

源码分析

type WaitGroup struct {noCopy noCopy// 64-bit value: high 32 bits are counter, low 32 bits are waiter count.// 64-bit atomic operations require 64-bit alignment, but 32-bit// compilers do not ensure it. So we allocate 12 bytes and then use// the aligned 8 bytes in them as state, and the other 4 as storage// for the sema.state1 [3]uint32
}

WaitGroup 结构十分简单，由 nocopy 和 state1 两个字段组成，其中 nocopy 是用来防止复制的

type noCopy struct{}// Lock is a no-op used by -copylocks checker from `go vet`.
func (*noCopy) Lock()   {}
func (*noCopy) Unlock() {}

由于嵌入了 nocopy 所以在执行 go vet 时如果检查到 WaitGroup 被复制了就会报错。这样可以一定程度上保证 WaitGroup 不被复制，对了直接 go run 是不会有错误的，所以我们代码 push 之前都会强制要求进行 lint 检查，在 ci/cd 阶段也需要先进行 lint 检查，避免出现这种类似的错误。

~/project/Go-000/Week03/blog/06_waitgroup/02 main*
❯ go run ./main.go~/project/Go-000/Week03/blog/06_waitgroup/02 main*
❯ go vet .
# github.com/mohuishou/go-training/Week03/blog/06_waitgroup/02
./main.go:7:9: assignment copies lock value to wg2: sync.WaitGroup contains sync.noCopy

state1 的设计非常巧妙，这是一个是十二字节的数据，这里面主要包含两大块，counter 占用了 8 字节用于计数，sema 占用 4 字节用做信号量
可以看出 state1 是一个元素个数为 3 个数组，且每个元素都是 占 32 bits
在 64 位系统里面，64位原子操作需要64位对齐
那么高位的 32 bits 对应的是 counter 计数器，用来表示目前还没有完成任务的协程个数
低 32 bits 对应的是 waiter 的数量，表示目前已经调用了 WaitGroup.Wait 的协程个数
那么剩下的一个 32 bits 就是 sema 信号量的了（后面的源码中会有体现）
在这里插入图片描述

为什么要这么搞呢？直接用两个字段一个表示 counter，一个表示 sema 不行么？
不行，我们看看注释里面怎么写的。

// 64-bit value: high 32 bits are counter, low 32 bits are waiter count. > // 64-bit atomic operations require 64-bit alignment, but 32-bit > // compilers do not ensure it. So we allocate 12 bytes and then use > // the aligned 8 bytes in them as state, and the other 4 as storage > // for the sema.

这段话的关键点在于，在做 64 位的原子操作的时候必须要保证 64 位（8 字节）对齐，如果没有对齐的就会有问题，但是 32 位的编译器并不能保证 64 位对齐所以这里用一个 12 字节的 state1 字段来存储这两个状态，然后根据是否 8 字节对齐选择不同的保存方式。

此处我们可以看到 ， state 函数是 返回存储在 wg.state1 中的状态和 sema字段 的指针
这里需要重点注意 state() 函数的实现，有 2 种情况

第 1 种 情况是，在 64 位系统下面，返回 sema字段 的指针取的是 &wg.state1[2] ，说明 64 位系统时，state1 数据排布是 ： counter ， waiter，sema

第 2 种情况是，32 位系统下面，返回 sema字段 的指针取的是 &wg.state1[0] ，说明 64 位系统时，state1 数据排布是 ： sema ，counter ， waiter

在 32 位机器上，uint64 类型的变量通常会被编译器按照 4 字节对齐，而不是 8 字节对齐。因此，如果 uint64
类型的变量没有按照 4 字节对齐，就可能会导致原子操作失败。

在 32 位机器上，64 位原子操作需要使用两个 32 位的寄存器来完成，如果 uint64 类型的变量没有按照 4字节对齐，那么在读取或者写入 uint64 类型变量时，就可能会跨越两个 32位寄存器，从而导致原子操作失败。这种情况下，编译器可能会将多个 32 位读写操作组合成一个 64 位操作，或者使用特殊的汇编指令来实现原子性，但这样会增加代码的复杂度和性能开销。

为了避免这种问题，sync.WaitGroup 在 32 位机器上使用了一个包含 3 个 uint32
元素的数组来表示状态，其中前两个元素占用了 8 字节，可以按照 uint64 对齐，从而可以使用 64
位原子操作来保证状态的原子性。这种设计方式既可以在 32 位机器上保证状态的原子性，也可以在 64 位机器上提高程序的性能。

这个操作巧妙在哪里呢？

  • 如果是 64 位的机器那肯定是 8 字节对齐了的，所以是上面第一种方式
  • 如果在 32 位的机器上
    • 如果恰好 8 字节对齐了，那么也是第一种方式取前面的 8 字节数据
    • 如果是没有对齐，但是 32 位 4 字节是对齐了的，所以我们只需要后移四个字节，那么就 8 字节对齐了，所以是第二种方式

所以通过 sema 信号量这四个字节的位置不同，保证了 counter 这个字段无论在 32 位还是 64 为机器上都是 8 字节对齐的，后续做 64 位原子操作的时候就没问题了。
这个实现是在 state 方法实现的

golang 这样用，主要原因是 golang 把 counter 和 waiter 合并到一起统一看成是 1 个 64位的数据了，因此在不同的操作系统中
由于字节对齐的原因，64位系统时，前面 2 个 32 位数据加起来，正好是 64 位，正好对齐
对于 32 位系统，则是 第 1 个 32 位数据放 sema 更加合适，后面的 2 个 32 位数据就可以统一取出，作为一个 64 位变量

为什么要counter和waiter合一起？不能用三个变量吗

  1. 在并发编程中，多个 goroutine可能会同时访问共享的变量，这种并发访问可能会导致竞态条件，从而导致程序出现意料之外的结果。为了保证并发程序的正确性，需要使用同步原语来协调不同
  2. 首先，sync.WaitGroup 的状态包含两个值：计数器和等待的 goroutine 数量。在并发程序中，对于这两个值的修改必须是原子的，否则会导致竞态条件。如果使用两个单独的 uint32 变量来表示这两个值，那么在对它们进行增减操作时，必须使用互斥锁或原子操作来保证它们的原子性。而使用一个 uint32 数组，则可以使用原子操作来同时修改这两个值，从而避免了互斥锁的开销。
  3. goroutine 的访问，其中原子操作是一种常用的同步原语。
    原子操作是一种基本的操作，它可以在一个步骤内完成读取和修改操作，从而保证了操作的原子性。在 Go 中，原子操作主要通过
    sync/atomic 包提供。

sync/atomic 包提供了一系列原子操作，包括原子读写、原子增减、原子比较交换等等。这些原子操作可以被多个 goroutine
并发调用，而不会导致竞态条件。在底层实现上，sync/atomic 包使用了 CPU 提供的原子指令，通过锁总线或者其他硬件机制来保证多个
CPU 同时访问一个共享变量时的原子性。

func (wg *WaitGroup) state() (statep *uint64, semap *uint32) {if uintptr(unsafe.Pointer(&wg.state1))%8 == 0 {return (*uint64)(unsafe.Pointer(&wg.state1)), &wg.state1[2]} else {return (*uint64)(unsafe.Pointer(&wg.state1[1])), &wg.state1[0]}
}

state 方法返回 counter 和信号量，通过 uintptr(unsafe.Pointer(&wg.state1))%8 == 0 来判断是否 8 字节对齐

Add

func (wg *WaitGroup) Add(delta int) {// 先从 state 当中把数据和信号量取出来statep, semap := wg.state()// 在 waiter 上加上 delta 值state := atomic.AddUint64(statep, uint64(delta)<<32)// 取出当前的 counterv := int32(state >> 32)// 取出当前的 waiter，正在等待 goroutine 数量w := uint32(state)// counter 不能为负数if v < 0 {panic("sync: negative WaitGroup counter")}// 这里属于防御性编程// w != 0 说明现在已经有 goroutine 在等待中，说明已经调用了 Wait() 方法// 这时候 delta > 0 && v == int32(delta) 说明在调用了 Wait() 方法之后又想加入新的等待者// 这种操作是不允许的if w != 0 && delta > 0 && v == int32(delta) {panic("sync: WaitGroup misuse: Add called concurrently with Wait")}// 如果当前没有人在等待就直接返回，并且 counter > 0if v > 0 || w == 0 {return}// 这里也是防御 主要避免并发调用 add 和 waitif *statep != state {panic("sync: WaitGroup misuse: Add called concurrently with Wait")}// 唤醒所有 waiter，看到这里就回答了上面的问题了*statep = 0for ; w != 0; w-- {runtime_Semrelease(semap, false, 0)}
}

Add 函数主要功能是将 counter +delta ，增加等待协程的个数：

我们可以看到 Add 函数，通过 state 函数获取到 上述 64位的变量（counter 和 waiter） 和 sema 信号量后，通过 atomic.AddUint64 函数 将 delta 数据 加到 counter 上面

这里为什么是 delta 要左移 32 位呢？

上面我们有说到嘛， state 函数拿出的 64 位变量，高 32 bits 是 counter，低 32 bits 是waiter，此处的 delta 是要加到 counter 上，因此才需要 delta 左移 32 位

Wait

wait 主要就是等待其他的 goroutine 完事之后唤醒

func (wg *WaitGroup) Wait() {// 先从 state 当中把数据和信号量的地址取出来statep, semap := wg.state()for {// 这里去除 counter 和 waiter 的数据state := atomic.LoadUint64(statep)v := int32(state >> 32)w := uint32(state)// counter = 0 说明没有在等的，直接返回就行if v == 0 {// Counter is 0, no need to wait.return}// waiter + 1，调用一次就多一个等待者，然后休眠当前 goroutine 等待被唤醒if atomic.CompareAndSwapUint64(statep, state, state+1) {runtime_Semacquire(semap)if *statep != 0 {panic("sync: WaitGroup is reused before previous Wait has returned")}return}}
}

Done

这个只是 add 的简单封装

func (wg *WaitGroup) Done() {wg.Add(-1)
}

总结

  • WaitGroup 可以用于一个 goroutine 等待多个 goroutine 干活完成，也可以多个 goroutine 等待一个 goroutine 干活完成，是一个多对多的关系
    • 多个等待一个的典型案例是 singleflight，这个在后面将微服务可用性的时候还会再讲到，感兴趣可以看看源码
  • Add(n>0) 方法应该在启动 goroutine 之前调用，然后在 goroution 内部调用 Done 方法
  • WaitGroup 必须在 Wait 方法返回之后才能再次使用
  • Done 只是 Add 的简单封装，所以实际上是可以通过一次加一个比较大的值减少调用，或者达到快速唤醒的目的。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/73494.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

LLM - LoRA 模型合并与保存

LLM - LoRA 模型合并与保存

目录 一.引言 二.LoRA 1.LoRA 简介 2.LoRA 参数 3.LoRA 合并 4.LoRA 保存 三.总结 一.引言 LLM 使用过程中最常用方法之一就是通过 LoRA 基于自己的数据对大模型进行微调&#xff0c;本文简单介绍 LoRA 原理以及如何合并多个 LoRA 模型并保存。 peft0.4.0 transforme…
阅读更多...
[NLP]LLM高效微调(PEFT)--LoRA

[NLP]LLM高效微调(PEFT)--LoRA

LoRA 背景 神经网络包含很多全连接层&#xff0c;其借助于矩阵乘法得以实现&#xff0c;然而&#xff0c;很多全连接层的权重矩阵都是满秩的。当针对特定任务进行微调后&#xff0c;模型中权重矩阵其实具有很低的本征秩&#xff08;intrinsic rank&#xff09;&#xff0c;因…
阅读更多...
记一次centos 磁盘挂载过程

记一次centos 磁盘挂载过程

前言 最近买了云服务器磁盘&#xff0c;需要挂载&#xff0c;一下就由大猿来记录这次过程。 挂载过程 查看磁盘挂载情况 查看物理硬盘 lsblkfdisk -l标记分区 fdisk /dev/vdb格式化分区 xfs mkfs.xfs /dev/vdb mkfs.xfs -f /dev/vdbext4 mkfs.ext4 /dev/vdbxfs 和 ex…
阅读更多...
HTTP——HTTP报文内的HTTP信息

HTTP——HTTP报文内的HTTP信息

HTTP 通信过程包括从客户端发往服务器端的请求及从服务器端返回客户端的响应。本章就让我们来了解一下请求和响应是怎样运作的。 HTTP 一、HTTP报文二、请求报文及响应报文的结构三、编码提升传输速率1、报文主体和实体主题的差异2、压缩传输的内容编码3、分割发送的分块传输编…
阅读更多...
Spring MVC异步上传、跨服务器上传和文件下载

Spring MVC异步上传、跨服务器上传和文件下载

一、异步上传 之前的上传方案&#xff0c;在上传成功后都会跳转页面。而在实际开发中&#xff0c;很多情况下上传后不进行跳转&#xff0c;而是进行页面的局部刷新&#xff0c;比如&#xff1a;上传头像成功后将头像显示在网页中。这时候就需要使用异步文件上传。 1.1 JSP页面 …
阅读更多...
为了规避风险，如何给大模型打水印？

为了规避风险，如何给大模型打水印？

大型语言模型&#xff0c;如最近开发的ChatGPT&#xff0c;可以撰写文件、创建可执行代码和回答问题&#xff0c;通常具有人类般的能力。 随着这些大模型的应用越来越普遍&#xff0c;越来越大的风险也显现了出来&#xff0c;它们可能被用于恶意目的。这些恶意目的包括&#xf…
阅读更多...
【漏洞复现】Metabase 远程命令执行漏洞(CVE-2023-38646)

【漏洞复现】Metabase 远程命令执行漏洞(CVE-2023-38646)

文章目录 前言声明一、漏洞介绍二、影响版本三、漏洞原理四、漏洞复现五、修复建议 前言 Metabase 0.46.6.1之前版本和Metabase Enterprise 1.46.6.1之前版本存在安全漏洞&#xff0c;未经身份认证的远程攻击者利用该漏洞可以在服务器上以运行 Metabase 服务器的权限执行任意命…
阅读更多...
虹科活动 | 走进宇通客车-汽车新供应链技术展精彩回顾

虹科活动 | 走进宇通客车-汽车新供应链技术展精彩回顾

引言 7月27日&#xff0c;走进宇通客车-汽车新供应链技术展于宇通研发中心成功举办&#xff0c;本次展会中虹科为大家带来了一体化车载天线与车辆GNSS仿真测试方案&#xff0c;感谢您前来探讨与交流&#xff01; 精彩产品一览 车辆GNSS仿真测试方案 虹科高性能GNSS模拟器具有灵…
阅读更多...
如何搭建WordPress博客网站，并且发布至公网上？

如何搭建WordPress博客网站，并且发布至公网上？

如何搭建WordPress博客网站&#xff0c;并且发布至公网上&#xff1f; 文章目录 如何搭建WordPress博客网站&#xff0c;并且发布至公网上&#xff1f;概述前置准备1 安装数据库管理工具1.1 安装图形图数据库管理工具&#xff0c;SQL_Front 2 创建一个新数据库2.1 创建数据库2.…
阅读更多...
振弦传感器信号转换器应用山体滑坡安全监测

振弦传感器信号转换器应用山体滑坡安全监测

振弦传感器信号转换器应用山体滑坡安全监测 随着人类文明的进步&#xff0c;自然灾害对人们的生活和财产安全造成的威胁也越来越大。山体滑坡作为自然灾害中的一种&#xff0c;给人们的生活和财产安全带来了极大的威胁。因此&#xff0c;进行山体滑坡的安全监测显得尤为重要。振…
阅读更多...
Chat模块封装

Chat模块封装

封装保存用户类 utils/chat.js class Chat{constructor(){// 当前登录的用户this._user null;// 会话数组 和多个人this._sessions []; //user message// 当前会话 &#xff08;和谁在聊天&#xff09;this._current_session null;}setUser(user){this._user user} }exp…
阅读更多...
C++中数据的输入输出介绍

C++中数据的输入输出介绍

C中数据的输入输出介绍 C中数据的输入输出涉及到的文件 <iostream>&#xff1a;这是C标准库中最常用的头文件之一&#xff0c;包含了进行标准输入输出操作的类和对象&#xff0c;如std::cin、std::cout、std::endl等。 <iomanip>&#xff1a;该头文件提供了一些用…
阅读更多...
免费商用 Meta 发布开源大语言模型 Llama 2

免费商用 Meta 发布开源大语言模型 Llama 2

Meta 和微软深度合作&#xff0c;正式推出下一代开源大语言模型 Llama 2&#xff0c;并宣布免费提供给研究和商业使用。 Llama 2 论文地址&#xff1a;Llama 2: Open Foundation and Fine-Tuned Chat Models 据介绍&#xff0c;相比于 Llama 1&#xff0c;Llama 2 的训练数据多…
阅读更多...
AD21 PCB设计的高级应用（九）3D PDF的输出

AD21 PCB设计的高级应用（九）3D PDF的输出

&#xff08;九&#xff09;3D PDF的输出 1.3D PDF的输出2.制作PCB 3D视频 1.3D PDF的输出 Altium Designer 19 带有 3D输出功能,能够直接将 PCB 的 3D效果输出到 PDF 中。 ’(1)打开带有 3D 模型的 PCB 文件,执行菜单栏中“文件”→“导出”→“PDF3D”命令&#xff0c;选择…
阅读更多...
计算机网络 day7 扫描IP脚本 - 路由器 - ping某网址的过程

计算机网络 day7 扫描IP脚本 - 路由器 - ping某网址的过程

目录 network 和 NetworkManager关系&#xff1a; 实验&#xff1a;编写一个扫描脚本&#xff0c;知道本局域网里哪些ip在使用&#xff0c;哪些没有使用&#xff1f; 使用的ip对应的mac地址都要显示出来 计算机程序执行的两种不同方式&#xff1a; shell语言编写扫描脚本 …
阅读更多...
【Linux】自动化构建工具-make/Makefile详解

【Linux】自动化构建工具-make/Makefile详解

前言 大家好吖&#xff0c;欢迎来到 YY 滴 Linux系列 &#xff0c;热烈欢迎&#xff01;本章主要内容面向接触过Linux的老铁&#xff0c;主要内容含 欢迎订阅 YY 滴Linux专栏&#xff01;更多干货持续更新&#xff01;以下是传送门&#xff01; 订阅专栏阅读&#xff1a;YY的《…
阅读更多...
OpenHarmony ArkUI 如何调用相机

OpenHarmony ArkUI 如何调用相机

​ ArkUI调用相机和调用相册其实是一个思路&#xff0c;只用修改一个地方。 我们继续来说相机调用&#xff0c;ArkUI没办法自己获取相机&#xff0c;所以得依靠一下ohos.multimedia.camera 相机开发指导 介绍 本指导主要展示了调用相机的调用过程&#xff0c;以及调用相机的…
阅读更多...
Unity Shader - if 和 keyword 的指令比较

Unity Shader - if 和 keyword 的指令比较

文章目录 环境TestingIf4Sampleunity shaderlab 中的 TestingIf4Sample.shadergraphics analyzer 中的 TestingIf4Sample.glsl TestingKW4Sampleunity shaderlab 中的 TestingKW4Sample.shadergraphics analyzer 中的 TestingKW4Sample.glsl 比较 环境 Unity : 2020.3.37f1 Pi…
阅读更多...
网络安全（零基础）自学

网络安全（零基础）自学

一、网络安全基础知识 1.计算机基础知识 了解了计算机的硬件、软件、操作系统和网络结构等基础知识&#xff0c;可以帮助您更好地理解网络安全的概念和技术。 2.网络基础知识 了解了网络的结构、协议、服务和安全问题&#xff0c;可以帮助您更好地解决网络安全的原理和技术…
阅读更多...
新的恶意软件 WikiLoader 针对意大利组织

新的恶意软件 WikiLoader 针对意大利组织

研究人员发现了一种新的恶意软件&#xff0c;名为 WikiLoader 恶意软件。之所以这样命名&#xff0c;是因为它向维基百科发出请求&#xff0c;希望得到内容中包含 "The Free "字符串的响应。 WikiLoader 恶意软件的主要目标是意大利企业及组织。 WikiLoader 是一种…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023