Golang使用PGO优化程序性能


文章目录

    • 参考文章
    • PGO是什么
    • 使用PGO的好处
    • PGO做了什么
      • 热函数内联
        • 什么是内联
        • 内联的好处
        • Go默认的内联策略
        • 查看内联预算
        • PGO的热函数内联
      • 去虚拟化调用
      • 指令高速缓存
    • PGO有什么缺点
      • 可执行程序变大
      • 构建时间变长
    • PGO怎么使用
      • 典型的工作流程
      • 收集CPU配置文件
      • 生产环境启动PGO
      • 代码改动重新生成CPU配置文件
    • PGO的未来
    • 个人看法
    • QA
      • Q1 PGO是否可以优化标准包和依赖的包
      • Q2 CPU配置文件不当是否会使我的程序比没有 PGO 的速度慢?
      • Q3 怎么保证收集到公正的CPU配置文件
      • Q4 不同运行环境下如何使用PGO

参考文章

PGO介绍:
https://andrewwphillips.github.io/blog/pgo.html
生成profile配置文件:
https://andrewwphillips.github.io/blog/flame-graphs.html#generating-cpu-profiles

提案:Go 的配置文件引导优化(PGO)的设计和实现:
https://go.googlesource.com/proposal/+/master/design/55022-pgo-implementation.md

go官方文档使用PGO:
https://go.dev/doc/pgo#:~:text=Collecting%20representative%20profiles%20from%20production

PGO:为你的go程序提效5%:
https://colobu.com/2023/09/13/pgo/

PGO是什么

引入官方的说法:https://go.dev/doc/pgo#merging-profiles
从 Go 1.20 开始,Go 编译器支持配置文件引导优化 (PGO) 以进一步优化构建。
Profile-guided optimization (PGO)。配置文件引导优化 (PGO),也称为反馈导向优化 (FDO),是一种编译器优化技术,它将应用程序的代表性运行中的信息(配置文件)反馈回编译器,以供下一次构建应用程序使用。它使用该信息做出更明智的优化决策。例如,编译器可能决定更积极地内联配置文件指示频繁调用的函数。
在Go中,编译器使用CPU pprof配置文件作为输入配置文件,例如来自runtime/pprof或net/http/pprof。
从 Go 1.22 开始,一组代表性 Go 程序的基准测试表明,使用 PGO 进行构建可将性能提高约 2-14%。

自Go 1.20版本引入PGO(profile-guided optimization)后,PGO这种优化技术带来的优化效果就得到了持续的提升:Go 1.20实测性能提升仅为1.05%;Go 1.21版本发布时,官方的数据是2%~7%,而Go 1.21编译器自身在PGO优化过后编译速度提升约6%。
在Go 1.22中,官方给出的数字则是2%~14%,这14%的提升想必是来自Google内部的某个实际案例。

使用PGO的好处

提升性能,降低成本。
在 Google 服务器上运行的大部分代码都是使用 PGO 构建的。当你考虑到(我的估计)所有这些服务器的电费每年必须接近(如果不超过)10 亿美元时,PGO 每年可能至少为 Google 节省数千万美元。所以从经济上来说这是有道理的。

PGO做了什么

热函数内联

什么是内联

所谓内联,指的是编译期间,直接将调用函数的地方替换为函数的实现,它可以减少函数调用的开销以提高程序的性能。

内联的好处
  1. 解除函数调用的开销,以空间换时间;
  2. 支持编译器更有效地应用其他优化策略。

Go默认的内联策略
  1. 函数足够简单,当解析AST时,Go申请了80个节点作为内联的预算。每个节点都会消耗一个预算。函数的开销不能超过这个预算;
  2. 不能包含闭包,defer,recover,select;
  3. 不能以 go:noinline 或 go:unitptrescapes 开头;
  4. 必须有函数体;
  5. 其他等复杂要求,详细可见src/cmd/compile/internal/gc/inl.go相关内容。我们可以使用 gcflags 参数来判断能不能内联。

查看内联预算

关于内联的预算,可以使用编译命令-gcflags=-m=2查看详细的优化决策,例如:
可以看到哪个函数内联了,哪个没有内联,以及内联的成本。

go build -gcflags=-m=2 inl.go 
#/inl.go:3:6: can inline small with cost 7 as: func() string { s := "hello, world!"; return s }
./inl.go:8:6: cannot inline large: function too complex: cost 82 exceeds budget 80
./inl.go:38:6: can inline main with cost 68 as: func() { small(); large() }
./inl.go:39:7: inlining call to small func() string { s := "hello, world!"; return s }

当使用-gcflags=-m=2这个命令时,会指示Go编译器输出更详尽的优化决策信息。这个-m标志被用来控制编译器的内联和逃逸分析信息的输出。在这个上下文中,-m后跟等号和一个数字表示详细级别。
● -m:显示出哪些函数被内联。
● -m=2或者更高的数字,如-m=3,会显示更多的信息,包括为什么某些函数没有被内联(比如说,函数过于复杂)以及变量逃逸分析的结果(比如说,哪些变量被移动到了堆上)。

PGO的热函数内联

如果调用次数较多的函数(所谓的函数)稍微超出内联预算,则可能不会内联它们。
PGO 做了几件事来使内联更加有效。首先,它增加了热点函数的内联预算
PGO 避免内联 CPU 配置文件显示为冷函数的函数。同样,这减少了不必要的代码膨胀。

去虚拟化调用

通过接口调用方法比直接方法/函数调用慢。CPU配置文件可以显示调用的具体类型是什么,从而在编译的时候,直接优化为具体类型的调用:

type I interface { f() }
...var i I...i.f()# PGO优化# 热路径if a, ok := i.(A); ok {a.f() // direct call} else {i.f()}

指令高速缓存

CPU 配置文件允许编译器通过代码查找常用执行路径或路径。编译器将对函数内的代码块重新排序,并且(稍后在构建过程中)链接器将调整函数的位置,从而确定将它们加载到指令内存中的位置。
image.png

PGO有什么缺点

可执行程序变大

由于额外的函数内联,PGO 可能会产生稍大的二进制文件。

构建时间变长

启用 PGO 构建可能会导致包构建时间显着增加。其中最值得注意的部分是 PGO 配置文件适用于二进制文件中的所有包,这意味着首次使用配置文件需要重建依赖关系图中的每个包。这些构建像其他构建一样被缓存,因此使用相同配置文件的后续增量构建不需要完全重建。
例如:https://github.com/golang/go/issues/58102 构建时间可能会增加好几倍,当然go官方团队也在致力于解决这个问题。

PGO怎么使用

典型的工作流程

  1. 构建并发布初始二进制文件(不含 PGO)。
  2. 从生产中收集配置文件。
  3. 当需要发布更新的二进制文件时,从最新源构建并提供生产配置文件。
  4. 转到2

收集CPU配置文件

明确不开启PGO的情况下,例如go build -pgo=off,使用pprof进行CPU配置收集,收集结果为default.pgo。建议是收集生产环境的CPU配置文件更为精准,当然如果可以保证测试/仿真环境和生产环境一致的话,在测试/仿真环境收集也是OK的。

生产环境启动PGO

go1.21之后默认开启了PGO,也可以在编译的时候手动设置。
例如:

  1. 开启PGO: go build -pgo=auto
  2. 设置PGO配置文件路径: go build -pgo=/tmp/foo.pprof

代码改动重新生成CPU配置文件

如果无法评估迭代对于CPU配置文件的影响,建议是发布的时候重新收集CPU配置,参考上面的流程。 go官方建议PGO文件可以提交到版本库里面,方便对比和管理。

PGO的未来

有很多“微观”优化的机会。例如,如果在堆上分配的变量不需要在热路径中转义,则该变量可以在堆栈上分配,并且仅在采用冷路径时才移动到堆。
一件重要的事情(随着泛型的使用越来越多)是称为模板的功能。当在热路径中调用泛型函数时,PGO 可以确定类型参数,并专门为该类型生成代码(甚至可能在热调用站点内联它!)
未来要迭代的方向:https://github.com/golang/go/issues/62463

个人看法

对于GO程序来说,大家认为整体还是比较高效的,只是相对于c和rust来说性能确实有差距,可能达到25%的性能差距,但是GO的易用性和生态弥补了这一缺陷。只是谁又不想让自己的程序快一点,占用资源少一点呢?

对小型项目来说,关注新技术即可,没必要强行上PGO。毕竟有一定的构建成本,且小型项目对性能和成本不敏感。而对于大型项目或者大型互联网公司来说,例如字节,B站这些,别说14%的优化了,2%的优化都值得正确,可能带来的是千万级的成本节省。

QA

Q1 PGO是否可以优化标准包和依赖的包

是的。 Go中的PGO适用于整个程序。所有包都会重新构建,以考虑潜在的配置文件引导优化,包括依赖项中的包。这意味着应用程序使用依赖项的独特方式会影响应用于该依赖项的优化。

Q2 CPU配置文件不当是否会使我的程序比没有 PGO 的速度慢?

不应该。虽然不代表生产行为的配置文件将导致应用程序冷部分的优化,但它不应该使应用程序热部分变慢。如果您遇到 PGO 导致性能比禁用 PGO 更差的程序,请在go.dev/issue/new提交问题。

Q3 怎么保证收集到公正的CPU配置文件

  1. 在高峰期,平稳期或者任何时间,都可以收集CPU配置文件
  2. 合并收集到的多个配置文件:
$ go tool pprof -proto a.pprof b.pprof > merged.pprof

这种合并实际上是输入中样本的简单求和,无论配置文件的墙持续时间如何。因此,当分析应用程序的小时间片(例如,无限期运行的服务器)时,您可能希望确保所有配置文件具有相同的墙持续时间(即,收集所有配置文件 30 秒)。否则,具有较长墙持续时间的配置文件将在合并的配置文件中过多表示。

Q4 不同运行环境下如何使用PGO

  1. 相同的CPU配置文件,可以在linux和windows上的应用程序使用。对于大多数应用程序来说,绝大多数代码是平台无关的,因此这种形式的退化是有限的。
  2. 为不同运行环境生成独有的CPU配置。代价就是增加管理负担。

end

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/312608.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Go 自定义14位时间类型 yyyyMMddHHmmss

目录 功能 代码 功能 数据库或者接口时间类型,经常会使用14位的时间格式。每次都转换有点麻烦。可以自定义一个时间类型。 自定义类型需要实现json接口中的MarshalJSON与UnmarshalJSON两个函数,这样在做json编码解码时就会自动转为14位的时间格式了。…

Vue项目学习(一)-SQL闯关

Hello , 我是小恒不会java。今天来阅读一个Vue纯前端项目--SQL在线闯关 进步的方法除了文档书籍视频,学会阅读源代码,从代码中学会解决需求的方法也是必要的 已部署完成,在线体验:http://sql.yunduanjianzhan.cn 背景 简介 闯…

如何提升亚马逊店铺质量?住宅IP代理有何用处?

亚马逊作为全球最大的电子商务平台之一,吸引了无数卖家和买家参与其中。在这个竞争激烈的环境中,要想提升亚马逊店铺的质量和业绩,需要采取一系列有效的策略和工具。而住宅IP代理作为一个强大的网络工具,也在其中发挥着重要的作用…

最新的网易星球GEC挖矿系统修复版 章鱼星球挖矿系统源码 区块链虚拟币交易源码 基于ThinkPHP5开发

区块链系统介绍 2018.12.10更新增加聚合数据短信接口 2018.11.19更新增加短信宝接口 2018.08.17修复Linux系统搭建验证码不显示问题 2018.08.09修复后台某处溢出数据库账号密码BUG 2018.08.06修复票卷BUG 源码介绍: 区块链系统中用户共九个等级,依…

苹果系统如何使用CorelDRAW?coreldraw苹果版使用指南

有不少粉丝使用的是苹果的电脑或者笔记本,想要利用最新的M系列芯片带来的长续航便利,实现外出时进行创意设计的工作。 那如何才能在苹果系统使用CorelDRAW?2个方法分享给大家: 一、购买Mac版CorelDRAW 从2020版开始&#xff0c…

【热门话题】常见分类算法解析

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈| 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要,勿增实体" 文章目录 常见分类算法解析1. 逻辑回归(Logistic Regression)2. 朴…

CSS文本属性与字体属性

目录 文本属性 文本颜色 文本对齐 修饰文本 文本缩进 行高 字体属性 字体系列 字体大小 字体粗细 字体样式 字体/文本综合属性写法 Chrome调试工具的使用 文本属性 文本颜色 在CSS中使用color 属性用于定义文本的颜色,使用background-color设置一个盒…

【教学类-50-06】20240410“数一数”4类星号图片制作PDF学具

作品展示: 背景需求: 前文遍历四个文件夹,分别将每个文件夹内的10个图片的左上角加入星号,显示难度系数 【教学类-50-05】20240410“数一数”4类图片添加“难度星号”-CSDN博客文章浏览阅读55次,点赞2次,…

ESXi 无法启动NTP守护进程

在VMware ESXi环境中如果遇到无法启动NTP(Network Time Protocol)守护进程的问题,可以通过以下步骤进行排查和解决: 步骤1:检查与修复配置文件 登录到ESXi Shell(SSH)。编辑 /etc/ntp.conf 配…

MAC: 自己制作https的ssl证书(自己签发免费ssl证书)(OPENSSL生成SSL自签证书)

MAC: 自己制作https的ssl证书(自己签发免费ssl证书)(OPENSSL生成SSL自签证书) 前言 现在https大行其道, ssl又是必不可少的环节. 今天就教大家用开源工具openssl自己生成ssl证书的文件和私钥 环境 MAC电脑 openssl工具自行搜索安装 正文 1、终端执行命令 //生成rsa私钥&…

【保姆级】2024年OnlyFans订阅指南

OnlyFans是一个独特的社交媒体平台,它为创作者和粉丝提供了一个互动交流的空间。通过这个平台,创作者可以分享他们的独家内容,而粉丝则可以通过订阅来支持和享受这些内容。如果你对OnlyFans感兴趣,并希望成为其中的一员&#xff0…

嵌入式工程师如何摸鱼?

有老铁问我,做嵌入式开发要加班吗? 也不知道搞什么鬼,现在的年轻人对加班这么抵触。 我刚做开发那会,啥也不懂,每天基本都要加班到晚上7-9点不等,我并不抵触加班,因为早早回家,也没什…

Latex学习(从入门到入土)2

第一章 :插图 在LaTeX中插入插图可以通过graphicx宏包来实现,这个宏包提供了强大的图像处理功能。以下是如何使用graphicx宏包插入图像的基本步骤: ### 1. 加载宏包 在文档的序言部分(\begin{document}之前)&#x…

POST 为什么会发送两次请求?

本文目录 同源策略 什么是同源策略 CORS 简单请求 预检请求 附带身份凭证的请求与通配符 完整的请求流程图 总结 前言 最近博主在字节面试中遇到这样一个面试题,这个问题也是前端面试的高频问题,因为在前端开发的日常开发中我们总是会与post请求…

引导和服务(2)

服务 1.systemd服务的简要介绍 (1)对比5 6 可以解决依赖关系并行启动 (2)按需启动 (3)自动解决依赖关系 负责在系统启动或运行时,激活系统资源,服务器进程和其它进程 2.System…

03-JAVA设计模式-迭代器模式

迭代器模式 什么是迭代器模式 迭代器模式(demo1.Iterator Pattern)是Java中一种常用的设计模式,它提供了一种顺序访问一个聚合对象中各个元素,而又不需要暴露该对象的内部表示的方法。迭代器模式将遍历逻辑从聚合对象中分离出来…

Delphi Xe 10.3 钉钉SDK开发——审批流接口(获取表单ProcessCode)

开发钉钉审批流时,需要用到钉钉表单的Processcode,有两种方法 : 一、手动获取: 管理员后台——审批——找到对应的表单:如图: ProcessCode后面就是了! 二、接口获取:今天的重点&a…

funasr 麦克风实时流语音识别;模拟vad检测单独输出完整每句话

参考: https://github.com/alibaba-damo-academy/FunASR chunk_size 是用于流式传输延迟的配置。[0,10,5] 表示实时显示的粒度为 1060=600 毫秒,并且预测的向前信息为 560=300 毫秒。每个推理输入为 600 毫秒(采样点为 16000*0.6=960),输出为相应的文本。对于最后一个语音…

逻辑回归模型-逻辑回归算法原理-逻辑回归代码与实现-笔记整合

通过一段时间的学习,总算把逻辑回归模型弄清楚了 《老饼讲解-机器学习》www.bbbdata.com中是讲得最清晰的,结合其它资料,整理一个完整的笔记如下,希望能帮助像我这样入门的新人,快速理解逻辑回归算法原理和逻辑回归实…

第20天:信息打点-红蓝队自动化项目资产侦察企查产权武器库部署网络空间

第二十天 一、工具项目-红蓝队&自动化部署 自动化-武器库部署-F8x 项目地址:https://github.com/ffffffff0x/f8x 介绍:一款红/蓝队环境自动化部署工具,支持多种场景,渗透,开发,代理环境,服务可选项等.下载:wget -O f8x https://f8x.io…