背景:接手的项目是golang开发的(本人初次接触golang)经常出现oom。这个程序是计算和io密集型,调用流量属于明显有波峰波谷,但是因为各种原因,当前无法快速通过serverless或者动态在高峰时段调整资源,低峰释放资源的方式进行解决,因此只能通过分析内存和cpu消耗热点,然后改动代码,进而解决服务的稳定性和性能问题。
思路:
通过搜索了解golang程序如何进行性能分析,当时就是使用pprof了,通过分析发现了程序有一些使用内存较多的地方,例如我们读取大量文件,通过分析发现io.ioutil.ReadAll消耗内存较多,通过查询发现io.copy可以减少一些内存消耗。
同时也在网上发现其他开源项目与我们遇到的情况类似。 https://github.com/elastic/beats/issues/36151是某个开源软件中将ioutil.ReadAll 更新为io.Copy的讨论,里面也有他们的对比测试 。
性能对比测试:
在本机上写了一段代码,ioutil.ReadAll和io.Copy的go benchmarktest结果如下
代码比较简单 main.go
package mainimport ("bytes""fmt""io""io/ioutil""net/http""time"
)func fetchWithReadAll(url string) ([]byte, time.Duration, error) {// 发起HTTP GET请求resp, err := http.Get(url)if err != nil {return nil, 0, err}defer resp.Body.Close()// 使用 io.ReadAll 读取响应内容start := time.Now()data, err := ioutil.ReadAll(resp.Body)if err != nil {return nil, 0, err}duration := time.Since(start)return data, duration, nil
}func fetchWithCopy(url string) ([]byte, time.Duration, error) {// 发起HTTP GET请求resp, err := http.Get(url)if err != nil {return nil, 0, err}defer resp.Body.Close()// 使用 io.Copy 读取响应内容start := time.Now()var buffer bytes.Buffer_, err = io.Copy(&buffer, resp.Body)if err != nil {return nil, 0, err}duration := time.Since(start)return buffer.Bytes(), duration, nil
}func main() {// 此url能下载一个大约1-2mb的文本文件url := "http://x.y.z/abc.txt"// 测试 ioutil.ReadAlldataReadAll, durationReadAll, err := fetchWithReadAll(url)if err != nil {fmt.Printf("Error fetching with ReadAll: %v\n", err)return}fmt.Printf("ReadAll took %v for %d bytes\n", durationReadAll, len(dataReadAll))// 测试 io.CopydataCopy, durationCopy, err := fetchWithCopy(url)if err != nil {fmt.Printf("Error fetching with Copy: %v\n", err)return}fmt.Printf("Copy took %v for %d bytes\n", durationCopy, len(dataCopy))
}
main_test.go
package mainimport ("testing"
)// 假设我们已有 fetchWithReadAll 和 fetchWithCopy 函数定义// BenchmarkFetchWithReadAll 为 fetchWithReadAll 函数编写基准测试。
func BenchmarkFetchWithReadAll(b *testing.B) {// 此url能下载一个大约1-2mb的文本文件url := "http://x.y.z/abc.txtb.ReportAllocs()for i := 0; i < b.N; i++ {_, _, err := fetchWithReadAll(url)if err != nil {b.Error(err)}}
}// BenchmarkFetchWithCopy 为 fetchWithCopy 函数编写基准测试。
func BenchmarkFetchWithCopy(b *testing.B) {// 此url能下载一个大约1-2mb的文本文件url := "http://x.y.z/abc.txt"b.ReportAllocs()for i := 0; i < b.N; i++ {_, _, err := fetchWithCopy(url)if err != nil {b.Error(err)}}
}
最后执行
···
go test -bench=.
···