如何使用 Go语言操作亚马逊 S3 对象云存储

以下是使用 Go 语言操作亚马逊 S3 对象云存储的详细步骤和示例代码:

解决思路:

  1. 安装必要的 Go 语言包,这里我们将使用 aws-sdk-go 包来与 Amazon S3 进行交互。
  2. 配置 AWS 凭证,包括访问密钥和秘密访问密钥,以及 AWS 区域。
  3. 使用 aws-sdk-go 创建 S3 客户端。
  4. 通过 S3 客户端执行各种操作,如上传文件、下载文件、列出存储桶中的对象等。

示例代码:

package s3Uploaderimport ("bytes""errors""fmt""github.com/aws/aws-sdk-go/aws""github.com/aws/aws-sdk-go/aws/credentials""github.com/aws/aws-sdk-go/aws/session""github.com/aws/aws-sdk-go/service/s3/s3manager""github.com/chai2010/webp" // WebP 库"github.com/nfnt/resize""html""image""image/jpeg""image/png""net/http""os""strings""upos/src/config"
)type S3Uploader struct {Name        stringScale       config.ScaleCfg         config.Sharktechuploader    *s3manager.UploaderContentType string
}var (ErrorUnsupportedImageFormat = errors.New("不支持的图片格式")
)func NewS3Uploader(cfg config.Sharktech) (*S3Uploader, error) {sess, err := session.NewSession(&aws.Config{Region:   aws.String(cfg.S3.Region),Endpoint: aws.String(cfg.S3.Endpoint),/*Set this to `true` to force the request to use path-style addressing,i.e., `http://s3.amazonaws.com/BUCKET/KEY`. By default, the S3 clientwill use virtual hosted bucket addressing when possible(`http://BUCKET.s3.amazonaws.com/KEY`).*/S3ForcePathStyle: aws.Bool(true),Credentials:      credentials.NewStaticCredentials(cfg.S3.AccessId, cfg.S3.AccessKey, ""),})if err != nil {return nil, err}uploader := s3manager.NewUploader(sess)return &S3Uploader{Cfg:      cfg,Scale:    config.YC.Scale,uploader: uploader,}, nil
}func (u *S3Uploader) ConvertWebPToJPG(file *os.File) (image.Image, error) {// 解码 WebP 文件为 image.Imageimg, err := webp.Decode(file)if err != nil {return nil, fmt.Errorf("解码 WebP 文件失败: %w", err)}return img, nil
}func (u *S3Uploader) ScaleImage(img image.Image, maxWidth, maxHeight uint) image.Image {// 获取原始图片的宽度和高度originalWidth := img.Bounds().Dx()originalHeight := img.Bounds().Dy()// 计算缩放比例ratio := float64(originalWidth) / float64(originalHeight)var newWidth, newHeight uintif ratio > 1 { // 图片宽 > 高newWidth = maxWidthnewHeight = uint(float64(maxWidth) / ratio)} else { // 图片高 >= 宽newHeight = maxHeightnewWidth = uint(float64(maxHeight) * ratio)}return resize.Resize(newWidth, newHeight, img, resize.Lanczos3)
}// 根据图片格式生成 Content-Type
func (u *S3Uploader) getContentType(format string) string {switch strings.ToLower(format) {case ".jpg", ".jpeg":return "image/jpeg"case ".png":return "image/png"case ".webp":return "image/webp"default:return "application/octet-stream" // 默认值}
}// 根据文件扩展名选择编码格式
func (u *S3Uploader) encodeImage(buf *bytes.Buffer, img image.Image, format string) error {switch strings.ToLower(format) {case ".jpg", ".jpeg":return jpeg.Encode(buf, img, nil)case ".png":return png.Encode(buf, img)case ".webp":return webp.Encode(buf, img, &webp.Options{Lossless: true})default:return ErrorUnsupportedImageFormat}
}// DetectFormatAndDecode 根据文件头判断图片格式并解码
func (u *S3Uploader) DetectFormatAndDecode(filePath string) (image.Image, string, error) {// 打开文件file, err := os.Open(filePath)if err != nil {return nil, "", err}defer file.Close()// 读取文件头前 12 个字节header := make([]byte, 12)_, err = file.Read(header)if err != nil {return nil, "", err}// 重置文件读取位置_, err = file.Seek(0, 0)if err != nil {return nil, "", err}// 根据文件头判断格式var img image.Imagevar ext stringswitch {case bytes.HasPrefix(header, []byte("\xFF\xD8\xFF")):// JPEG 文件头img, err = jpeg.Decode(file)ext = ".jpg"case bytes.HasPrefix(header, []byte("\x89PNG\r\n\x1a\n")):// PNG 文件头img, err = png.Decode(file)ext = ".png"case bytes.HasPrefix(header, []byte("RIFF")) && bytes.Contains(header[8:], []byte("WEBP")):// WebP 文件头img, err = webp.Decode(file)ext = ".webp"default:err = errors.New("unsupported image format")}return img, ext, err
}func (u *S3Uploader) Resize(filePath string) (buf bytes.Buffer, err error) {newImg, ext, err := u.DetectFormatAndDecode(filePath)if err != nil {return bytes.Buffer{}, err}u.ContentType = u.getContentType(ext)// 将缩放后的图片编码为 JPEG 格式err = u.encodeImage(&buf, newImg, ext)if err != nil {return}return buf, nil
}func (u *S3Uploader) Upload(filePath string, key string) error {buf, err := u.Resize(filePath)if err != nil {return err}_, err = u.uploader.Upload(&s3manager.UploadInput{ACL:    aws.String("public-read"), // 设置为 public-readBucket: aws.String(u.Cfg.S3.Bucket),Key:    aws.String(key),// TODO:: 不传Content-Type的好处是WP站点不好外链// ContentType: aws.String(u.ContentType),Body: bytes.NewReader(buf.Bytes()),})if err != nil {return err}return nil
}func (u *S3Uploader) DownloadAndUpload(imageUrl string, key string) error {buf, err := u.DownloadAndResizeImage(imageUrl)if err != nil {return err}_, err = u.uploader.Upload(&s3manager.UploadInput{ACL:    aws.String("public-read"), // 设置为 public-readBucket: aws.String(u.Cfg.S3.Bucket),Key:    aws.String(key),// TODO:: 不传Content-Type的好处是WP站点不好外链// ContentType: aws.String(u.ContentType),Body: bytes.NewReader(buf.Bytes()),})if err != nil {return err}return nil
}func (u *S3Uploader) DownloadAndResizeImage(imgURL string) (buf bytes.Buffer, err error) {imgURL = html.UnescapeString(imgURL)// 创建请求req, err := http.NewRequest("GET", imgURL, nil)if err != nil {return}// 设置 Referer 或 User-Agent,模拟合法请求req.Header.Set("Referer", "https://www.google.com")req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36")// 发起请求client := &http.Client{}resp, err := client.Do(req)if err != nil {return}defer resp.Body.Close()// 检查响应的Content-TypecontentType := resp.Header.Get("Content-Type")// log.Println("Content-Type:", contentType)if !strings.HasPrefix(contentType, "image/") {err = fmt.Errorf("invalid content type: %s", contentType)return}// 读取图片img, _, err := image.Decode(resp.Body)if err != nil {return}newImg := u.ScaleImage(img, u.Scale.Width, u.Scale.Height)// 将缩放后的图片编码为 JPG 格式err = u.encodeImage(&buf, newImg, ".jpg")if err != nil {return}return buf, nil
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/4338.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

图像去雾数据集的下载和预处理操作

前言 目前,因为要做对比实验,收集了一下去雾数据集,并且建立了一个数据集的预处理工程。 这是以前我写的一个小仓库,我决定还是把它用起来,下面将展示下载的路径和数据处理的方法。 下面的代码均可以在此找到。Auo…

React的应用级框架推荐——Next、Modern、Blitz等,快速搭建React项目

在 React 企业级应用开发中,Next.js、Modern.js 和 Blitz 是三个常见的框架,它们提供了不同的特性和功能,旨在简化开发流程并提高应用的性能和扩展性。以下是它们的详解与比较: Next、Modern、Blitz 1. Next.js Next.js 是由 Ve…

内网渗透测试工具及渗透测试安全审计方法总结

1. 内网安全检查/渗透介绍 1.1 攻击思路 有2种思路: 攻击外网服务器,获取外网服务器的权限,接着利用入侵成功的外网服务器作为跳板,攻击内网其他服务器,最后获得敏感数据,并将数据传递到攻击者&#xff0…

Weblogic - General - 弱口令 任意文件读取漏洞

0x01:漏洞简介 首先需要说明,本文并不是介绍了 Weblogic 某一 CVE 漏洞,而是提供了一种通用的测试思路。 0x0101:弱口令漏洞 弱口令漏洞主要是由于用户安全意识淡薄,为了便于记忆,设置了强度过低的密码&…

重温STM32之环境安装

缩写 CMSIS:common microcontroller software interface standard 1,keil mdk安装 链接 Keil Product Downloads 安装好后,开始安装平台软件支持包(keil 5后不在默认支持所有的平台软件开发包,需要自行下载&#…

Ceph与RAID在存储中的协同工作过程

本文将结合架构图,详细讲解Ceph与RAID如何在存储环境中相互配合,共同提供高效且可靠的存储服务。 架构概述 从上图中可以看到,Ceph的架构主要分为四个层次: 客户端和服务接口层:这一层包括客户端访问存储应用的接口…

蓝桥杯训练—矩形面积交

文章目录 一、题目二、示例三、解析四、代码 一、题目 平面上有两个矩形,它们的边平行于直角坐标系的X轴或Y轴,对于每个矩形,我们给出它的一对相对顶点的坐标,请你编程写出两个矩形的交的面积 输入格式: 输入包含两行…

GraphRAG: Auto Prompt Tuning 实践

GraphRAG 的 Auto Prompt Tuning 功能是一个强大的工具,用于优化知识图谱的生成过程。以下是对该功能的详细介绍和分析: 自动提示调优(Auto Prompt Tuning) 1. 概念 GraphRAG 的自动提示调优功能旨在为特定领域的知识图谱生成创…

【设计模式】 单例模式(单例模式哪几种实现,如何保证线程安全,反射破坏单例模式)

单例模式 作用:单例模式的核心是保证一个类只有一个实例,并且提供一个访问实例的全局访问点。 实现方式优缺点饿汉式线程安全,调用效率高 ,但是不能延迟加载懒汉式线程安全,调用效率不高,能延迟加载双重检…

IJCAI-2024 | 具身导航的花样Prompts!VLN-MP:利用多模态Prompts增强视觉语言导航能力

作者: Haodong Hong1,2 , Sen Wang1∗ , Zi Huang1 , Qi Wu3 and Jiajun Liu2,1 单位:昆士兰大学,澳大利亚科学与工业研究组织,阿德莱德大学 论文标题:Why Only Text: Empowering Vision-and-Language Navigation wi…

【蓝桥杯选拔赛真题62】C++求和 第十四届蓝桥杯青少年创意编程大赛 算法思维 C++编程选拔赛真题解

目录 C++求和 一、题目要求 1、编程实现 2、输入输出 二、算法分析 三、程序编写 四、运行结果 五、考点分析 七、推荐资料 C++求和 第十四届蓝桥杯青少年创意编程大赛C++选拔赛真题 一、题目要求 1、编程实现 给定一个正整数N(1<N<10^6),求出N左右相邻两个…

智能创造的幕后推手:AIGC浪潮下看AI训练师如何塑造智能未来

文章目录 一、AIGC时代的算法与模型训练概览二、算法与模型训练的关键环节三、AI训练师的角色与职责四、AI训练师的专业技能与素养五、AIGC算法与模型训练的未来展望《AI训练师手册&#xff1a;算法与模型训练从入门到精通》亮点内容简介作者简介谷建阳 目录 《AI智能化办公&am…

Cloud Foundry,K8S,Mesos Marathon弹性扩缩容特性对比

一、Cloud Foundry 使用Scaling an Application Using App Autoscaler插件&#xff0c;基于资源使用情况触发简单扩缩容 CPU、内存、Http带宽、延时等 监控这些资源的使用情况决定扩缩容策略&#xff1a;实例是增加还是减少 Instance Limits 限制实例数量范围&#xff0c;定义…

ComfyUI 矩阵测试指南:用三种方法,速优项目效果

在ComfyUI中&#xff0c;矩阵测试也叫xyz图表测试&#xff0c;作用是通过控制变量的方式来对Lora模型以及各种参数开展测试&#xff0c;并进行有效区分。其中测试方法有很多种&#xff0c;可以通过借助插件也可以自行搭建工作流实现&#xff0c;下面介绍3种方式&#xff1a; 1…

什么宠物最好养?

在忙碌的生活中&#xff0c;想要拥有一份陪伴&#xff0c;却又担心没时间打理&#xff1f;别怕&#xff0c;今天就来给大家揭秘&#xff0c;什么宠物最好养&#xff0c;让你轻松开启养宠生活&#xff0c;即使再忙也能享受毛孩子带来的快乐&#xff01; 一、仓鼠&#xff1a;萌…

mfc操作json示例

首先下载cJSON,加入项目; 构建工程,如果出现, fatal error C1010: unexpected end of file while looking for precompiled head 在cJSON.c文件的头部加入#include "stdafx.h"; 看情况,可能是加到.h或者是.cpp文件的头部,它如果有包含头文件, #include &…

将IDLE里面python环境pyqt5配置的vscode

首先安装pyqt5全套&#xff1a;pip install pyqt5-tools 打开Vscode&#xff1a; 安装第三方扩展&#xff1a;PYQT Integration 成功配置designer.exe的路径【个人安装pyqt5的执行路径】&#xff0c;便可直接打开UI文件&#xff0c;进行编辑。 配置pyuic,如果下图填写方法使用…

郑州大学2022级大三期末复习总结(数据库,传感器,嵌入式,人工智能,移动终端开发,计算机英语)

本人是郑州大学2022级的一名大三学生&#xff0c;上学期期末苦于没有复习资料硬学了三周&#xff0c;所以想着将脑海里还残留着的各个课程的知识点&#xff0c;考点记录下来。这些资料不能保证你考高分&#xff0c;只能给你提供一些复习的方向和可能高频的知识点。 有些地方的…

基于ESP32+VUE+JAVA+Ngnix的一个小型固件编译系统

一、前提 开发ESP32固件时&#xff0c;使用本地环境输出固件时&#xff0c;存在多个开发多种开发平台的问题。会导致最终输出的固件不统一。更可能因为本地的开发环境差异导致固件无法追溯。 基于上述原因&#xff0c;开发了一个小型的固件编译系统。将该系统部署在一台ubutn…

Spring自定义BeanPostProcessor实现bean的代理Java动态代理知识

上文&#xff1a;https://blog.csdn.net/qq_26437925/article/details/145241149 中大致了解了spring aop的代理的实现&#xff0c;其实就是有个BeanPostProcessor代理了bean对象。顺便复习下java代理相关知识 目录 自定义BeanPostProcessor实现aopJava动态代理知识动态代理的几…