yolov8 模型部署--TensorRT部署-c++服务化部署

写目录

  • yolov8 模型部署--TensorRT部署
    • 1、模型导出为onnx格式
    • 2、模型onnx格式转engine 部署

yolov8 模型部署–TensorRT部署

1、模型导出为onnx格式

  • 如果要用TensorRT部署YOLOv8，需要先使用下面的命令将模型导出为onnx格式：

    yolo export model=yolov8n.pt format=onnx

  • YOLOv8的3个检测头一共有80x80+40x40+20x20=8400个输出单元格，每个单元格包含x,y,w,h这4项再加80个类别的置信度总共84项内容，所以通过上面命令导出的onnx模型的输出维度为1x84x8400。

  • 模型输出维度
    在这里插入图片描述

  • 这样的通道排列顺序有个问题，那就是后处理的时候会造成内存访问不连续。

  • 为了解决这个问题，我们可以修改一下代码，具体做法是把ultralytics/nn/modules.py文件中的代码做如下修改，交换一下张量y的通道顺序：

    def forward(self, x):shape = x[0].shape  # BCHWfor i in range(self.nl):x[i] = torch.cat((self.cv2[i](x[i]), self.cv3[i](x[i])), 1)if self.training:return xelif self.dynamic or self.shape != shape:self.anchors, self.strides = (x.transpose(0, 1) for x in make_anchors(x, self.stride, 0.5))self.shape = shapex_cat = torch.cat([xi.view(shape[0], self.no, -1) for xi in x], 2)if self.export and self.format in ('saved_model', 'pb', 'tflite', 'edgetpu', 'tfjs'):  # avoid TF FlexSplitV opsbox = x_cat[:, :self.reg_max * 4]cls = x_cat[:, self.reg_max * 4:]else:box, cls = x_cat.split((self.reg_max * 4, self.nc), 1)dbox = dist2bbox(self.dfl(box), self.anchors.unsqueeze(0), xywh=True, dim=1) * self.stridesy = torch.cat((dbox, cls.sigmoid()), 1)# 修改模型输出维度y=y.permute(0,2,1)return y if self.export else (y, x)

在这里插入图片描述

  • 这样修改后再执行上面的模型导出命令，模型的输出维度变为1x8400x84
    在这里插入图片描述

2、模型onnx格式转engine 部署

  • 配置好TensorRT和NVIDIA环境
  • 使用trtexec 转换格式
    trtexec --onnx=coco/best.onnx --saveEngine=coco/best.onnx.engine --workspace=32
  • 模型部署部分代码-c++
    #ifndef MyController_hpp
#define MyController_hpp#include <ctime>
#include <chrono>
#include <sstream>
#include <iomanip>#include <iostream>
#include <numeric>
#include <vector>#include "oatpp/web/server/api/ApiController.hpp"
#include "oatpp/core/macro/codegen.hpp"
#include "oatpp/core/macro/component.hpp"#include "opencv2/opencv.hpp"
#include "../dto/DTOs.hpp" // 定义数据格式，用于在不同组件之间传输数据#include "../yoloApp/simple_yolo.hpp"
#include "../byteTrackApp/logging.h"
#include "../byteTrackApp/BYTETracker.h"// high performance
#include "../yoloHighPer/cpm.hpp"
#include "../yoloHighPer/infer.hpp"
#include "../yoloHighPer/yolo.hpp"#	include <dirent.h>
#	include <sys/types.h>
#	include <sys/stat.h>
#	include <unistd.h>
# include <stdarg.h>using namespace std;
using namespace cv;#include OATPP_CODEGEN_BEGIN(ApiController) //<-- Begin Codegenstatic bool exists(const string& path){#ifdef _WIN32return ::PathFileExistsA(path.c_str());
#elsereturn access(path.c_str(), R_OK) == 0;
#endif
}static std::vector<std::string> cocolabels = {"car", "excavator", "loader", "dumpTruck", "person"
};class InferInstance{
public:InferInstance(std::string onnx_model_path, std::string trt_model_path){onnx_model = onnx_model_path;trt_model = trt_model_path;startup();}bool startup(){// if(!exists(trt_model)){// 	SimpleYolo::compile(// 		SimpleYolo::Mode::FP32,                 // FP32、FP16、INT8// 		SimpleYolo::Type::V8, // 		1,            // max batch size// 		onnx_model,                  // source // 		trt_model,                   // save to// 		1 << 30,// 		"inference"// 	);// }infer_ = yolo::load(trt_model, yolo::Type::V8);return infer_ != nullptr;}int inference(const Mat& image_input, yolo::BoxArray& boxarray){if(infer_ == nullptr){// INFOE("Not Initialize.");return 1;}if(image_input.empty()){// INFOE("Image is empty.");return 1;}boxarray = infer_->forward(cvimg(image_input));return 0;}private:yolo::Image cvimg(const cv::Mat &image) { return yolo::Image(image.data, image.cols, image.rows);}private:std::string onnx_model = "best.onnx";std::string trt_model = "best.onnx.engine";shared_ptr<yolo::Infer> infer_;
};///
std::string onnx_model = "coco/best.onnx";
std::string engine_label = "coco/best.onnx.engine";
std::unique_ptr<InferInstance> infer_instance1(new InferInstance(onnx_model, engine_label));int frame_rate = 10;
int track_buffer = 30;
std::unique_ptr<BYTETracker> tracker_instance1(new BYTETracker(frame_rate, track_buffer));////*** 建议使用 Api 控制器，而不是使用裸 HttpRequestHandler 为每个新端点创建新的请求处理程序。* API 控制器通过为您生成样板代码，使添加新端点的过程变得更加容易。 它还有助于组织您的端点，* 将它们分组到不同的 API 控制器中。*//*** Sample Api Controller.*/
class MyController : public oatpp::web::server::api::ApiController {
protected:/*** Constructor with object mapper.* @param objectMapper - default object mapper used to serialize/deserialize DTOs.*/MyController(const std::shared_ptr<ObjectMapper>& objectMapper): oatpp::web::server::api::ApiController(objectMapper){}public:  static std::shared_ptr<MyController> createShared(OATPP_COMPONENT(std::shared_ptr<ObjectMapper>, objectMapper)){return std::shared_ptr<MyController>(new MyController(objectMapper));}// TODO Insert Your endpoints here !!!/--data--// 多目标追踪ENDPOINT_ASYNC("POST", "/car1", tracker1){ENDPOINT_ASYNC_INIT(tracker1)Action act() override {return request->readBodyToStringAsync().callbackTo(&tracker1::returnResponse);}Action returnResponse(const oatpp::String& body_){auto response = tracker_inference(*infer_instance1, *tracker_instance1, body_, controller);return _return(response);}};//public:// 多目标追踪static std::shared_ptr<OutgoingResponse> tracker_inference(InferInstance& infer_, BYTETracker& track_infer, std::string body_, auto* controller){auto base64Image = base64_decode(body_);if(base64Image.empty()){return controller->createResponse(Status::CODE_400, "The image is empty!");}std::vector<char> base64_img(base64Image.begin(), base64Image.end());cv::Mat image = cv::imdecode(base64_img, 1);// 获取程序开始时间点auto start_time = std::chrono::high_resolution_clock::now();// 推理yolo::BoxArray boxarray;CV_Assert(0 == infer_.inference(image, boxarray));// 获取程序结束时间点auto end_time = std::chrono::high_resolution_clock::now();// 计算运行时间auto duration = std::chrono::duration_cast<std::chrono::milliseconds>(end_time - start_time);// 打印运行时间（以微秒为单位）// std::cout << "程序运行时间: " << duration.count() << " 毫秒" << std::endl;// 结果处理vector<Objects> objects;objects.resize(boxarray.size());int index = 0;for(auto& box : boxarray) {objects[index].rect.x = box.left;;objects[index].rect.y = box.top;objects[index].rect.width = box.right - box.left;objects[index].rect.height = box.bottom - box.top;objects[index].prob = box.confidence;objects[index].label = box.class_label;index++;std::cout << "left: " << box.left << ", top: " << box.top<< ", right: " << box.right << ", bottom: " << box.bottom<< ", confidence: " << box.confidence << ", class_label: " << box.class_label << std::endl;}auto yoloDto = TrackYoloDto::createShared();auto boxList = TrackBoxList::createShared();std::vector<STrack> output_stracks = track_infer.update(objects);for (int i = 0; i < output_stracks.size(); i++){auto trackBoxDto = TrackerBboxes::createShared();vector<float> tlwh = output_stracks[i].tlwh; // 方框的位置trackBoxDto->class_id = cocolabels[output_stracks[i].class_id];trackBoxDto->track_id = output_stracks[i].track_id;trackBoxDto->x        = tlwh[0];trackBoxDto->y        = tlwh[1];trackBoxDto->width    = tlwh[2];trackBoxDto->height   = tlwh[3];boxList->push_back(trackBoxDto);}output_stracks.clear();yoloDto->data = boxList;yoloDto->status = "successful";yoloDto->time = currentDateTime();return controller->createDtoResponse(Status::CODE_200, yoloDto);}static std::string currentDateTime(){auto now = std::chrono::system_clock::now();auto now_c = std::chrono::system_clock::to_time_t(now);auto now_ms = std::chrono::duration_cast<std::chrono::milliseconds>(now.time_since_epoch()) % 1000;std::stringstream ss;ss << std::put_time(std::localtime(&now_c), "%Y-%m-%d %H:%M:%S") << '.' << std::setfill('0') << std::setw(3) << now_ms.count();return ss.str();}static unsigned char from_b64(unsigned char ch){/* Inverse lookup map */static const unsigned char tab[128] = {255, 255, 255, 255,255, 255, 255, 255, /*  0 */255, 255, 255, 255,255, 255, 255, 255, /*  8 */255, 255, 255, 255,255, 255, 255, 255, /*  16 */255, 255, 255, 255,255, 255, 255, 255, /*  24 */255, 255, 255, 255,255, 255, 255, 255, /*  32 */255, 255, 255, 62,255, 255, 255, 63, /*  40 */52,  53,  54,  55,56,  57,  58,  59, /*  48 */60,  61,  255, 255,255, 200, 255, 255, /*  56   '=' is 200, on index 61 */255, 0,   1,   2,3,   4,   5,   6, /*  64 */7,   8,   9,   10,11,  12,  13,  14, /*  72 */15,  16,  17,  18,19,  20,  21,  22, /*  80 */23,  24,  25,  255,255, 255, 255, 255, /*  88 */255, 26,  27,  28,29,  30,  31,  32, /*  96 */33,  34,  35,  36,37,  38,  39,  40, /*  104 */41,  42,  43,  44,45,  46,  47,  48, /*  112 */49,  50,  51,  255,255, 255, 255, 255, /*  120 */};return tab[ch & 127];}static std::string base64_decode(const std::string& base64){if(base64.empty())return "";int len = base64.size();auto s = (const unsigned char*)base64.data();unsigned char a, b, c, d;int orig_len = len;int dec_len = 0;string out_data;auto end_s = s + base64.size();int count_eq = 0;while(*--end_s == '='){count_eq ++;}out_data.resize(len / 4 * 3 - count_eq);char *dst = const_cast<char*>(out_data.data());char *orig_dst = dst;while (len >= 4 && (a = from_b64(s[0])) != 255 &&(b = from_b64(s[1])) != 255 && (c = from_b64(s[2])) != 255 &&(d = from_b64(s[3])) != 255) {s += 4;len -= 4;if (a == 200 || b == 200) break; /* '=' can't be there */*dst++ = a << 2 | b >> 4;if (c == 200) break;*dst++ = b << 4 | c >> 2;if (d == 200) break;*dst++ = c << 6 | d;}dec_len = (dst - orig_dst);// dec_len必定等于out_data.size()return out_data;}
};#include OATPP_CODEGEN_END(ApiController) //<-- End Codegen#endif /* MyController_hpp */
  • 启动模型
    在这里插入图片描述
  • 请求接口进行推理

yolov8 模型部署测试

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/130366.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【算法】常见位运算总结

【算法】常见位运算总结

目录 1.基础位运算2. 给一个数n&#xff0c;确定它的二进制表示中的第x位是0还是13.将一个数n的二进制表示的第x位修改成14.将一个数n的二进制表示的第x位修改成0、5. 位图的思想6.提取一个数(n)二进制表示中最右侧的17.干掉一个数(n)二进制表示中最右侧的18.位运算的优先级9.异…
阅读更多...
华为OD七日集训第4期 - 按算法分类，由易到难，循序渐进，玩转OD

华为OD七日集训第4期 - 按算法分类，由易到难，循序渐进，玩转OD

目录 一、适合人群二、本期训练时间三、如何参加四、7日集训第4期五、精心挑选21道高频100分经典题目&#xff0c;作为入门。第1天、数据结构第2天、滑动窗口第3天、贪心算法第4天、二分查找第5天、分治递归第6天、深度优先搜索dfs算法第7天、宽度优选算法&#xff0c;回溯法 六…
阅读更多...
SpringBoot2.0（过滤器，监听器，拦截器）

SpringBoot2.0（过滤器，监听器，拦截器）

目录 一&#xff0c;过滤器1.1&#xff0c;自定义Filter1.2&#xff0c;启动类代码1.2&#xff0c;创建filter类和LoginFilter包1.2.1&#xff0c;编写loginFilter类 过滤器代码1.2.2&#xff0c;创建二个Controller类 二&#xff0c;监听器2.1&#xff0c;自定义监听器2.2&…
阅读更多...
Linux 操作系统云服务器安装部署 Tomcat 服务器详细教程

Linux 操作系统云服务器安装部署 Tomcat 服务器详细教程

Tomcat 基本概述 Tomcat 服务器是Apache软件基金会&#xff08;Apache Software Foundation&#xff09;的 Jakarta 项目中的一个核心项目&#xff0c;由 Apache、Sun 和其他一些公司及个人共同开发而成。它是一个免费的开放源代码的 Web 应用服务器&#xff0c;属于轻量级应用…
阅读更多...
DNS (Domain Name System) 域名解析过程

DNS (Domain Name System) 域名解析过程

一、域名与IP地址 通常情况下一台电脑都会有一个IPv4和IPv6地址&#xff08;由数字和字母组成&#xff0c;难以记忆&#xff09;&#xff0c;所以日常访问网站时我们通常都是采用输入域名&#xff08;方便记忆&#xff09;的方式来访问。 二、域名结构树 www 主机名bilibil…
阅读更多...
宋浩高等数学笔记（十二）无穷级数

宋浩高等数学笔记（十二）无穷级数

完结&#xff0c;宋浩笔记系列的最后一更~ 之后会出一些武忠祥老师的错题&笔记总结&#xff0c;10月份就要赶紧做真题了
阅读更多...
End-to-End Object Detection with Transformers(论文解析)

End-to-End Object Detection with Transformers(论文解析)

End-to-End Object Detection with Transformers 摘要介绍相关工作2.1 集合预测2.2 transformer和并行解码2.3 目标检测 3 DETR模型3.1 目标检测集设置预测损失3.2 DETR架构 摘要 我们提出了一种将目标检测视为直接集合预测问题的新方法。我们的方法简化了检测流程&#xff0c…
阅读更多...
C# OpenVino Yolov8 Seg 分割

C# OpenVino Yolov8 Seg 分割

效果 项目 代码 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; using OpenCvSharp;namespace OpenVino_Yolov8_Demo {public…
阅读更多...
WorkPlus AI助理，基于ChatGPT的企业级知识问答机器人

WorkPlus AI助理，基于ChatGPT的企业级知识问答机器人

随着人工智能技术的发展&#xff0c;WorkPlus AI助理以ChatGPT对话能力为基础&#xff0c;将企业数据与人工智能相结合&#xff0c;推出了面向企业的知识问答机器人。这一创新性的解决方案帮助企业高效管理和利用自身的知识资产&#xff0c;助力企业级人工智能的构建。与传统的…
阅读更多...
腾讯云和阿里云2核2G服务器租用价格表对比

腾讯云和阿里云2核2G服务器租用价格表对比

2核2G云服务器可以选择阿里云服务器或腾讯云服务器&#xff0c;腾讯云轻量2核2G3M带宽服务器95元一年&#xff0c;阿里云轻量2核2G3M带宽优惠价108元一年&#xff0c;不只是轻量应用服务器&#xff0c;阿里云还可以选择ECS云服务器u1&#xff0c;腾讯云也可以选择CVM标准型S5云…
阅读更多...
如何在 Ubuntu 上安装和使用 Nginx？

如何在 Ubuntu 上安装和使用 Nginx？

ginx&#xff08;发音为“engine-x”&#xff09;是一种流行的 Web 服务器软件&#xff0c;以其高性能和可靠性而闻名。它是许多流行网站使用的开源软件&#xff0c;包括 Netflix、GitHub 和 WordPress。Nginx 可以用作 Web 服务器、负载均衡器、反向代理和 HTTP 缓存等。 它以…
阅读更多...
2.linux的组管理和权限管理

2.linux的组管理和权限管理

一、组管理 1.Linux组的介绍 在linux中每个用户必须属于一个组&#xff0c;不能独立于组外。在linux中每个文件有所有者&#xff0c;所有组&#xff0c;其他组的概念 ①所有者 ②所在组 ③其他组 ④改变用户所在组 2.文件/目录 所有者 哪个用户创建了文件&#xff0c;就…
阅读更多...
为什么市面的北斗定位卡都不用5G传输？

为什么市面的北斗定位卡都不用5G传输？

当下最流行的通讯产品当属5G产品&#xff0c;数据传输高速率、低延时和大容量的特点&#xff0c;更加适合自动驾驶、ARVR、远程医疗等场景。目前的4G在GPS定位产品上已经远远满足数据传输要求&#xff0c;加上5G模组价格较高&#xff0c;目前国内市面上&#xff0c;几乎没有采用…
阅读更多...
java类加载过程

java类加载过程

简介 我们知道java程序运行时&#xff0c;.java文件会被编译器变成成.class文件。 类加载机制指的是将这些.class文件中的二进制数据读入到内存中&#xff0c;并对数据进行校验&#xff0c;解析和初始化。 最终&#xff0c;每一个类都会在方法区保存一份它的元数据&#xff…
阅读更多...
crAPI靶场学习记录

crAPI靶场学习记录

靶场搭建 [靶场下载地址](我fork了一份) docker安装&#xff0c;笔者是用的wsldocker. [lab0:**初始账户 **] 注册一个账户&#xff0c;邮箱为[APIqq.com]&#xff0c;密码为Admin123 登陆后访问对应IP的8025端口&#xff0c;接收邮件获取车辆信息。 [lab1:**访问其它用户车…
阅读更多...
【区块链 | IPFS】IPFS节点搭建、文件上传、节点存储空间设置、节点上传文件chunk设置

【区块链 | IPFS】IPFS节点搭建、文件上传、节点存储空间设置、节点上传文件chunk设置

一、创建ipfs节点 通过ipfs init在本地计算机建立一个IPFS节点 本文有些命令已经执行过了&#xff0c;就没有重新初始化。部分图片拷贝自先前文档&#xff0c;具体信息应以实物为准 ipfs init initializing IPFS node at /Users/CHY/.ipfs generating 2048-bit RSA keypair.…
阅读更多...
es滚动查询分析和使用步骤

es滚动查询分析和使用步骤

ES在进行普通的查询时&#xff0c;默认只会查询出来10条数据。我们通过设置es中的size可以将最终的查询结果从10增加到10000。如果需要查询数据量大于es的翻页限制或者需要将es的数据进行导出又当如何&#xff1f; Elasticsearch提供了一种称为"滚动查询"&#xff08…
阅读更多...
MATLAB R2018b安装教程

MATLAB R2018b安装教程

目录 一、软件下载 二、软件介绍 三、安装须知 四、安装步骤 【最后】 &#x1f388;个人主页&#xff1a;库库的里昂 &#x1f390;CSDN新晋作者 &#x1f389;欢迎 &#x1f44d;点赞✍评论⭐收藏 ✨收录专栏&#xff1a;MATLAB基础及应用&#x1f91d;希望作者的文章能…
阅读更多...
蚂蚁集团SQLess 开源，与内部版有何区别？

蚂蚁集团SQLess 开源，与内部版有何区别？

当我们使用关系型数据库时&#xff0c;SQL 是联系起用户和数据库的一座桥梁。 SQL 是一种高度非过程化的语言&#xff0c;当我们在编写SQL 时&#xff0c;表达的是想要什么数据&#xff0c;而不是怎么获取数据。因此&#xff0c;我们往往更关心SQL 有没有满足业务逻辑&#xff…
阅读更多...
Ei、Scopus双检索 | 2024年第三届人工智能与机器学习前沿国际会议(FAIML 2024)

Ei、Scopus双检索 | 2024年第三届人工智能与机器学习前沿国际会议(FAIML 2024)

会议简介 Brief Introduction 2024年第三届人工智能与机器学习前沿国际会议(FAIML 2024) 会议时间&#xff1a;2024年4月26日-28日 召开地点&#xff1a;中国宜昌 大会官网&#xff1a;www.faiml.org FAIML 2024将围绕“人工智能与机器学习”的最新研究领域而展开&#xff0c;为…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023