【RK3588】YOLO V5在瑞芯微板子上部署问题记录汇总

YOLO V5训练模型部署到瑞芯微的板子上面，官方是有给出案例和转过详情的。并且也提供了Python版本的推理代码，以及C语言的代码。

但是，对于转换过程中的细节，哪些需要改？怎么改？如何改，和为什么这样改的问题，并没有给出详细的介绍。于是，本文就是对官方给出部分外的一个补充。这部分都是踩过坑的总结，相信会对你的操作会有较大帮助的。

一、从pytorch的pt到rknn转换

  • 第一步： 使用yolov5提供的export.py函数导出yolov5.onnx模型
python3 export.py --weights yolov5s.pt --img-size 640 --include onnx
  • 第二步：使用onnxsim简化导出的yolov5.onnx模型

onnxsim是一个基于ONNX规范的工具，通过简化ONNX模型和优化ONNX模型，帮助用户减小模型大小、提高模型的推理速度和减少推理过程中的内存开销。
onnxsim的工作原理是将一个ONNX模型简化成最少的节点，并优化这些节点，以最小化推理过程中的开销。
同时，onnxsim还可以处理支持的神经网络层类型，支持多个平台，例如：CPU,GPU, FPGA等。

onnxsim安装和使用：onnx-simplifier

pip3 install onnxsimThen:onnxsim input_onnx_model output_onnx_model
  • 第三步：要完全使用rknn提供的部署转换代码，需要根据简化后的onnx模型，选取合适层的输出，以替代以下代码中的‘378’，‘439’和‘500’，如下图onnx例子中的'onnx::Reshape_446'，‘onnx::Reshape_484’，‘onnx::Reshape_522’。（这三个name，可能都是不一样的，是什么就填什么即可）
# Load ONNX model
print('--> Loading model')
ret = rknn.load_onnx(model=ONNX_MODEL, outputs=['onnx::Reshape_446', 'onnx::Reshape_484', 'onnx::Reshape_522'])
if ret != 0:print('Load yolov5 failed!')exit(ret)
print('done')

采用Netron打开的onnx文件，如下：

1疑问：为什么不用最后合并后的输出结果？

因为，最后的形状不固定导致的，有可能5个框，有可能10个框。输出模型到固定大小，后续操作放到后处理，目的是为了加快模型的npu上的推理速度(这里是我的理解，不一定正确，欢迎补充)

在PyTorch中，神经网络的输出形状通常是根据输入形状来自动计算的，而在 ONNX 中，输出形状需要在转换时进行显式指定，这是由于 ONNX 的静态图执行模型与 PyTorch 的动态图执行模型不同所致。
当你将PyTorch模型转换为 ONNX 模型时，你需要为 ONNX 模型中的每个输出定义固定的形状，以便在模型执行时为其分配正确的内存空间。如果输出形状不固定，那么 ONNX 运行时就需要在运行时动态调整输出形状，这将使得模型在部署时的性能受到影响。
因此，在转换 PyTorch 模型为 ONNX 模型时，你需要手动指定每个输出的固定形状，以便在执行时能够顺利运行。

Yolo v5的输出格式一般为a × b × c × 85的形式，其中:

  1. a*b*c表示框的数目
  2. 85则涵盖框的位置信息（xc，yc，w，h）、前景的置信度Pc和80个类别的预测条件概率c1，...，c80。（4+1+80，无背景类）

如果是你自己的模型，可能是只有3个目标类别，那么最后就是4+1+3=8，这个值记得在onnx模型中查看到。

二、需要注意事项

2.1、 设定anchor值

anchor的设定，在训练yolo v5模型时候，是可以设定自动适应，采用聚类的方式，通过标注的目标框的大小，给出anchor的值。在train.py中，noaotoanchor的默认为False，如果设定为True，则会使用默认的anchor设定。

所以，如果经过autoanchor，给出了新的anchor设定，那么在推理和转完rknn后的设定，都需要与之相匹配的anchor，这个很重要。

为什么官方和很多博客，都没有注意到这个问题呢？因为大多数情况下，aotoanchor并没有发挥作用。都是使用了默认的，导致很多人即便没有注意到这个问题，最后的结果也不差。

但是，如果是不一样的，结果就会比较差，这个值就需要对应的做修改了。

2.1.1、训练阶段记录

如果在训练阶段，你已经关注到autoAnchor的输出结果，可以在这里直接进行记录，在terminal打印的内容，大致如下：

AutoAnchor: 3.60 anchors/target, 0.974 Best Possible Recall (BPR). Anchors are a poor fit to dataset ⚠, attempting to improve...
AutoAnchor: WARNING ⚠ Extremely small objects found: 764 of 27545 labels are <3 pixels in size
AutoAnchor: Running kmeans for 9 anchors on 27522 points...
AutoAnchor: Evolving anchors with Genetic Algorithm: fitness = 0.8052: 100%|██████████| 1000/1000 00:10
AutoAnchor: thr=0.25: 0.9996 best possible recall, 5.11 anchors past thr
AutoAnchor: n=9, img_size=640, metric_all=0.358/0.805-mean/best, past_thr=0.532-mean: 5,5, 7,8, 11,11, 17,17, 28,28, 41,37, 56,56, 79,82, 143,140

2.1.2、pt文件查询记录

查询autoAnchor记录到.pt文件内的anchor设定，如下：

import torch
import sys
sys.path.append("path/yolov5-master")
weights = 'best.pt'
model = torch.load(str(weights[0] if isinstance(weights, list) else weights), map_location='cpu')
model1 = model['ema' if model.get('ema') else 'model']
model2 = model1.float().fuse().model.state_dict()for k,v in model2.items():if 'anchor' in k:# print(k)# print(v)print(v.numpy().flatten().tolist())

打印结果：

Fusing layers... 
[0.54345703125, 0.58251953125, 0.8525390625, 0.88818359375, 1.353515625, 1.318359375, 1.0859375, 1.0380859375, 1.75390625, 1.705078125, 2.38671875, 2.462890625, 1.7421875, 1.6787109375, 2.578125, 2.458984375, 3.904296875, 3.75]
[4.34765625, 4.66015625, 6.8203125, 7.10546875, 10.828125, 10.546875, 17.375, 16.609375, 28.0625, 27.28125, 38.1875, 39.40625, 55.75, 53.71875, 82.5, 78.6875, 124.9375, 120.0]
YOLOv5m summary: 308 layers, 21037791 parameters, 0 gradients

第二行是真的，需要取整。第一行…

经过我的发现，如果你打印的anchor就一行，那么可能是默认的anchor（默认使用COCO数据集的anchor），就是good fit to dataset，也就是默认的：

[[10, 13], [16, 30], [33, 23],
[30, 61], [62, 45],[59, 119],
[116, 90], [156, 198], [373, 326]]

2.2、rk3588推理性能

yolo v5m 量化前性能：

推理性能：Performance                              
Total Time(us): 194162
FPS: 5.15占用内存：Memory Profile Info Dump                  NPU model memory detail(bytes):Total Weight Memory: 39.83 MiBTotal Internal Tensor Memory: 19.50 MiBTotal Memory: 59.33 MiB

量化后性能

推理性能：Performance                              
Total Time(us): 137508
FPS: 7.27占用内存：Memory Profile Info Dump                  
NPU model memory detail(bytes):Total Weight Memory: 20.03 MiBTotal Internal Tensor Memory: 8.75 MiBTotal Memory: 28.78 MiB

总的来说：

  • 模型时间效率上，量化后能降低30%，194ms到137ms；
  • 占用内存上，量化后减少50%，59Mib到29Mib；

三、C/C++ API部署

  • 目标检测 YOLOv5 - 基于 瑞芯微 Rockchip RKNN C API 实现 ----------- github代码

  • yolov8 瑞芯微 RKNN 的 C++部署------------- github代码

上述两个参考链接，基本囊括了一下几个部分：

  1. rknn模型转换
  2. Python rknn推理
  3. c/c++ rknn推理（ YOLO v5部分是瑞芯微官方开放的代码）

如果你也是参考瑞芯微官方的C API代码，那么替换上你的模型后，有几个地方需要修改：

  1. 输入图像大小要改
  2. anchor尺寸要改
    const int anchor0[6] = {4, 5, 7, 7, 11, 11};
    const int anchor1[6] = {17, 17, 28, 27, 38, 39};
    const int anchor2[6] = {56, 54, 83, 79, 125, 120};
  3. 前景box阈值修改
    const float box_conf_threswin = 0.25;
  4. nms阈值修改
    const float nms_threswin = 0.1;
  5. 类别置信度重新调整
    objProbs.push_back(current_prob*box_confidence);
  6. 针对各个类，采用不同的阈值（待补充，这部分瑞芯微未采用这种二次过滤方式）

尤其是anchor这里，如果设定的不对，那么输出的结果就会非常的奇怪。如果是对的，那么差异性相对会小很多(和本地pt测试结果对比)。

四、总结

本文是对YOLO V5模型部署到瑞芯微板子上遇到的问题汇总。当然可能还会存在其他的更多问题，但是暂时还没有遇到，所以后面如果还会遇到什么问题，还会补充到这里。

如果你也正在做这块，并且遇到了问题，可以评论交流。目前还发现就是转模型后的评估问题，这个后面也会按照官方教程进行测试，这是下一篇的预告，期待。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/152083.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Java中树形菜单的实现方式（超全详解！）

Java中树形菜单的实现方式（超全详解！）

前言 这篇文中&#xff0c;我一共会用两种方式来实现目录树的数据结构&#xff0c;两种写法逻辑是一样的&#xff0c;只是一种适合新手理解&#xff0c;一种看着简单明了但是对于小白不是很好理解。在这里我会很详细的讲解每一步代码&#xff0c;主要是方便新人看懂&#xff0…
阅读更多...
typescript: Builder Pattern

typescript: Builder Pattern

/*** file: CarBuilderts.ts* TypeScript 实体类 Model* Builder Pattern* 生成器是一种创建型设计模式&#xff0c; 使你能够分步骤创建复杂对象。* https://stackoverflow.com/questions/12827266/get-and-set-in-typescript* https://github.com/Microsoft/TypeScript/wiki/…
阅读更多...
4.Docker 搭建 redis6

4.Docker 搭建 redis6

1.下载redis docker pull redis:6.2.62.创建需要挂载的宿主机文件夹 mkdir -p /data/redis/conf mkdir -p /data/redis/data3.配置redis 切换到/data/redis/conf文件夹下&#xff0c;创建redis.conf,复制redis.conf配置文件内容到redis.conf文件中&#xff0c;然后按下键盘 …
阅读更多...
黑豹程序员-架构师学习路线图-百科：AJAX

黑豹程序员-架构师学习路线图-百科：AJAX

文章目录 1、什么是AJAX2、发展历史3、工作原理4、一句话概括 1、什么是AJAX Ajax即Asynchronous&#xff08;呃森可乐思&#xff09; Javascript And XML&#xff08;异步JavaScript和XML&#xff09; 在 2005年被Jesse James Garrett&#xff08;杰西詹姆斯加勒特&#xff09…
阅读更多...
GD32F103x 定时器

GD32F103x 定时器

1. 定时器的基本介绍 STM32的定时器主要分为三种&#xff1a;高级定时器、通用定时器、基本定时器。 即&#xff1a;高级定时器具有捕获/比较通道和互补输出&#xff0c;死区时间&#xff0c;通用定时器只有捕获/比较通道&#xff0c;基本定时器没有以上两者。 1. 基本定时…
阅读更多...
网络安全：六种常见的网络攻击手段

网络安全：六种常见的网络攻击手段

1、什么是VPN服务&#xff1f; 虚拟专用网络&#xff08;或VPN&#xff09;是您的设备与另一台计算机之间通过互联网的安全连接。VPN服务可用于在离开办公室时安全地访问工作计算机系统。但它们也常用于规避政府审查制度&#xff0c;或者在电影流媒体网站上阻止位置封锁&#…
阅读更多...
【React】深入理解React组件状态State

【React】深入理解React组件状态State

目录 一、何为State二、如何定义State三、如何判断是否为State四、如何正确使用State1、用setState修改State2、State的更新是异步的①、代码示例 3、State更新会被合并①、组件状态例子②、当只需要修改状态title时&#xff0c;只需要将修改后的title传给setState③、React会合…
阅读更多...
Windows安装Node.js

Windows安装Node.js

1、Node.js介绍 ①、Node.js简介 Node.js是一个开源的、跨平台的JavaScript运行环境&#xff0c;它允许开发者使用JavaScript语言来构建高性能的网络应用程序和服务器端应用。Node.js的核心特点包括&#xff1a; 1. 事件驱动: Node.js采用了事件驱动的编程模型&#xff0c;通…
阅读更多...
力扣 -- 647. 回文子串

力扣 -- 647. 回文子串

解题步骤&#xff1a; 参考代码&#xff1a; class Solution { public:int countSubstrings(string s) {int ns.size();vector<vector<bool>> dp(n,vector<bool>(n));//无需初始化int ret0;//一定要从下往上填写每一行for(int in-1;i>0;i--){//每一行的i…
阅读更多...
jvm--对象实例化及直接内存

jvm--对象实例化及直接内存

文章目录 1. 创建对象2. 对象内存布局3. 对象的访问定位4. 直接内存&#xff08;Direct Memory&#xff09; 1. 创建对象 创建对象的方式&#xff1a; new最常见的方式、Xxx 的静态方法&#xff08;单例模式&#xff09;&#xff0c;XxxBuilder/XxxFactory 的静态方法Class 的…
阅读更多...
CVE-2023-36845：Juniper Networks Junos OS EX远程命令执行漏洞

CVE-2023-36845：Juniper Networks Junos OS EX远程命令执行漏洞

Juniper Networks Junos OS EX远程命令执行漏洞(CVE-2023-36845) 复现 0x01 前言 免责声明&#xff1a;请勿利用文章内的相关技术从事非法测试&#xff0c;由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失&#xff0c;均由使用者本人负责&#…
阅读更多...
UE4 自带体积云应用

UE4 自带体积云应用

新建空关卡 点击该选项 全部点击一遍 拖进场景
阅读更多...
uniapp 在uni.scss 根据@mixin定义方法 、通过@include全局使用

uniapp 在uni.scss 根据@mixin定义方法 、通过@include全局使用

在官方文档中提及到uni.scss中变量的使用&#xff0c;而我想定义方法&#xff0c;这样写css样式更方便 一、官方文档的介绍 根据官方文档我知道&#xff0c;在这面定义的变量全局都可使用。接下来我要在这里定义方法。 二、在uni.scss文件中定义方法 我在uni.scss文件中定义了…
阅读更多...
不用休眠的 Kotlin 并发：深入对比 delay() 和 sleep()

不用休眠的 Kotlin 并发：深入对比 delay() 和 sleep()

本文翻译自&#xff1a; https://blog.shreyaspatil.dev/sleepless-concurrency-delay-vs-threadsleep 毫无疑问&#xff0c;Kotlin 语言中的协程 Coroutine 极大地帮助了开发者更加容易地处理异步编程。该特性中封装的诸多高效 API&#xff0c;可以确保开发者花费更小的精力去…
阅读更多...
帮助文档Api

帮助文档Api

帮助文档Api 按照帮助文档的使用步骤学习Scanner类的使用&#xff0c;并实现键盘录入一个字符串&#xff0c;最后输出在控制台 部分Scanner的api文档如下&#xff1a; package com.api.Demo01;// 需要导入 Scanner包 import java.util.Scanner;public class Test01 {public sta…
阅读更多...
Altium Designer实用系列(一)----原理图导入PCB、PCB板子外形、多层板绘制等

Altium Designer实用系列(一)----原理图导入PCB、PCB板子外形、多层板绘制等

一、原理图导入PCB 绘制原理图就不必多说了&#xff0c;根据自己电路的需求&#xff0c;去设计电源、芯片的外围电路、MCU外设分配就好。接下来主要介绍的是在导入PCB前对原理图的检查&#xff1a; 元器件标号注解 元器件封装确认&#xff1a;工具->封装管理器&#xff1…
阅读更多...
ES6 class类的静态方法static有什么用

ES6 class类的静态方法static有什么用

在项目中&#xff0c;工具类的封装经常使用静态方法。 // amap.jsimport AMapLoader from amap/amap-jsapi-loader; import { promiseLock } from triascloud/utils; /*** 高德地图初始化工具*/ class AMapHelper {static getAMap window.AMap? window.AMap: promiseLock(AM…
阅读更多...
容器运行elasticsearch安装ik分词非root权限安装报错问题

容器运行elasticsearch安装ik分词非root权限安装报错问题

有些应用默认不允许root用户运行&#xff0c;来确保应用的安全性&#xff0c;这也会导致我们使用docker run后一些操作问题&#xff0c;用es安装ik分词器举例&#xff08;es版本8.9.0&#xff0c;analysis-ik版本8.9.0&#xff09; 1. 容器启动elasticsearch 如挂载方式&…
阅读更多...
微信小程序：实现列表单选

微信小程序：实现列表单选

效果 代码 wxml <view class"all"><view class"item_all" wx:for"{{info}}" wx:key"index"><view classposition {{item.checked?"checked_parameter":""}} data-id"{{item.employee_num}}…
阅读更多...
ssm172基于SSM的旅行社管理系统的设计与实现

ssm172基于SSM的旅行社管理系统的设计与实现

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;采用JSP技术开发 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#x…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023