暂时简单整理一下:
1.在边缘设备上配置相关环境。
2.配置完成后,获取模型中间的输入输出结果,保存为npy格式。
3.将onnx格式的模型,以及中间输入输出文件传送到边缘设备上。
4.编写一个python文件用于转换模型格式,dataset作为测试可以是随便的数据。
5.将python传送到边缘设备上并运行。
注意:所有文件要在同一目录下。
参考代码一:
# Author:SiZhen
# Create: 2024/7/15
# Description: ONNX转RKNN
import os
import numpy as np
from rknn.api import RKNNdef convert_onnx_to_rknn(onnx_path,rknn_path,input_data,output_data):#创建RKNN对象rknn = RKNN()rknn.config(target_platforms='rk3588',quantized_algorithm='mmse',optimization_level = 2)#加载ONNX模型print('loading ONNX model...')ret = rknn.load_onnx(model=onnx_path)if ret !=0:print("load failed!")return#构建模型,进行RKNN模型转换print('building rknn model...')ret = rknn.build(do_quantization=False,dataset='/home/DiTing/sizhen/dataset.txt')if ret !=0:print('Build RKNN model failed!')#导出RKNN模型print('Exporting RKNN model...')ret = rknn.export_rknn(rknn_path)if ret != 0:print('Export RKNN failed!')returnprint('RKNN model is successfully exported to ',rknn_path)rknn.init_runtime()outputs=rknn.inference(inputs=[input_data],data_format='nchw')try:if np.test.assert_almost_equal(outputs[0],output_data,decimal=1)is None:print('模型输出与预期一致。')except AssertionError as e :print("不一致,详细信息:",e)#转换模型
i = 0
onnx_path = r'/home/DiTing/sizhen/resNet34.onnx'
rknn_path = onnx_path.replace('.onnx','.rknn')
input_data = np.load('/home/DiTing/sizhen/input_data.npy')
output_data = np.load('/home/DiTing/sizhen/output_data.npy')
convert_onnx_to_rknn(onnx_path,rknn_path,input_data,output_data)
问题及解决方法
问题一
安装失败。
解决方法:这个地方,谛听盒子应该是arm的版本而不是x86:(Lite版本)
问题二
安装成功找不到属性
解决方法:用如下包替代
问题三
lite版本缺少属性
初步讨论结果:lite版本应该是只包含运行环境的,最好不要在盒子上进行模型转换,会又慢又卡,可能利特版本就是没有模型转换的功能的。
解决方法:在其他环境转换。(待更新)可能的解决办法:https://bbs.eeworld.com.cn/thread-1283146-1-1.html