一个愿意伫立在巨人肩膀上的农民......

 一、paddle转onnx转rknn环境搭建

        paddle转onnx和onnx转rknn两个环境可以分开搭建，也可以搭建在一起。这里选择分开搭建，先搭建paddle转onnx。

1.1、创建环境

        选择python3.8.13包进行创建环境

conda create --name paddle2rknn libprotobuf python==3.9

1.2、进入环境

        命令如下：

conda activate paddle2rknn

1.3、RKNN-Toolkit2工具安装

        RKNN-Toolkit2是为用户提供在 PC、Rockchip NPU 平台上进行模型转换、推理和性能评估的开发套件，RKNN-Toolkit2适用于RK3566、RK3568、RK3588/RK3588S、RV1103、RV1106等型号的芯片。RKNN-Toolkit2的适配文件可以从下方链接获取：

https://download.csdn.net/download/weixin_41809117/88879019?spm=1001.2014.3001.5503https://download.csdn.net/download/weixin_41809117/88879019?spm=1001.2014.3001.5503

        下载解压后这里RKNN-Toolkit2的根目录为./rknn-toolkit2/packages/。目前提供两种方式安装RKNN-Toolkit2：一是通过Python包安装与管理工具pip进行安装；二是运行带完整RKNN-Toolkit2工具包的docker镜像。本文采用第一种方式。

        切换到RKNN-Toolkit2根目录：

cd /home/ub/下载/rknn-toolkit2/rknn-toolkit2/packages/

        安装依赖，因为我们环境的python版本是3.10.0，所以这里执行：

pip install -r requirements_cp39-1.6.0.txt

        安装RKNN-Toolkit2：

pip install rknn_toolkit2-1.6.0+81f21f4d-cp39-cp39-linux_x86_64.whl

1.4、paddle2onnx工具安装

        查看paddle2onnx可安装版本：

pip index versions paddle2onnx

        默认安装的就是最新版本，这里指定1.0.8版本，否则会因为onnx版本版本太高，与RKNN-Toolkit2不兼容：

pip install paddle2onnx==1.0.8

1.5、解决相关依赖问题

        到此，paddle转onnx转rknn环境基本搭建完成，但是还要解决一下包依赖的问题。

        安装pip依赖查看工具：

pip install pipdeptree

        查看依赖关系：

pipdeptree -p paddle2onnx

        根据终端打印的内容进行包的安装和版本更换。

pip install /*包名*/==/*版本号*/

二、模型转换

        Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署，包括 TensorRT/OpenVINO/MNN/TNN/NCNN，以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。Paddle2ONNX包可通过如下连接下载：

https://download.csdn.net/download/weixin_41809117/88879464?spm=1001.2014.3001.5503https://download.csdn.net/download/weixin_41809117/88879464?spm=1001.2014.3001.5503

2.1、获取PaddlePaddle部署模型

        Paddle2ONNX 在导出模型时，需要传入部署模型格式，包括两个文件

        a).model_name.pdmodel: 表示模型结构

        b).model_name.pdiparams: 表示模型参数 [注意] 这里需要注意，两个文件其中参数文件后辍为 .pdiparams，如你的参数文件后辍是 .pdparams，那说明你的参数是训练过程中保存的，当前还不是部署模型格式。 部署模型的导出可以参照各个模型套件的导出模型文档。

2.2、命令行模型转换

        指令paddle2onnx相关参数如下表：

参数	参数说明
--model_dir	配置包含 Paddle 模型的目录路径
--model_filename	[可选] 配置位于 --model_dir 下存储网络结构的文件名
--params_filename	[可选] 配置位于 --model_dir 下存储模型参数的文件名称
--save_file	指定转换后的模型保存目录路径
--opset_version	[可选] 配置转换为 ONNX 的 OpSet 版本，目前支持 7~16 等多个版本，默认为 9
--enable_dev_version	[可选] 是否使用新版本 Paddle2ONNX（推荐使用），默认为 True
--enable_onnx_checker	[可选] 配置是否检查导出为 ONNX 模型的正确性, 建议打开此开关， 默认为 False
--enable_auto_update_opset	[可选] 是否开启 opset version 自动升级功能，当低版本 opset 无法转换时，自动选择更高版本的 opset进行转换， 默认为 True
--deploy_backend	[可选] 量化模型部署的推理引擎，支持 onnxruntime、tensorrt 或 others，当选择 others 时，所有的量化信息存储于 max_range.txt 文件中，默认为 onnxruntime
--save_calibration_file	[可选] TensorRT 8.X版本部署量化模型需要读取的 cache 文件的保存路径，默认为 calibration.cache
--version	[可选] 查看 paddle2onnx 版本
--external_filename	[可选] 当导出的 ONNX 模型大于 2G 时，需要设置 external data 的存储路径，推荐设置为：external_data
--export_fp16_model	[可选] 是否将导出的 ONNX 的模型转换为 FP16 格式，并用 ONNXRuntime-GPU 加速推理，默认为 False
--custom_ops	[可选] 将 Paddle OP 导出为 ONNX 的 Custom OP。 例如：--custom_ops '{"paddle_op":"onnx_op"}，默认为 {}

        模型转换指令：

paddle2onnx --model_dir models --model_filename model.pdmodel --params_filename model.pdiparams --opset_version 12 --save_file saveonnx/model.onnx --enable_onnx_checker True

        转换结果在./Paddle2ONNX/saveonnx/model.onnx