简介
FastDeploy
是一款易用、高效的 AI
模型部署工具。
它旨在简化 AI
模型从训练到部署的整个流程,支持在多种硬件和操作系统上进行模型推理。
特点如下:
多平台支持 : FastDeploy
支持在云、边、端等多种环境中部署模型,包括但不限于 Windows
、Linux
、Android
、iOS
等操作系统。
多硬件兼容 : 支持多种硬件平台,如 Intel CPU
、NVIDIA GPU
、Jetson
、ARM CPU
等。
多算法支持 : 支持多种主流算法模型,包括图像分类、目标检测、图像分割、人脸检测、人体关键点检测、文本识别等。
低门槛使用 : FastDeploy
提供了简单易用的 API
,开发者可以通过少量代码实现模型的加载、推理和输出处理。
模型推理
FastDeploy
模型推理指的是使用 FastDeploy
工具对已经训练好的 AI
模型进行加载和执行,以完成对新的输入数据的预测任务。
在机器学习和深度学习中,“推理”(Inference
)通常指的是模型对新数据进行预测的过程,与模型的训练阶段(Training
)相对。
推理过程包含以下步骤:
加载模型:将训练好的模型从磁盘加载到内存中,以便进行推理
预处理输入数据:对新的输入数据进行必要的预处理,比如调整图像大小、归一化等,以匹配模型训练时的数据格式。
执行推理:将预处理后的数据输入模型,模型根据其学习到的参数进行计算,输出预测结果。
后处理输出数据:对模型的输出结果进行必要的处理,比如解码、阈值筛选、非极大值抑制(NMS)等,以获得最终的预测结果。
输出结果:将处理后的预测结果输出,这可能是分类标签、边界框坐标、分割图等,具体取决于模型的类型和任务。
安装
github:https://github.com/PaddlePaddle/FastDeploy/blob/develop/README_CN.md
新建一个目录 fastDeploy-yolo5
,本文所用环境是,wind10 conda
虚拟环境 python3.9
本电脑没有 gpu
,就只能安装 cpu
版本。
切换到 fastDeploy-yolo5
目录,激活环境,输入以下安装命令:
pip install numpy opencv-python fastdeploy-python -f https://www.paddlepaddle.org.cn/whl/fastdeploy.html
yolov5模型导出
yolov5
模型训练已经在前面的文章中讲解了,此处不在重复说明。本文以上篇训练的模型为测试模型。
由于 fastDeploy
需要的模型是 ONNX
格式的,所以 yolov5
需要转换模型。
yolov5
默认是注释掉了模型导出的依赖的,需要开启依赖
安装依赖
如图所示打开依赖注释,再安装依赖
pip install