AI算法的嵌入式部署

AI算法在独立的设备上运行其实就是行业内的嵌入式AI的概念,

大致过程如下:

1. 开发AI模型,
   2.对数据集进行处理,
   3.训练AI模型并验证效果,
   4.转成ONNX格式(ONNX:万金油中间格式，给模型优化和部署带来了更多可能性)或者借助libtorch或者TensorFlow来部署C++版本,
   5.开发C++版本的推理算法.
2. 验证测试

本文选择在ARM的环境下来部署AI模型,借助的是AVH平台.

AVH虚拟ARM硬件

• Arm Virtual Hardware（AVH）通过虚拟化流行的物联网开发套件、基于 Arm 的处理器和云中的系统，扩展并加速了物联网软件开发。它是 Arm 建模技术的演进，消除了对硬件的等待以及构建和配置板场进行测试的复杂性。它支持现代敏捷软件开发实践，如 DevOps 和 MLOps 工作流程。
• PaddlePaddle（PArallel Distributed Deep LEarning，分布式深度学习）是百度公司开发的一个简单、高效、可扩展的深度学习框架。作为国内首个自主研发的深度学习平台，自2016年起正式向专业社区开源。它是一个技术先进、功能丰富的产业平台，涵盖核心深度学习框架、基础模型库、端到端开发套件、工具组件以及服务平台.

建立环境

安全依赖cmsis