【STM32开发笔记】移植AI框架TensorFlow【DSP指令加速篇】

【STM32开发笔记】移植AI框架TensorFlow【DSP指令加速篇】

    • 一、前文回顾
    • 二、CMSIS-NN简介
      • 2.1 为什么介绍CMSIS-NN?
      • 2.2 CMSIS-NN是什么?
      • 2.3 CMSIS-NN核心特性
      • 2.4 CMSIS-NN算子支持
    • 三、TFLM+CMSIS-NN集成
      • 3.1 包含TFLM的STM32项目
      • 3.2 理解TFLM中CMSIS-NN相关构建规则
      • 3.3 理解TFLM中CMSIS-NN相关算子实现
      • 3.4 集成CMSIS-NN方式1——作为TFLM的一部分
      • 3.5 集成CMSIS-NN方式2——作为独立的三方库
    • 四、TFLM+CMSIS-NN测试
      • 4.1 编译源代码
      • 4.2 下载Boot代码
      • 4.3 下载Appli代码
      • 4.4 运行TFLM基准测试
    • 五、问题解决
      • 5.1 specialize_files.py 输入不支持CMake列表参数问题
      • 5.2 specialize_files.py 输出的路径分隔符不一致问题
      • 5.3 specialize_files.py 输出和CMake列表格式不一致问题
      • 5.4 specialize_files.py 输出的最后一个文件无法找到
    • 六、项目源码
    • 七、参考链接

本文介绍了如何通过移植CMSIS-NN库并调整TensorFlow Lite for Microcontrollers (TFLM) 的构建配置,实现在STM32微控制器上利用DSP指令集加速TensorFlow Lite模型的推理过程。通过这一方法,我们能够有效地提升基于ARM Cortex-M系列MCU上运行深度学习模型的性能。文章首先介绍了CMSIS-NN库的基本概念及其在神经网络加速中的作用,随后详细阐述了移植库到STM32平台的步骤。接着,文章深入讲解了如何修改TFLM的构建规则,实现调用CMSIS-NN库实现TensorFlow算子。最后,通过实验验证了该方法在提高模型推理速度方面的显著效果,使用CMSIS-NN实现DSP加速后的人脸检测模型推理速度接近原来的3.5倍。

一、前文回顾

此系列前面已经发布了两篇:

  1. 【STM32开发笔记】移植AI框架TensorFlow到STM32单片机【上篇】

  2. 【STM32开发笔记】移植AI框架TensorFlow到STM32单片机【下篇】_

【上篇】介绍了TensorFlow、TensorFlow Lite、TensorFlow Lite for Microcontrollers(TFLM)是什么,如何下载TFLM源码,如何在个人电脑(PC)上体验运行TFLM基准测试。同时,分析了TFLM的部分Makefile源码分析。最后,介绍了如何移植TFLM的主体代码。

【下篇】介绍了如何准备STM32 CubeMX项目(以便于后续的TFLM可以顺利移植),如何将TFLM源码集成到STM32 CubeMX生成的项目中去,以及如何在STM32项目中运行TFLM基准测试。同时,介绍了过程中遇到的问题,以及解决方法。最后,给出了整个项目的完整可运行源代码。

二、CMSIS-NN简介

2.1 为什么介绍CMSIS-NN?

因为TFLM源码中有针对CMSIS-NN的算子适配层,通过该适配层可以实现将TensorFlow Lite模型的推理计算转化为对CMSIS-NN库的调用。

同时,CMSIS-NN底层支持DSP指令和MVE指令,在Cortex-M4、Cortex-M7、Cortex-M33上可以实现DSP指令加速计算,在Cortex-M55、Cortex-M85上可以实现MVE加速计算

简言之,TFLM默认的算子实现为纯CPU计算,而CMSIS-NN可以作为TFLM的后端,实现部分处理器上的DSP和MVE加速计算。

2.2 CMSIS-NN是什么?

CMSIS-NN是什么?官方的解释是:

CMSIS NN 软件库是一组高效的神经网络核(函数),旨在最大限度地提高 Arm Cortex-M 处理器上神经网络的性能并最大限度地减少内存占用。

CMSIS-NN是一个计算库,它向上提供了神经网络(NN)计算接口,实现了神经网络计算的硬件加速。它内部实现了纯CPU计算、DSP计算、MVE计算,屏蔽了底层硬件的具体细节,降低了编程难度。

2.3 CMSIS-NN核心特性

总结一下官方的介绍,可以知道CMSIS-NN库的核心特性:

  • 专为Cortex-M处理器开发;

  • 神经网络计算函数;

  • 最大化性能;

  • 最小化内存占用;

  • CMSIS-NN的硬件和软件支持

2.4 CMSIS-NN算子支持

在CMSIS-NN源码仓首页,可以看到CMSIS-NN库提供了三种算子实现,分别为:

  • 纯C,CMSIS-NN提供了所有算子的纯C实现,用于像Cortex-M0和Cortex-M3这样的处理器;
  • DSP扩展,在支持DSP扩展的处理器上,可以使用DSP指令加速计算,例如Cortex-M4或Cortex-M7;
  • MVE扩展,在支持ARM Helium技术的处理器上,可以使用MVE指令加速计算,例如 Cortex-M55 或 Cortex-M85;

三、TFLM+CMSIS-NN集成

接下来,我将介绍如何将TFLM和CMSIS-NN集成到STM32项目中。

3.1 包含TFLM的STM32项目

前面的文章中,我们已经知道了如何将TFLM集成到STM32项目中,本文将以上一篇文章的代码为基础,继续进行CMSIS-NN的集成和测试。

基础项目代码仓链接:

https://gitcode.com/xusiwei1236/STM32H7S78-DK-TFLM

这个代码仓就是——已经包含了TFLM的STM32项目。

3.2 理解TFLM中CMSIS-NN相关构建规则

TFLM的构建规则Makefile文件中,和CMSIS-NN相关的主要代码片段为:

tflm-makefile-638

这段代码中,比较重要的有两处,分别为:

  • 649行,CMSIS-NN对应的OPTIMIZED_KERNEL_DIR变量值为cmsis_nn,此时会包含cmsis_nn.inc构建规则文件;
  • 651到653行,调用specialize_files.py脚本,用于将算子实现源文件列表MICROLITE_CC_KERNEL_SRCS中的部分文件替换为CMSIS-NN适配源文件列表;

cmsis_nn.inc文件内容如下:

cmsis_nn_inc

这段代码中,可以看到TFLM支持两种方式和CMSIS-NN集成:

  • CMSIS-NN作为独立的三方库,链接到一起;
  • CMSIS-NN作为TFLM的一部分,编译到一起;

specialize_files.py文件源码如下:

specialize_files_py

该文件实现了:

  • 遍历base_files列表中的条目,检查在specialized_directory目录下是否存在和它的基础文件名(basename)相同的文件;
  • 如果存在,则使用specialized_directory目录下的替换掉base_files中的这一条;
  • 否则,保持原来位于base_files中的这一条不变!

3.3 理解TFLM中CMSIS-NN相关算子实现

对于CMSIS-NN,实际运行时的specialized_directory指定的参数值是tensorflow/lite/micro/kernels/cmsis_nn子目录。

该目录下包含的文件如下:

image-20241016001239443

实际执行specialize_files.py脚本时,实际的替换文件的对应关系如下:

默认算子文件CMSIS-NN算子文件
tensorflow/lite/micro/kernels/add.cctensorflow/lite/micro/kernels/cmsis_nn/add.cc
tensorflow/lite/micro/kernels/batch_matmul.cctensorflow/lite/micro/kernels/cmsis_nn/batch_matmul.cc
tensorflow/lite/micro/kernels/conv.cctensorflow/lite/micro/kernels/cmsis_nn/conv.cc
tensorflow/lite/micro/kernels/depthwise_conv.cctensorflow/lite/micro/kernels/cmsis_nn/depthwise_conv.cc
tensorflow/lite/micro/kernels/fully_connected.cctensorflow/lite/micro/kernels/cmsis_nn/fully_connected.cc
tensorflow/lite/micro/kernels/mul.cctensorflow/lite/micro/kernels/cmsis_nn/mul.cc
tensorflow/lite/micro/kernels/pooling.cctensorflow/lite/micro/kernels/cmsis_nn/pooling.cc
tensorflow/lite/micro/kernels/softmax.cctensorflow/lite/micro/kernels/cmsis_nn/softmax.cc
tensorflow/lite/micro/kernels/svdf.cctensorflow/lite/micro/kernels/cmsis_nn/svdf.cc
tensorflow/lite/micro/kernels/transpose_conv.cctensorflow/lite/micro/kernels/cmsis_nn/transpose_conv.cc
tensorflow/lite/micro/kernels/unidirectional_sequence_lstm.cctensorflow/lite/micro/kernels/cmsis_nn/unidirectional_sequence_lstm.cc

这里以第一行add.cc为例,默认的算子实现主体代码为:

tf-add-cc

CMSIS-NN版本的add.cc代码主体代码为:

tf-add-cmsis-nn

都提供了Register_ADD()函数,用于注册ADD算子。

3.4 集成CMSIS-NN方式1——作为TFLM的一部分

理解了前面的Makefile代码,就可以编写CMake构建规则,从而实现在STM32项目中集成TFLM和CMSIS-NN。

前文提到,STM32项目集成CMSIS-NN有两种方式,分别为:

  • CMSIS-NN作为TFLM的一部分,编译到TFLM的静态库(libtflite-micro.a)文件中;
  • CMSIS-NN作为独立的三方库,链接到STM32的可执行程序(.elf)文件中;

首先,介绍第一种方式,也就是CMSIS-NN作为TFLM的一部分;这种方式Appli子项目不直接依赖CMSIS-NN库,无需修改,更易于理解。

基于对Makefile源码的理解,修改tflite-micro目录的CMakeLists.txt文件内容:

tflm-cmakelists-diff

这段修改中包含了cmsis-nn.cmakecmsis-nn.cmake文件的内容为:

cmsis-nn.cmake

整个修改实现了:

  • 调用specialize_files.py脚本,将MICROLITE_KERNEL_CC_SRCS中的部分算子文件路径替换为cmsis_nn目录内的,实现了CMSIS-NN适配层的编译;
  • cmsis-nn.cmake中匹配到的CMSIS-NN源文件,添加到TFLM库的源文件列表中,实现了CMSIS-NN代码的编译,并作为TFLM库的一部分;

这样修改之后,重新编译生成的libtflite-micro.a中就包含了CMSIS-NN的代码,以及基于CMSIS-NN的TensorFlow算子实现。

3.5 集成CMSIS-NN方式2——作为独立的三方库

另外一种集成CMSIS-NN的方式是,CMSIS-NN作为独立的三方库,最终连接到整个项目的可执行文件(.elf)中。

要实现这种继承方式,需要在刚修改的TFLM的CMakeLists.txt的基础上进行修改:

tflm-cmakelists-diff-2

一共修改两处:

  • add_library代码片段,删除CMSIS-NN相关的代码文件;
  • 文件末尾添加add_subdirectory(tensorflow/lite/micro/tools/make/downloads/cmsis_nn),让CMSIS-NN的CMakeLists.txt被包含到整个项目中;

除此之外,还需要修改Appli目录的CMakeLists.txt文件,具体修改内容如下图:

Appli-CMakeLists.diff

一共修改了三处:

  • 新增了TF_CMSIS_NN_DIR变量定义,用于记录cmsis_nn源码所在子目录;
  • target_link_directories下,增加一行,指定CMSIS-NN库文件生成的目录;
  • target_link_libraries下,增加一行,指定链接cmsis-nn库;

以上这种修改方式,也可以实现将TFLM和CMSIS-NN集成到STM32项目中。

四、TFLM+CMSIS-NN测试

4.1 编译源代码

第一种方式集成CMSIS-NN,由于上层代码不依赖CMSIS-NN库,即不新增库依赖;因此,其编译方式和此前的文章方式一样,这里不在介绍。

这里仅介绍第二种方式集成CMSIS-NN的编译方法,分为如下几步:

  1. 清理输出目录,如下图操作:

    image-20241019205845206

  2. 编译tflite-micro库,如下图操作:

    image-20241019210234667

  3. 编译xxx_benchmark库,如下图操作:

    image-20241019210123597

  4. 编译cmsis-nn库,如下图操作:

    image-20241019210824201

  5. 编译Appli目标,如下图操作:

    image-20241019210320714

  6. 编译Boot代码,如下图所示:

    image-20241019210403135

4.2 下载Boot代码

由于Appli代码需要使用Boot代码进行跳转,因此,下载Appli代码之前,需要先将Boot代码下载到开发板上。

下载之前,先将STM32H7S78-DK开发板和PC通过USB线连接好,板子由三个USB口,注意连接到标有STLK的。

下载Boot代码,按照如下图所示操作:

image-20241019213805347

执行过程中终端子窗口会输出进度等信息:

image-20241019213920660

4.3 下载Appli代码

下载Appli代码,按照如下图操作:

image-20241019211731626

执行过程中终端子窗口会输出进度等信息:

image-20241019213610487

4.4 运行TFLM基准测试

打开MobaXterm,添加会话,选择STLink的虚拟串口设备,参数如下:

image-20241019020056378

连接设备之后,按下开发板上的NRST按钮,重启设备,可以看到串口输出如下:

20241014234609

可以看到,开发板上,运行有人图像的人体检测耗时为286毫秒,没有人的耗时为286毫秒;连续运行10次的耗时分别为2863毫秒和2863毫秒,速度有点慢。

和上一篇文章的数据对比如下:

测试项目TFLMTFLM+CMSIS-NN
WithPersonDataIterations(1)993286
NoPersonDataIterations(1)994286
NoPersonDataIterations(10)99382863
NoPersonDataIterations(10)99402863

五、问题解决

第三章、第四章实际过程中遇到了一些问题,为了保持前文逻辑连贯,没有在前面记录,本章将记录具体问题及解决方法。

5.1 specialize_files.py 输入不支持CMake列表参数问题

【问题现象】specialize_files.py脚本输出和输入参数base_files的值完全一样。

【问题原因】specialize_files.py脚本使用Python的string.split对参数base_files的值进行分隔,要求值是空白字符(空格、TAB、换行等)分隔的。而CMake的列表字符串是分号分隔的。

【解决方法】将MICROLITE_CC_KERNEL_SRCS中的分隔符替换为空格,再将其传给specialize_files.py脚本,具体代码为:

specialize_files_py_input

5.2 specialize_files.py 输出的路径分隔符不一致问题

【问题现象】specialize_files.py 输出的路径分隔符不一致,有正斜杠也有反斜杠,导致后续报错——文件找不到。

【问题原因】CMake代码使用的路径分隔符是正斜杠,specialize_files.py代码里面使用的是os.path.sep,在Windows上是反斜杠。

【解决方法】将反斜杠全部替换为正斜杠。

specialize_files_py_ouput2

5.3 specialize_files.py 输出和CMake列表格式不一致问题

【问题现象】specialize_files.py 输出的文件列表是空格分隔的,和CMake列表格式不一致。

【问题原因】specialize_files.py 使用空格拼接文件列表为一个字符串之后输出,而CMake列表需要用使用分号分隔。

【解决方法】将字符串中的空格替换为分号。

specialize_files_py_ouput3

5.4 specialize_files.py 输出的最后一个文件无法找到

【问题现象】specialize_files.py 输出的文件列表的最后一个文件,后续CMake代码提示该文件找不到。

【问题原因】乍看起来文件路径是对的,能够找到;实际将该文件路径字符串加上双引号输出之后,发现末尾多了一个换行符。

【解决方法】去除末尾的空白字符。

specialize_files_py_ouput1

六、项目源码

如需本文修改后项目源码的,请在评论区留言。我将会在留言超过10条,或本文阅读量超过1200之后,将本文修改的最终源码全部开源。

当然,动手能力强的读者,也可以根据文章描述的步骤,一步步修改得到最终版本的源码。

七、参考链接

  1. TensorFlow Lite for Microcontrollers介绍: TensorFlow Lite for Microcontrollers (google.cn)
  2. TensorFlow Lite for Microcontrollers入门: 微控制器入门 | TensorFlow (google.cn)
  3. tflite-micro 源码仓: https://github.com/tensorflow/tflite-micro
  4. CMake最新文档: CMake Reference Documentation — CMake 3.30.3 Documentation
  5. CMSIS-NN在线文档: CMSIS-NN: CMSIS NN Software Library (arm-software.github.io)
  6. CMSIS-NN 源码仓: https://github.com/ARM-software/CMSIS-NN

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/452877.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【前端学习】HTML+CSS+JavaScript 入门教程

文章目录 前言1. HTML、CSS、JavaScript 的关系2. HTML2.1 什么是 HTML2.2 认识标签2.3 HTML 常见标签1)标题标签:h1 - h62)段落标签:p3)换行标签:br4)图片标签:img5)超链…

Linux系统:(Linux系统概述与安装)

硬件计算机硬件是指计算机系统中所有物理部件的总称。包括计算机主机、显示器、键盘、鼠标、内存、硬盘、处理器、主板等等。这些硬件部件是计算机系统运行的基础 不管是电脑系统(个人电脑、服务器等)、还是移动端操作系统(手机、平板等)。它的功能就是做为用户和硬件之间的桥梁…

Java配置 Redis 连接互斥锁或队列预先加载缓存

学习总结 1、掌握 JAVA入门到进阶知识(持续写作中……) 2、学会Oracle数据库入门到入土用法(创作中……) 3、手把手教你开发炫酷的vbs脚本制作(完善中……) 4、牛逼哄哄的 IDEA编程利器技巧(编写中……) 5、面经吐血整理的 面试技…

2024年龙信

挂载VC的密码:MjAyNOmmeS/oeadrw 手机取证 1. Android 设备在通过 ADB 连接时,通常会要求用户授权连接,会要求用户确认设备授权,并将该设备的公钥保存在 adb_keys文件中 寻找到data/misc/adb/adb_keys下面有中有两个,…

动态规划:17.简单多状态 dp 问题_买卖股票的最佳时机III_C++

题目链接: 一、题目解析 题目:123. 买卖股票的最佳时机 III - 力扣(LeetCode) 解析: 拿示例1举例: 我们可以如图所示买入卖出股票,以求得最大利润,并且交易次数不超过2次 拿示…

webpack自定义插件 ChangeScriptSrcPlugin

插件文件 class ChangeScriptSrcPlugin {apply(compiler) {const pluginName "ChangeScriptSrcPlugin";compiler.hooks.compilation.tap(pluginName, (compilation, callback) > {compilation.hooks.htmlWebpackPluginAlterAssetTags.tapAsync(pluginName,(html…

N9305高品质mp3音频语音芯片ic在早教故事机的应用方案

随着人们对教育的重视程度不断提高,儿童早教机已经成为了很多家庭的教育必备品。N9305音乐芯片在早教故事机中的应用,不仅为孩子们带来了丰富多彩的故事世界,还以其卓越的音质表现和功能,进一步提升了早教体验。 九芯电子N9305高品…

HarmonyOS Next模拟器异常问题及解决方法

1、问题1:Failed to get the device apiVersion. 解决方法:关闭模拟器清除用户数据重启

Kafka之消费者组与消费者

消费者(Consumer)在Kafka的体系结构中是用来负责订阅Kafka中的主题(Topic),并从订阅的主题中拉取消息后进行处理。 与其他消息中间件不同,Kafka引入一个逻辑概念——消费组(Consumer Group&…

黑马程序员Java笔记整理(day03)

1.switch 2.for与while对比 3.嵌套定义,输出的区别性 4.break与continue 5.随机数生成的两种方式 6.Random 7.随机验证码

15分钟学Go 第2天:安装Go环境

第2天:安装Go环境 1. 引言 在学习Go语言之前,首先需要配置好本地开发环境。本节将详细介绍如何在Windows 11上安装和配置Go语言环境,包括安装步骤、环境变量设置、VS Code配置与测试、以及常见问题解决方案。完成这些步骤后,你将…

【计算机网络 - 基础问题】每日 3 题(四十九)

✍个人博客:https://blog.csdn.net/Newin2020?typeblog 📣专栏地址:http://t.csdnimg.cn/fYaBd 📚专栏简介:在这个专栏中,我将会分享 C 面试中常见的面试题给大家~ ❤️如果有收获的话,欢迎点赞…

基于模型设计的智能平衡移动机器人-基础实验SCI

目录 SCI通信 模型搭建 串口测试 实验结果 SCI通信 简单来说就是信号的传递。 SCI(Serial Communication Interface)意为“串行通信接口”,是相对于并行通信的,是串行通信技术的一种总称,最早由Motorola公司提出的。它是一…

Web Storage:数据储存机制

前言 在HTML5之前,开发人员一般是通过使用Cookie在客户端保存一些简单的信息的。在HTML5发布后,提供了一种新的客户端本地保存数据的方法,那就是Web Storage,它也被分为:LocalStorage和SessionStorage,它允…

【QT】常用控件(三)

个人主页~ 常用控件(一)~ 常用控件(二)~ QT中其他线程是改变不了GUI上的内容的,只有主线程可以 常用控件 四、显示类控件2、LCD Number3、ProgressBar4、Calendar Widget 五、输入类控件1、Line Edit正则表达式 2、Te…

【数据处理】大数据入门

🌈 个人主页:十二月的猫-CSDN博客 🔥 系列专栏: 🏀软件开发必备知识_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步,十二点的黑夜遮蔽不住黎明的曙光 目录 1. 前…

UE小:UE5的Pixelstreaming在捕获画面的时候没办法显示非Viewport的Slate区域按钮的ToolTip

原始代码 首先&#xff0c;让我们看看原始代码片段&#xff1a; // Some widgets might want to provide an alternative Tooltip Handler. if (bCanSpawnNewTooltip || !NewTooltip) {TSharedPtr<SWidget> NewTooltipWidget NewTooltip ? NewTooltip->AsWidget()…

[含文档+PPT+源码等]精品基于springboot实现的原生微信小程序小区兼职系统

基于Spring Boot实现的原生微信小程序小区兼职系统背景&#xff0c;可以从以下几个方面进行阐述&#xff1a; 一、技术背景 移动互联网的普及&#xff1a;随着移动互联网的快速发展&#xff0c;微信小程序作为一种轻量级应用&#xff0c;因其无需下载安装、即用即走的特点&am…

【Next.js 项目实战系列】02-创建 Issue

原文链接 CSDN 的排版/样式可能有问题&#xff0c;去我的博客查看原文系列吧&#xff0c;觉得有用的话&#xff0c;给我的库点个star&#xff0c;关注一下吧 上一篇【Next.js 项目实战系列】01-创建项目 创建 Issue 配置 MySQL 与 Prisma​ 在数据库中可以找到相关内容&…

Greenhills学习总结

学习背景&#xff1a;近期参与xx项目过程中&#xff0c;遇到较多的关于代码集成编译的知识盲区&#xff0c;因此需要进行相关知识的学习和扫盲。 参考资料&#xff1a;GreenHills2017.7编译手册:本手册是GreenHills 2017.7.14版编译器的软件使用手册。该手册详细介绍了GreenHi…