【2023集创赛】芯原杯一等奖作品：基于芯原DSP核的智能语音SoC设计

本文为2023年第七届全国大学生集成电路创新创业大赛（“集创赛”）芯原杯一等奖作品分享，参加极术社区的【有奖征集】分享你的2023集创赛作品，秀出作品风采，分享2023集创赛作品扩大影响力，更有丰富电子礼品等你来领！

团队介绍

参赛单位：东南大学
队伍名称：一口气全队
指导老师：黄见秋
参赛队员：黎颖，李欣欣，甘云汉
总决赛奖项：一等奖

项目概述

本项目旨在设计一款基于芯原DSP (数字信号处理器)核ZSPNano的智能语音识别SoC芯片，基于芯原自主半导体IP搭建的技术平台，可以快速设计出满足不同应用的SoC产品，实现自主可控国产SoC芯片，帮助缩短产品的上市时间。该SoC芯片采用芯原公司自主研发的DSP核作为主控芯片，集成了高性能的语音信号采集、处理、识别等功能模块，实现语音信号的采集、处理和识别功能，将能够支持基于深度神经网络模型的智能语音识别算法和传统的语音识别算法。同时，该芯片还具备低功耗、低延迟、高精度等特点，适用于各种智能语音识别场景，可广泛应用于智能音箱、车载语音系统、语音翻译、智能家居、智能安防、智能手表、智能音箱等场景。该项目旨在为用户提供一种更加高效、便捷、安全的本地语音识别解决方案，推动智能语音识别技术的发展。

本项目的设计和开发基于ZSPNano的语音处理SoC设计平台和现有系统框架完成，配合现有DSP核、语音处理单元、存储器、I2C、I2S、PDM麦克风、WDT等功能模块，设计了能够满足系统需求的AMBA总线，实现音频数据输入输出、音频的数据处理与关键字判断识别、低功耗设计与综合。我们设计的基于芯原DSP核ZSPNano的智能语音识别SoC芯片包括以下内容：

基于Design Spec规定的memory mapping，完成了AHB Bus的设计
基于Design Spec规定的memory mapping，完成了APB Bus及AHB2APB Bridge的设计。
完成了必要的功能验证及结果输出
基于系统环境验证可靠，完成了低功耗及其唤醒的实现，其中包含低功耗软件实现与MFCC硬件加速实现。
完成了对低功耗实现的验证与评估

硬件概述

在本项目中，硬件设计主要包含两部分，一部分是AMBA总线系统的设计，包括AHB总线矩阵以及AHB转APB桥；另一部分是语音梅尔倒谱系数（Mel-scaleFrequency Cepstral Coefficients，下文以MFCC代替）提取硬件电路，包括硬件基2蝶形FFT运算单元、梅尔滤波器组以及离散余弦变换(DCT)运算单元等数字系统构成。
我们的AMBA总线设计如下图所示
在这里插入图片描述

MFCC硬件设计如下图所示，该MFCC硬件包含5大模块：预处理模块、(512点)傅里叶变换模块、梅尔滤波器组、对数运算模块以及离散余弦变换模块，对其进行封装后，将总体模块根据数据流连接，并将输入输出寄存器组和控制寄存器映射到APB总线上。
在这里插入图片描述

为了实现对硬件电路的自动化验证，我们编写了一套从MATLAB定点化模型的输出输出到Verilog仿真模型的数据对比测试代码，分别在每一个计算模块的testbench中加入这些数据源输入、硬件输出捕获以及输出与MATLAB模型对比的task实现自动化仿真，并将出错的数据地址显示在终端中，以便轻松检查电路的设计是否有错误以及快速定位错误位置。

软件概述

在本项目中，系统流程如下图所示，分为初始化，sleep，ZSP_nano wake，system wake，结束（回到sleep）四个状态。
其中初始化状态对i2c和PDM进行初始化；
sleep状态根据赛题要求，仅开启PDM时钟，ZSPNano进入低功耗状态并保持；
倘若PDM读取中断且读满1帧数据，就由sleep状态进入ZSP_nano wake状态进行唤醒；
在ZSP_nano wake状态中，经过三层判断：第一层通过“短时能量、短时过零率双门限端点检测法”判断读取数据是否为有效；第二层通过MFCC特征提取，判断处理数据是否为语音；第三层通过关键词唤醒方法判断是否为“Hi Verisilicon”。倘若判定结果为否，则返回sleep状态，对任意一层皆适用；倘若前两层判断为是则进入下一层，最后一层判断为是则进入system wake状态唤醒。
system wake状态会开启外设时钟和i2s初始化并输出正弦波。在输出完后重新回到sleep状态。如此，一次完整的低功耗唤醒流程结束。
在这里插入图片描述