AI-Talk开发板之shell_xtts

一、说明

运行duomotai_ap sdk下的shell_xtts例程,测试语音合成以及SPK功能。

操作说明:开发指南 | 聆思文档中心 (listenai.com)

与处理器的信号连接:

 

二、工程

1、设备树

        由于AI-Talk开发板与CSK6-MIX开发板有些管脚不一样,所以在duomotai_ap/.sdk/csk/boards/arm/目录下新建一个目录csk6_duomotai_ai_talk,将csk6_duomotai_devkit目录下的所有文件拷贝到csk6_duomotai_ai_talk目录下,然后修改文件的内容,适配AI-Talk开发板。

在duomotai_ap/apps/shell_xtts/boards/目录下新建csk6_duomotai_ai_talk.overlay文件,内容:

/** Copyright (c) 2021 listenai Intelligent Technology (anhui) Co., Ltd.** SPDX-License-Identifier: Apache-2.0*//delete-node/ &storage_partition;/* 删除掉系统dts默认配置的参数 */
/delete-node/ &psram_ap;
/delete-node/ &psram_cp;
/delete-node/ &psram_share;
/delete-node/ &wifi_driver_storage;
/delete-node/ &wifi_nvs_storage;/ {chosen {zephyr,code-partition = &ap_code_partition;resource,cp = &cp_code_partition;resource,xtts_front = &xtts_front_partition;resource,xtts_role = &xtts_role_partition;resource,xtts_rear = &xtts_rear_partition;resource,xtts1_role = &xtts_role1_partition;resource,xtts1_rear = &xtts_rear1_partition;};aliases {spk-pa-mute = &spk_pa_mute;};leds {compatible = "gpio-leds";spk_pa_mute: spk_pa_mute {gpios = <&exgpioc 2 GPIO_ACTIVE_HIGH>;};};};&flash0 {/** For more information, see:* http: //docs.zephyrproject.org/latest/guides/dts/index.html#flash-partitions*/reg = <0x18000000 DT_SIZE_M(16)>;write-block-size = <4>;partitions {compatible = "fixed-partitions";#address-cells = <1>;#size-cells = <1>;};partitions {ap_code_partition: partition@0 {label = "ap_code";reg = <0x00000 0x200000>;};cp_code_partition: partition@200000 {label = "cp_code";reg = <0x200000 0x200000>;};xtts_front_partition: partition@400000 {label = "resource_xtts_front";reg = < 0x400000 0x327e85>;};xtts_role_partition: partition@800000 {label = "resource_xtts_role";reg = < 0x800000 0xa02>;};xtts_rear_partition: partition@810000 {label = "resource_xtts_rear";reg = < 0x810000 0x366f90>;};xtts_role1_partition: partition@C00000 {label = "resource_xtts_role1";reg = < 0xC00000 0xa02>;};xtts_rear1_partition: partition@C10000 {label = "resource_xtts_rear1";reg = < 0xC10000 0x366f90>;};};
};&psram0{compatible = "listenai,csk6-psram";reg = <0x30000000 0x800000>;#label = "psram0";#address-cells = <0x1>;#size-cells = <0x1>;psram_cp: psram_cp@30000000 {compatible = "listenai,csk6-psram-partition";reg = <0x30000000 0X700000>;status = "okay";};psram_ap: psram_ap@30510000 {compatible = "zephyr,memory-region","listenai,csk6-psram-partition";reg = <0x30700000 0x100000>;status = "okay";zephyr,memory-region = "PSRAMAP";};
};
2、编译

cd到duomotai_ap目录,执行编译命令:

lisa zep build -b csk6_duomotai_ai_talk apps/shell_xtts -p

编译生成的固件:duomotai_ap/build/zephyr/zephyr.bin

三、烧录

固件的烧录及查看运行日志参照:AI-Talk开发板CSK6固件烧录-CSDN博客

四、授权

由于语音合成功能需要离线算法授权,所以需要向聆思申请license,并将license烧录到FLASH,地址为0xfff000。

授权内容如下:

大部分应用功能都需要授权才能使用。 

五、运行

1、启动

程序运行后,可听到开发套件播放 “你好” 的合成音频。

启动日志:

uart:~$ [00:00:00.000,000] <inf> csk6_spi: SPI REG ADDR:0x45500000
[00:00:00.000,000] <inf> csk6_spi: SPI REG ADDR:0x45400000
[00:00:00.000,000] <inf> csk6_exmcu_i2c: exmcu addr:0x6C
[00:00:00.041,000] <inf> csk6_exmcu_i2c: exmcu info, chip type:ch32v003, ver:1.3
[00:00:00.041,000] <inf> display_st7789v: st7789v_init
[00:00:00.062,000] <dbg> display_st7789v: st7789v_reset_display: Resetting display
[00:00:00.220,000] <inf> display_st7789v: st7789v_init done
*** Booting Zephyr OS build zephyr-v3.4.0-63-g0de75cc2e493 ***
*** ListenAI CSK SDK Version: 2.0.0.0-ca91a4e08a ***
*** Duomotai SDK Version: 2.0.2 build: v2.0.2-beta-dirty ***
[00:00:00.222,000] <inf> boot_cp: CP XIP start addr (0x68200000)
ic_message_connet wait ... 
ic_message_connet wait ... 
ic_message_connet wait ... 
ic_message_connet wait ... 
ic_message_connet wait ... 
ic_message_connet wait ... 
ic_message_connet wait ... 
ic_message_connet wait ... 
ic_message_connet wait ... 
ic_message_connet wait ... 
ic_message_connet wait ... 
ic_message_connet ok 
[00:00:02.418,000] <inf> comp_xtts: base_speed:100, mode:2
[00:00:02.418,000] <inf> comp_xtts: voice speed:0, rate:50.000000, base speed:100
[00:00:02.419,000] <inf> xtts_gcl: tts_text: addr: 你好, len: 6
[00:00:02.421,000] <inf> comp_xtts: TTS_AUDIO start
[00:00:03.511,000] <inf> comp_xtts: TTS_AUDIO finish

 如果没有烧录license文件,不会等到"ic_message_connet ok"的消息。

2、播放指定内容

通过串口连接到电脑,使用在线串口工具发送内容给开发板。

在线工具:聆思在线串口终端 (listenai.com)

3、演示

大模型交互终端语音合成测试

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/451248.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

主机加固是什么?又该如何实施呢?

MCK主机加固&#xff1a;企业数据安全的守护神 内核级安全加固&#xff1a;MCK主机加固采用基于操作系统内核级的安全加固技术&#xff0c;从根本上阻断了病毒和恶意软件的入侵路径&#xff0c;确保企业核心数据的安全。 智能防御机制&#xff1a;智能识别并预警潜在的安全威胁…

纯血鸿蒙!

纯血鸿蒙&#xff0c;这是哪个营销大师给起的名字啊&#xff01; 纯血&#xff01;象征着高贵、自信、自主、血性、英雄气概&#xff0c;都融入这纯血鸿蒙了&#xff01; 鸿蒙本就是开天辟地&#xff0c;加上纯血&#xff0c;真是荡气回肠&#xff01; 鸿蒙的推出背景 我们前…

数据结构(JAVA)包装类泛型

文章目录 包装类基本数据类型和对应的包装类装箱和拆箱面试题 泛型什么是泛型泛型的语法泛型类的使用泛型的使用裸类型(Raw Type) &#xff08;仅需了解&#xff09;擦除机制泛型的上界泛型方法 包装类 基本数据类型和对应的包装类 注意&#xff0c;除了int基本数据类型的包装…

机器学习核心:监督学习与无监督学习

个人主页&#xff1a;chian-ocean 文章专栏 监督学习与无监督学习&#xff1a;深度解析 机器学习是现代人工智能的核心支柱&#xff0c;已广泛应用于从数据挖掘到计算机视觉再到自然语言处理的诸多领域。作为机器学习最主要的两大类型&#xff0c;监督学习&#xff08;Super…

LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 视频微调(LoRA) 教程(3)

欢迎关注我的CSDN&#xff1a;https://spike.blog.csdn.net/ 本文地址&#xff1a;https://spike.blog.csdn.net/article/details/142882496 免责声明&#xff1a;本文来源于个人知识与公开资料&#xff0c;仅用于学术交流&#xff0c;欢迎讨论&#xff0c;不支持转载。 SWIFT …

【Neo4j】- 轻松入门图数据库

文章目录 前言-场景一、Neo4j概述二、软件安装部署1.软件下载2.软件部署3.软件使用4.语法学习 总结 前言-场景 这里用大家都了解的关系数据与图数据据库对比着说,更加方便大家理解图数据库的作用 图形数据库和关系数据库均存储信息并表示数据之间的关系。但是&#xff0c;关系…

【Golang】Go语言web框架Gin响应客户端有哪些方式

✨✨ 欢迎大家来到景天科技苑✨✨ &#x1f388;&#x1f388; 养成好习惯&#xff0c;先赞后看哦~&#x1f388;&#x1f388; &#x1f3c6; 作者简介&#xff1a;景天科技苑 &#x1f3c6;《头衔》&#xff1a;大厂架构师&#xff0c;华为云开发者社区专家博主&#xff0c;…

Navigation2 算法流程

转自 https://zhuanlan.zhihu.com/p/405670882 此文仅作学习笔记 启动流程 在仿真环境中启动导航包的示例程序&#xff0c;执行nav2_bringup/bringup/launch/tb3_simulation_launch.py文件。ROS2的launch文件支持采用python语言来编写以支持更加复杂的功能&#xff0c;本文件…

个人用操作系统笔记(待补充)

文章目录 一、绪论二、Linux操作系统进程线程&#xff08;进程内的基本调度单位&#xff09;文件与设备文件权限文件系统文件连接&#xff08;共享&#xff09; 地址空间缺页中断 用户超级用户root&#xff08;用户标识与组标识都是0&#xff09; 重定向系统启动常用命令 OS研究…

【优选算法篇】踏入算法的深邃乐章:滑动窗口的极致探秘

文章目录 C 滑动窗口详解&#xff1a;进阶题解与思维分析前言第二章&#xff1a;进阶挑战2.1 水果成篮解法一&#xff1a;滑动窗口解法二&#xff1a;滑动窗口 数组模拟哈希表复杂度分析&#xff1a;图解分析&#xff1a;示例&#xff1a;滑动窗口执行过程图解&#xff1a; 详…

ARM嵌入式学习--第三天

ARM常用伪指令分析 ARM伪指令&#xff1a;为了方便程序员使用&#xff0c;编译器设计的指令&#xff0c;这个指令ARM核无法识别&#xff0c;需要编译器对它翻译成ARM核所识别的指令 -LDR R1&#xff0c;0xabcdef分析 总结&#xff1a; 编译器在编译的时候&#xff0c;将ldr r…

深入拆解TomcatJetty(一)

深入拆解Tomcat&Jetty&#xff08;一&#xff09; 专栏地址&#xff1a;https://time.geekbang.org/column/intro/100027701 1、Web容器是什么 早期的 Web 应用主要用于浏览新闻等静态页面&#xff0c;HTTP 服务器&#xff08;比如 Apache、Nginx&#xff09;向浏览器返…

008、相交链表

0、题目描述 相交链表 1、法1 嵌套循环&#xff0c;从listA的第一个节点开始与listB的每个节点比对&#xff0c;有相同的就返回这个节点。 时间复杂度是n^2 struct ListNode *getIntersectionNode(struct ListNode *headA, struct ListNode *headB) {struct ListNode* pa …

多媒体(1)

多媒体 多媒体的信息结构是【非线性的网状结构】 多媒体技术的基本特征&#xff1a;集成性、交互性、实时性、数字化、多样性 多媒体数据具有【数据量大】、【数据类型多】、【数据类型间区别小】、【输入输 出复杂】的特点 在多媒体数据库中&#xff0c;基于内容检索的关键技术…

智联云采 SRM2.0 testService SQL注入漏洞复现

0x01 产品简介 智联云采是一款针对企业供应链管理难题及智能化转型升级需求而设计的解决方案,针对企业供应链管理难题,及智能化转型升级需求,智联云采依托人工智能、物联网、大数据、云等技术,通过软硬件系统化方案,帮助企业实现供应商关系管理和采购线上化、移动化、智能…

【AI绘画】Midjourney进阶:引导线构图详解

博客主页&#xff1a; [小ᶻZ࿆] 本文专栏: AI绘画 | Midjourney 文章目录 &#x1f4af;前言&#x1f4af;什么是构图为什么Midjourney要使用构图 &#x1f4af;引导线构图特点使用场景提示词书写技巧测试 &#x1f4af;小结 &#x1f4af;前言 【AI绘画】Midjourney进阶&a…

嵌入式职业规划

嵌入式职业规划 在嵌入式的软件开发中&#xff0c;可以分为&#xff1a; 嵌入式MCU软件开发工程师&#xff1b; 嵌入式Linux底层&#xff08;BSP&#xff09;软件开发工程师&#xff1b; 嵌入式Linux应用开发工程师&#xff1b; 嵌入式FPGA算法开发工程师 对于前两个阶段 …

【时间之外】IT人求职和创业应知【9】

目录 1. 云计算ETF领涨,中证云计算与大数据主题指数估值较低 2. 南向资金持有海螺创业市值减少,但仍保持高比例持股 3. 深创赛澳大利亚分站赛落幕,龙岗区与3个意向落地项目签约 认知决定你的赚钱能力。以下是今天可能影响你求职和创业的热点新闻: 今日关键字:数字战争…

ChatGPT官方自带的测试页面 Playground

Playground页面相当于是网页端的大模型调用应用&#xff0c;可以在这里直接选择不同类型模型、选择不同的参数、输入不同的提示测试模型输出结果&#xff0c;并且这个页面还可以查看网页端操作对应的代码&#xff0c;整体操作流程非常便捷&#xff0c;也非常适合初学者进行零代…

UE5 猎户座漂浮小岛 02 模型 地形

UE5 猎户座漂浮小岛 02 模型 地形 1.模型 1.1 导入 1.2 统一模型比例 1.3 添加碰撞体 2.地形 2.1 地 2.2 山体 2.3 海洋 2.4 花草