PaddleSpeech 流式语音识别系统 PP-ASR

(以下内容搬运自 PaddleSpeech)

PP-ASR

目录

  • 1. 简介
  • 2. 特点
  • 3. 使用教程
    • 3.1 预训练模型
    • 3.2 模型训练
    • 3.3 模型推理
    • 3.4 服务部署
    • 3.5 支持个性化场景部署
  • 4. 快速开始

1. 简介

PP-ASR 是一个 提供 ASR 功能的工具。其提供了多种中文和英文的模型,支持模型的训练,并且支持使用命令行的方式进行模型的推理。 PP-ASR 也支持流式模型的部署,以及个性化场景的部署。

2. 特点

语音识别的基本流程如下图所示:

PP-ASR 的主要特点如下:

  • 提供在中/英文开源数据集 aishell (中文),wenetspeech(中文),librispeech (英文)上的预训练模型。模型包含 deepspeech2 模型以及 conformer/transformer 模型。
  • 支持中/英文的模型训练功能。
  • 支持命令行方式的模型推理,可使用 paddlespeech asr --model xxx --input xxx.wav 方式调用各个预训练模型进行推理。
  • 支持流式 ASR 的服务部署,也支持输出时间戳。
  • 支持个性化场景的部署。

3. 使用教程

3.1 预训练模型

支持的预训练模型列表:released_model。
其中效果较好的模型为 Ds2 Online Wenetspeech ASR0 Model 以及 Conformer Online Wenetspeech ASR1 Model。 两个模型都支持流式 ASR。
更多关于模型设计的部分,可以参考 AIStudio 教程:

  • Deepspeech2
  • Transformer

3.2 模型训练

模型的训练的参考脚本存放在 examples 中,并按照 examples/数据集/模型 存放,数据集主要支持 aishell 和 librispeech,模型支持 deepspeech2 模型和 u2 (conformer/transformer) 模型。
具体的执行脚本的步骤记录在 run.sh 当中。具体可参考: asr1

3.3 模型推理

PP-ASR 支持在使用pip install paddlespeech后 使用命令行的方式来使用预训练模型进行推理。

具体支持的功能包括:

  • 对单条音频进行预测
  • 使用管道的方式对多条音频进行预测
  • 支持 RTF 的计算

具体的使用方式可以参考: speech_recognition

3.4 服务部署

PP-ASR 支持流式ASR的服务部署。支持 语音识别 + 标点处理两个功能同时使用。

server 的 demo: streaming_asr_server

image

网页上使用 asr server 的效果展示:streaming_asr_demo_video

关于服务部署方面的更多资料,可以参考 AIStudio 教程:

  • 流式服务-模型部分
  • 流式服务

3.5 支持个性化场景部署

针对个性化场景部署,提供了特征提取(fbank) => 推理模型(打分库)=> TLG(WFST, token, lexion, grammer)的 C++ 程序。具体参考 speechx。
如果想快速了解和使用,可以参考: custom_streaming_asr

关于支持个性化场景部署的更多资料,可以参考 AIStudio 教程:

  • 定制化识别

4. 快速开始

关于如果使用 PP-ASR,可以看这里的 install,其中提供了 简单中等困难 三种安装方式。如果想体验 paddlespeech 的推理功能,可以用 简单 安装方式。


P.S. 欢迎关注我们的 github repo [PaddleSpeech](https://github.com/PaddlePaddle/PaddleSpeech), 是基于飞桨 PaddlePaddle 的语音方向的开源模型库,用于语音和音频中的各种关键任务的开发,包含大量基于深度学习前沿和有影响力的模型。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/32565.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

飞利浦 PHILIPS 电动牙刷HX6730 拆解

今日,一直比较喜欢用的电动牙刷,飞利浦HX6730坏掉了,初步感觉考虑飞利浦的保修,但是发现发票找不到了。飞利浦的客服也说,电动牙刷的两年保修依据分别是:1、发票开据日期;2、在无发票的情况下&a…

CES Asia:藏在儿童电动牙刷里的科技

科技巨头苹果公司常常对外表达的观念是,产品的核心是使用者,科技是用来解决问题,让产品设计得能帮助使用者生活得更美好,科技要做的是帮助人们拥有完成原本无法做到的事的能力。苹果公司认为科技应当藏身幕后,而不是走…

两款黑科技、高颜值电动牙刷正面PK,如何选择性价比是关键

随着人们生活水平的提升,近年来,各种黑科技层出不穷,对我们的生活带来了巨大的改变,甚至可以说是“武装到了牙齿”——例如目前不少厂商推出了智能声波电动牙刷(以下简称:电动牙刷),让刷牙也变得极具科技感。 目前市面上的电动牙刷品牌众多、鱼龙混杂,但在性能、质量…

WTV380语音芯片在儿童电动牙刷应用,可降低企业30% BOM成本!

概述:儿童电动牙刷控制的组成,需要一颗丰富资源的MCU芯片,主要起到按键信号采集、压力传感器信号采集、电机控制、音乐/提示功能,而需要实现电动牙刷的这些功能,产品开发设计工程师需要用到一颗IO资源丰富,…

2021年中国电动牙刷销售及发展趋势分析:国产品牌崛起[图]

一、电动牙刷产业链 电动牙刷是利用振动的机芯带动刷头旋转或振动以达到洁牙的效果。电动牙刷产业链随着市场产品的不断推出,产业链生态逐步完善,推动市场稳步发展。电动牙刷上游主要是牙刷丝、塑料外壳材料和电机、电池等,中游各类别电动牙刷…

文华财经数据导出工具

软件用于文华财经数据的格式化导出,通过简单设置文华财经的安装路径即可。当第一次打开工具时,出现文华财经的安装路径设置。请点击浏览并定位到文华财经的安装目录,如:D:\Tools\wh6通用版,确认后进入主程序。 第二次更…

如何用python爬取新浪财经

通过python爬取新浪财经的股票历史成交明细 要求 通过新浪财经爬取历史数据:http://market.finance.sina.com.cn/transHis.php?symbolsz000001&date2021-04-27&page60 要求:输入日期和股票代码后将一天所有的记录存入一个csv文件,…

文华财经期货K线多周期画线技术,多重短线技术共振通道线指标公式——多周期主图自动画线

期货指标公式是通过数学逻辑角度计算而来,仅是期货分析环节中的一个辅助工具。期货市场具有不确定性和不可预测性的,请正常对待和使用指标公式! 期货指标公式信号本身就有滞后性,周期越大,滞后性越久。指标公式不是100%稳赚的工具…

文华财经期货指标短线精灵,期货多空信号5分钟K线战法短线操作技巧

期货指标公式是通过数学逻辑角度计算而来,仅是期货分析环节中的一个辅助工具。期货市场具有不确定性和不可预测性的,请正常对待和使用指标公式! 期货指标公式信号本身就有滞后性,周期越大,滞后性越久。指标公式不是100%稳赚的工具…

文华财经指标公式源码学习

HJ_1:(HHV(HIGH,36)-CLOSE)/(HHV(HIGH,36)-LLV(LOW,36))*100; HJ_2:SMA(HJ_1,3,1); HJ_3:(CLOSE-LLV(LOW,9))/(HHV(HIGH,9)-LLV(LOW,9))*100; HJ_4:SMA(HJ_3,5,1)-8; 常态能量监控:HJ_4-HJ_2,COLORYELLOW,LINETHICK0; 狂飙临界能量:HJ_4-HJ_2,COLORRED,LINETHICK0; 0; STICKLIN…

财经郎眼:区块链是陷阱还是馅饼?颠覆性概念技术如何真正落地

2014年1月27日,财经郎眼首次聊比特币,题目是《比特币真相》;那时比特币的市场价是800美元。 2017年1月23日,财经郎眼再次聊比特币,题目是《五问比特币》;那时比特币的市场价是900美元。 2017年11月20日&…

叩问教育公平:财经郎眼20150209

郎咸平,祖籍山东潍坊,中国台湾学者,经济学家。 王牧笛,主持人,北京大学法学、哲学双学位学士,外交学硕士,与郎咸平一道从经济的视角解读新闻,从新闻概念讲述经济。 古语有云&#…

数字人解决方案——实时对话数字人源码与环境配置

前言 1.从技术角度来看,现在的数学人就是一个缝合怪,把各种技术点都整合在一起,用来实现直播、对话等数字人。技术流程大概如下图: 其实最重要的一环应该属于LLM(大型语言模型),LLM相当于一个人的意识,如果…

亚马逊运营listing优化A+页面

亚马逊A页面可以通过丰富的图文和视频更好的展示商品特点,提高产品的吸引力,有利于商品转化率的提高。今天海熹跨境人才网就来给大家说说关于A页面的优化技巧,一起来了解一下吧。 一、什么是A页面 亚马逊A页面与普通产品描述页面不同的是&am…

英语一大作文模板如何自己制作?

文章目录 (一)本人花费三个月制作模板过程1.1 考研同学通病1.2 三个月制作模板的历程1.2.1初始模板(来在凯文老师的课)1.2.2 更改模板 (薛非老师的作文课)1.2.3 花钱请专业老师批改作文中不断该进模板的结构…

介绍计算机的英语作文,总算晓得写一篇介绍电脑的英语作文

电脑的使用变得越来越普及,我们要正确使用电脑。在英语中也有关于介绍电脑的作文题材,那你想知道写一篇介绍电脑的英语作文怎么写吗?下面小编告诉你如何写一篇介绍电脑的英语作文,大家一起来看看吧! 写一篇介绍电脑的英语作文: C…

怎样在 iPhone 或 iPad 上使用“快捷指令”?

快捷指令可以说是苹果最强的APP之一了,它可以为所有的操作提供最快速的操作方式。 还可以通过一些自动化操作和脚本实现各种功能,甚至能取代一些小程序。 获取快捷指令可以有以下三种方式。 1.通过官方快捷指令库下载相关的快捷指令。 2.通过第三方途径下载更多的快捷指令…

iphone 快捷指令打开 行程码

每次打开微信,打开小程序,找行程码是不是很烦。 可以用快捷指令 iphone手机背面轻轻点两下 或 三下打开行程码。 首先现在打开行程码最多,最方便的是 微信小程序。然而现在无法用快捷指令打开小程序。只能找其他方法。 接着试了浏览器&…

苹果11怎么把计算机添加到快捷键,苹果11apple pay快捷键使用方法

导读:"苹果11apple pay怎么用"的相关电脑教程分享。- 来源:191路由网。 以IOS11系统为例,打开手机,找到并打开【wallet 与 apple pay】,接着在界面中找到要开通的公交卡,可以选择【上海公共交通卡…

如何使用支付宝充值美区App store的礼品卡

如何使用支付宝充值礼品卡 可能很多人不知道,支付宝可以给美区App Store 充钱,无需信用卡直接购买美区 Apple ID、Google Play、Spotify、Hulu礼品卡,下面就给大家介绍怎么购买 1.城市切换为:旧金山(国际-> 北美洲…