语音合成:模拟最像人类声音的系统

9c46c0a79cfe0f38f5e3d2a7c899c68f.png

近年来随着深度学习技术的不断发展,语音合成技术也取得了突破性进展,也成为了很多设备的标配。比如siri通过手机跟我们讲冷笑话,车载音箱实时播报汽车的行进路线等等无不用到语音合成。

并且,深度神经网络在语音合成模型与声码器中的应用,使得端到端语音合成系统得到飞速进展。序列到序列(seq2seq)模型框架简洁,无需帧级对齐,声学时长联合建模,避免级联误差,也无需复杂文本特征。Google在2017年提出了一种新的端到端的语音合成系统Tacotron,借助深度学习模型的强表达能力,表现出惊人的合成效果。

288478d40f993e0b93af2605ee05d61a.png

目前国内的语音合成技术趋于成熟,但是企业对语音合成候选人的要求也极高。语音技术相较于AI其他方向而言,具有典型的跨学科特点。除了声学、语音语言学、信号处理等,还要会编程语言,并且要对常见的深度学习模型有深入了解,以及对语音合成本身的Tacotron、WaveNet等系统异常熟悉。内容涉及的越广泛,大家学习周期也就越长,企业的人才缺口也会相应的增加。

2db1dbb33ce887a6a4495d8d7b871c9e.png

并且语音合成算法工程师的薪资也极为可观,基本是30k/月起步。(是不是很心动!)

60ffd5072356d82155ce85af9b746027.png

而国内高校并没有培养对应人才的学习机制,并且,真正想学习的同学,在网络上都很难搜索到系统地学习语音合成的相关资料,更别说还需要相关项目来动手实践了,终究是“巧妇难为无米之炊”。

深蓝学院特邀西北工业大学教授、博导谢磊团队讲授《语音合成:基础与前沿》课程,既讲解传统语音合成算法(帧级+信号声码器),而且讲解端到端语音合成进阶算法,最后带大家实现语音合成应用,如风格化语音合成、多说话人建模与说话人自适应技术。

1.讲师团队介绍

e1505de7066838537fe3cce6692ac309.png

2aa9575dd0cb9e1d300ee599f9393717.png

74ad3ba43d720e68f2dbbe52a535ed61.png

1a52cd4881463634b4664ce593aa886c.png

8b71f4e310e28b360a211377281d22fd.png

左右滑动查看更多

2. 实践项目

edb15cf97b5ed92db8d0c5d67af4eda0.png

01

实现基于CRF的分词

学习如何使用CRF实现中文分词,了解CRF的数据格式、训练流程以及测试客观指标。通过该实践能够快速搭建一套分词系统。

a168f81afd7846f8dfa59a96d4cb1381.png

02

World vocoder参数提取与合成

基于World vocoder实现参数的提取与合成,旨在了解传统语音声码器中各个参数,包括基频、频谱包络以及非周期信号。同时尝试使用这些特征还原语音,并且对比各种采样率下的不同还原效果。

263af0d87168d639b53eddb6ce370e99.png

03

基于LSTM/GRU的声学与时长模型

在此实践中,我们将基于Tensorflow实现递归神经网络LTSM/GRU的语音合成时长与声学模型。从而将设计好的文本特征经过时长和声学模型,合成语音。

8d0451d50f802b6c17591ac86ea475bf.png

04

实现基于Tacotron的声学模型

基于Tensorflow构建Tacotron模型,包括特征处理、模型训练和解码等。旨在了解Tacotron各个模块的细节,以及如何基于注意力机制构建序列到序列声学模型。

07e80f1ef4a87b3791719210067f07a0.png

05

实现基于LSA的注意力机制

基于Tensorflow实现Location-sensitive attention (LSA)机制。旨在进一步了解注意力机制的基础原理以及使用方法,并尝试寻找更符合语音特点的注意力机制。

4b14ad35cc35c9a4eab5a0ec51efae24.png

06

实现基于Mel特征的WaveRNN

基于Tensorflow实现基于Mel特征的WaveRNN神经声码器,从而将谱特征转换为真实语音波形。同时可以考虑对原始模型进行扩展或改进以提高训练速度。

00e4fcf277a7c8bb5c2dfb91819220e9.png

3. 课程亮点

32c145b7dd3f36ef9ed5a0b7e278bf65.png

1.本课程全面覆盖当前主流算法和模型,学习省时省力;

2.授课团队为国内知名的语音团队——西北工业大学谢磊团队;

3.理论与实践相结合。每章节课程后的都会配有相应的作业,助教1V1批改;

4.班主任带班。督促学习(告别拖延~);

5.超优质的学习圈子。学习本课程的同学来自超牛的学校与企业。

4. 课程收获

e4a4a7d546543c4d29b7b3d472fd15b1.png

1.掌握传统语音合成系统中文本正则化、分词、注音、韵律预测等前端子模块的作用以及基于BLSTM+CRF的方法;

2.掌握传统语音合成系统中主流后端算法,包括基于HMM/NN的统计参数模型,以及基于单元拼接的方法;

3.领悟基于Attention的序列到序列算法的思想,掌握Tacotron模型的细节;

4.深入了解更适合语音任务的Attention机制及其应用;

5.熟悉基于WaveNet的神经网络声码器以及WaveRNN和LPCNet声码器的原理。

5dda68553d79416334c7cd826a5a197d.png

咨询更多

扫码添加深蓝学院-叶子

备注【130】,才会通过好友哦!

e5283504d7e720922be95de0ee181696.png

咨询课程可免费领取试听课哦~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/51154.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【点灯科技+esp8266+小爱同学】实现语音控制的米思齐代码和arduino代码

以下转换后的arduino代码。 #define BLINKER_WIFI #include <Blinker.h> char auth[] = "点灯分配的密钥"; char ssid[] = "你的wifi"; char pswd[] = "wifi密码"; void miotPowerStatedata(const String & data){ if (data == BL…

首页 系统相关 正文 小米手机远程和电脑互相连接及控制的方法

【文章摘要】Windows系统自带了一个远程桌面服务&#xff0c;我们可以很方便利用这个服务来进行远程桌面控制&#xff0c;很多人会用电脑进行远程终端登陆&#xff0c;用手机进行远程桌面访问的人就不多了。下面详细给大家说明。 原文链接&#xff1a;http://bbs.xiaomi.cn/thr…

8. R语言绘图系统介绍、高级绘图与低级绘图、【绘图参数】、绘图函数包

b站课程视频链接&#xff1a; https://www.bilibili.com/video/BV19x411X7C6?p1 腾讯课堂(最新&#xff0c;但是要花钱&#xff0c;我花99&#x1f622;&#x1f622;元买了&#xff0c;感觉讲的没问题&#xff0c;就是知识点结构有点乱&#xff0c;有点废话&#xff09;&…

R语言画图/绘图/作图2

R语言画图/绘图/作图2 动画气泡图 可以使用该gganimate包实现动画气泡图。它与气泡图相同&#xff0c;但是&#xff0c;您必须显示值如何在第五维&#xff08;通常是时间&#xff09;上变化。 要做的关键是将 设置为aes(frame)要在其上设置动画的所需列。其余与地块建设相关的程…

R语言之ggplot2画图篇

1. qplot quick plot 数据集&#xff1a;diamonds &#xff08;1&#xff09;基本用法 eg library(ggplot2) length(diamonds) set.seed(1410)#设定种子数 dsmall<-diamonds[sample(nrow(diamonds),100),]#随机产生样本数 qplot(carat,price,datadiamonds)#画散点图 qpl…

R语言中的高级绘图

1、散点图 attach(mtcars) plot(wt, mpg, main"Basic Scatterplot of MPG vs. Weight", xlab"Car Weight (lbs/1000)", ylab"Miles Per Gallon ", pch19) ablin…

R语言常用的绘图参数

1.点线结构参数 在plot函数中&#xff0c;使用参数type来控制点线输出结构 参数type的取值及定义 参数取值 描述 typep 点 typel线 typeb 点连线 typeo 线穿过点 typeh 悬垂线 types 阶梯线 xc(2,4,6,8,10) xts(x,startc(2010,1)) #将x转换成时序数据&#xff0c…

R语言ggplot2|玩转Manhattan图-你有被要求这么画吗?

Manhattan图算是GWAS分析的标配图了&#xff0c;可参考Bio|manhattan图 进行绘制。 由于Manhattan点太多&#xff0c;后期AI/PS修改的话难度有点大&#xff0c;如果可以“个性化”绘制的话那是极好的&#xff01; 一 载入R包&#xff0c;数据 1&#xff09;载入数据处理的tidyv…

[R语言绘图]plot函数的使用

R语言中最简单的一个绘图函数就是plot了。如果之前用过matlab&#xff0c;用R画图的时候就很可能会尝试plot这个命令能不能使用。plot(a)一般就能得到我们想要的图。但是&#xff0c;如果想进一步设置其他属性&#xff0c;如标题、x轴名称、y轴名称等&#xff0c;还需要对另外的…

R语言绘图之ggplot2

一.基础知识 首先载入tidyverse包 # install.packages("tidyverse") library(tidyverse) 这一行代码加载了tidyverse的核心R包。在几乎所有的数据分析任务中&#xff0c;你都会用到这些R包。这行代码还会告诉你tidyverse中的哪些函数与基础R包&#xff08;或者已加…

R语言(ggplot2绘图)

原文链接&#xff1a;https://wklchris.github.io/R-ggplot2.html ggplot2 的语法与 R 原生的语法并不统一&#xff0c;但是熟悉起来也并不复杂。它主要通过“”连接多个绘图函数&#xff0c;同时允许将绘图结果赋值给其他对象&#xff0c;因此使用起来更加灵活。 ggplot2 最为…

R语言绘图——实用篇 ggplot2绘图

文章目录 R语言绘图——实用篇 ggplot2绘图绘制等值线图相关如何绘制等值线图插值&#xff0c;平滑插值插值&#xff0c;缺失值插值色条(色阶)划分图例的色条(色阶)修改&#xff0c;合理的参数值选用图例的色条(色阶)修改&#xff0c;刻度线修改无效或不显示的问题 地图绘制相关…

R语言ggplot绘图

一、R语言ggplot2绘折线图 读取文件放置的位置&#xff0c;赋予数组名称 library(ggplot2) setwd("E:\\Buffer\\My work\\ggplot_data") diameter <- read.csv("0.031_0.062_ggplot_try.csv", stringsAsFactors FALSE)看看数组里的各种内容 class(d…

R语言基础画图/绘图/作图

R语言基础画图 R语言免费且开源&#xff0c;其强大和自由的画图功能&#xff0c;深受广大学生和可视化工作人员喜爱&#xff0c;这篇文章对如何使用R语言作基本的图形&#xff0c;如直方图&#xff0c;点图&#xff0c;饼状图以及箱线图进行简单介绍。 0 结构 每种图形构成一…

R语言ggplot2绘图

R语言绘图之ggplot2 一.绘图的基本要素1.图形映射2.分面&#xff1a;3.添加平滑曲线 二.绘制条形图设置坐标抽格式 一.绘图的基本要素 首先载入tidyverse包 install.packages("tidyverse") library(tidyverse)​​​​这一行代码加载了tidyverse的核心R包。在几乎所…

R语言---ggplot绘图

散点图 堆积柱形图 library(ggplot2)ggplot(mtcars,aes(mpg,wt))geom_point()簇状柱形图 library(ggplot2) ggplot(mtcars,aes(factor(cyl),fillfactor(am)))geom_bar()直方图 密度图 library(ggplot) ggplot(mtcars,aes(factor(cyl),fillfactor(am)))geom_bar(position&qu…

R语言绘图基础

目录 一、R语言的基本绘图函数 1、高级绘图函数 &#xff08;1&#xff09;plot函数 &#xff08;2&#xff09;其他高级绘图函数 2、低级绘图函数 二、图形参数与图形控制 1、绘图参数 2、图形控制 3、图形颜色 &#xff08;1&#xff09;颜色名称 &#xff08;2&#…

R语言绘图

画图例子 R Graph Cookbook例子 From&#xff1a;http://www.dataguru.cn/article-1766-1.html 今天突然找到一本专门教授R语言绘图的书&#xff0c;R Graph Cookbook&#xff0c;发现还不错。当初喜欢上R语言就是因为它绘图特别好看。下面把这本书的内容&#xff0c;经过我学…

小米手机通用面具安装,root获取

小米手机通用面具安装,root获取 第一篇 环境准备,解锁手机 小米手机,红米手机通用面具安装方法 一 材料准备 电脑一部,没有的朋友可以去网吧小米或红米手机一部,需登录账号7天以上,可以解锁数据线一条,需要能传数据 二 解锁手机 小米有专门的解锁工具,我就不将其下载下来另存…

ADB的安装和使用教程,小米手机连接adb实例演示

首先我们需要下载 adb 的程序包&#xff0c;只要 1M 就好了。也可以通过安装 android sdk 等工具间接安装&#xff0c;可以自行百度。 小蓝枣的资源仓库&#xff0c;提取码: p8h1 adb 的安装 步骤一&#xff1a; 下载后找个位置把它解压一下。 步骤二&#xff1a; 然后把压缩…