2022年语音合成(TTS)和语音识别(ASR)年度总结

论文统计每月更新一次,主要跟踪语音合成和语音识别的发展状况(很多文章都是在会议后才发出,但不影响统计。统计过程难免存在疏漏,因此统计结果仅供参考。所有文章语音合成领域统计列表请访问http://yqli.tech/page/tts_paper.html,语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。开源语音数据查询 http://yqli.tech/page/data.html。

如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg)。读者有什么建议可以直接给我发消息,我将不断修改该统计。如有转载,请注明出处。欢迎关注微信公众号:低调奋进。

2022年语音合成和语音识别文章统计excel https://docs.google.com/spreadsheets/d/11YYOg6i6UXw19_g1JRaXGNhvt1zhG24RgOXCzZlqZGE/edit?usp=sharing

AIGC统计http://yqli.tech/page/aigc.html


文前声明:由于本人非学术圈,所写内容不能面面俱到,仅为个人见解,大家谨慎参考


前言

(本部分主要胡思乱想,读者可直接跳到语音合成和识别部分)

本打算不写吐槽,但不吐槽又感觉缺少点什么,一整年都在吐槽中度过,上半年吐槽上海下半年吐槽北京。如何总结今年的生活呢?感觉发生很多很多事情,但关于自身记忆犹新的事情却少之又少。今年,我们旁观了诸多国内外发生的载入历史画卷的事件,也亲身体验了几种截然不同的生活方式,有亢奋、有愤怒、有豁达,所有事情过后又感觉一片空白和茫然,非常不实,普通的个体对历史和超大群体来说微如尘埃。

本公众号差不多开通两年,第一个年头能保持周更,但今年只能保持每月一次的文章总结。总结起来主要以下几个原因:1)以前分享内容主要以分析论文为主,现阶段我更喜欢在某一个方向做总结,而且写文章尝尝几个钟头,所以就把分享论文停了。虽然停止论文分享,但也能坚持读读论文,后续可能会把文章总结整理到个人网站,再分享到公众号上(个人网站便于资料管理和查找,公众号后台的文章管理做的太差了)。2)公众号的封闭圈子和微薄的激励消磨了太多作者的热情。记得两年前,有好几个朋友一起做公众号,但他们更新几篇文章就停更了。一方面,公众号是在封闭的圈子进行信息传播、缺少交流机制(18年后创建公众号取消留言功能)等因素造成读者很少,这扑灭了大部分作者长久更新的热情。另一方面,公众号不挣钱,更多靠作者的激情来维护(以本公众号为例,在不接广告、不乱插入广告情况下一年也就几十元钱,买个读书会员都不够)。幸好,我把公众号当成个人网站的窗口,这也是保持长久更新原因。不积跬步无以至千里,去年计划很多事情,最终没能完成,志大才疏,缺少细微的计划。因此,本年将会步步为营,尽量恢复每周一更。

近几年,AI行业因为开销大不挣钱而被很多人看衰,我身边的前同事也有转到其它领域。今年,AIGC很争气,把AI的火焰又给鼓吹了起来,其中最璀璨的两颗明珠莫过于文生图(CompVis/stable-diffusion开源后就38.6k stars)和ChatGPT(分享一个国内体验网站https://chatgpt.sbaliyun.com,搭建该网站的仁兄真直抒胸臆)。AIGC相关的开源项目和产品增加了很多,我在个人的网站对开源的项目进行了罗列,大家可进行访问体验 (http://yqli.tech/page/aigc.html,http://yqli.tech/page/aigc_review.html)。

出于好奇,我对以上的产品进行体验。ChatGPT的确很惊艳,生成的文字内容文案可以直接发布,一些简单的代码也可以生成,也可以回答一些领域的解决方案,但想要替换掉程序员目前还有些距离(感觉一些非技术人员总喜欢夸大其作用,有些人体验ChatGPT的后感觉不把程序员辞了不后快,不想想做文案工作不是更容易被替换掉吗?)。对于文生图,我的体验没有那么惊艳,虽然有时候可以生成精美的图片,但并不是我预期的图片内容。AIGC的最终极的皇冠还是视频生成,如果视频生成走到商业落地的程度,是否可以革了视频内容平台。接下来,提一下我体验的前段时间在抖音上很火的AIGC的应用:AI绘画。AI绘画在抖音等平台火起来不仅仅出于它可以生成各种风格的动画图,更因为它生成很多离谱的翻车图片(下边选了几张具有代表性的例子),这不仅让人怀疑这些产品是否昙花一现。最后,无论是文生图、ai绘画、数字人、chatgpt等成果的闪亮登场,都给AI行业注入新的活力,让我们期待一下2023年将会有更多闪亮AI应用可以破圈,迎接下一波的AI浪潮。

(终于到正文了~_~)

2022年12月份语音合成和语音识别 文章总结可阅读该文章https://mp.weixin.qq.com/s/uMCyEi_yL0kxJnw6WeLGcA

一 语音合成篇

表一给出具体分类说明。2022年语音合成有446篇文章,比2021多一些。图二和图三是2022年和2021年在每个研究方向上对比柱状图和饼状图,除了声学模型网络结构和声音转换相对稍微下降,其它方向都有上升。本年度的热点主要分布在声学模型、声码器、歌唱合成、声音转换和多模态。我们知道Diffusion模型在图像领域很火,同样在语音合成领域有24篇文章采用该技术。最后,自从vits端到端以来,很多开源平台也都支持该网络,今年也有十来篇文章做端到端,比如trinitts naturalspeech等等,端到端依然会是接下来几年的研究热点。

表一  语音合成分类说明

分类

说明

前端

多音字,韵律,g2p等等。

声学模型

语言特征转声学特征,attention工作,多说话人以及双重学习

声码器

波形生成

个性化

少数据,脏数据应用等自适应

多语言和多说话人

多语言模型、多说话人模型

歌唱合成

歌唱和音乐合成

情感

风格和情感

多模态

主要搜集talking head文章

声音转换

基于GAN方案和特征解耦方案

S2S

 speech-to-speech

其它

基于EEG合成,开源数据,MOS评测以及语音合成的应用

图一  2022和2021语音合成论文总量

图二 2022年和2021年语音合成各领域文章分布柱状图

图三 2022年和2021年语音合成各领域文章分布饼状图

语音合成的文章列表请访问http://yqli.tech/page/tts_paper.html

二 语音识别篇

语音识别的文章分类参照表二说明。2022年语音识别文章有641篇,由于今年刚开始统计语音识别文章,所以没有对比2021年情况。由图四和图五可知,声学模型性能优化、无监督学习、多语言系统、个性化、speech translation以及speaker diarization等领域​研究较多,其中开源工具espnet、wenet、k2、paddlespeech等都搞得如火如荼 (可参见煮酒论开源语音工具包https://mp.weixin.qq.com/s/ZFD2mUAC1B6ZH5JEf5yJmg)​。​​

                                 表二 语音识别分类说明

分类

说明

general

包括传统、混合语音识别,以及对asr的优化

ctc

ctc优化

rnn-t

rnn-t的优化

aed

aed优化

dataset

开源数据库

data aug

数据增广

lm

语言模型研究

multilingual

多语音系统以及code-switch

personal

少数据量自适应以及个性化ASR

rescoring

多种模型联合打分

unsupervised

无监督,半监督或者自监督学习

accent ,dialect

口音和方言

other

其它方向研究,包括系统评价标准等等

robust鲁棒性
speaker diarizationspeaker diarization

multichannel

多通道
speech translation语音翻译
multi-modal多模态

         图四 语音识别文章分布柱状图(单位:篇)

图五 语音识别文章分布饼状图

语音识别的文章列表请访问http://yqli.tech/page/asr_paper.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/17790.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ControlNet多重控制功能推出,AI绘画进入导演时代!

目录 一、“不会开发游戏的AI工具制作者不是好博士” 二、ControlNet出现的背景 三、什么是ControlNet? 四、「神采 Prome AI」的诞生 五、总结 去年DALLE2,Stable Diffusion等文-图底层大模型发布带动了应用层的发展,出现了一大批爆款产…

阿里类ChatGPT产品正在内测;谷歌AI聊天机器人翻车,市值缩水逾7000亿元;Android 14开发者预览版发布|极客头条...

「极客头条」—— 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧。 整理 | 梦依丹 出品 | CSDN(ID:CSDNnews) 一分钟速览新闻点&#…

InsCode AI 创作助手:源于 CSDN 的 AI 创作助手,不一样的创作体验

文章目录 📋前言🎯AIGC 时代的产物🎯InsCode AI 创作助手体验🎯一些感受和建议🧩感受🧩建议(个人看法) 📝最后 📋前言 是的没错,CSDN AI 写作助手…

零基础部署chatglm

目录 ubuntu部署 1. 下载安装anaconda3 2. 创建并虚拟环境 3. 下载安装chatglm 4. 修改代码,减少gpu使用,目前使用6G显存 5.启动web服务 windows部署 1. 下载安装anaconda3 2. 创建并虚拟环境 3. 下载安装chatglm 4. 修改代码,减少…

chatgpt赋能Python-python3虚拟环境搭建

Python3虚拟环境搭建:介绍和步骤 Python是一门非常强大的编程语言,因此在许多不同类型的项目中都广泛使用。但是,不同项目可能需要使用不同版本的Python库和依赖项。这就是使用Python的虚拟环境的重要性,可以避免不同项目之间的冲…

吴恩达《ChatGPT Prompt Engineering for Developers》学习笔记

来自:口仆 进NLP群—>加入NLP交流群 本笔记是 deeplearning.ai 最近推出的短期课程《ChatGPT Prompt Engineering for Developers》的学习总结。 1 引言 总的来说,当前有两类大语言模型(LLM):「基础 LLM」 和「指令…

深度学习(20):nerf论文翻译与学习

目录 1 Introduction 2 Related Work 3 Neural Radiance Field Scene Representation 4 Volume Rendering with Radiance Fields 5 Optimizing a Neural Radiance Field 5.1 Positional encoding 5.2 Hierarchical volume sampling 5.3 Implementation details 6 Resu…

软件测试相关的一些笔记(七拼八凑笔记)

小插曲 IT行业职位简称 PD---product director(产品总监/部门经理)比项目经理级别高 PM---Project Management (项目经理) PL---Project Leader项目组长 PG---Prograer 程序员 SA---SystemAnalyst 系统分析师 QA--- QUALITY ASSU…

VALSE2023-内容总结(正在更新)

博文为精选内容,完整ppt请留言索取 一周内更新完毕,敬请期待 2023年度视觉与学习青年学者研讨会 (Vision And Learning SEminar, VALSE)于6月10日至12日在无锡太湖国际博览中心召开,由中国人工智能学会、中国图象图形学学会主办,…

特斯拉今天拉了,马斯克迟到半小时,一开口市值蒸发2048亿元

编辑部 发自 凹非寺量子位 | 公众号 QbitAI 啥也没有! 17万新车、HW4.0、4D雷达……在大伙儿万众期待的特斯拉投资者日活动上,统统都没有! 而且马斯克还迟到整整半小时,一张口股价就跌了1.43%,市值直接蒸发约2048亿元&…

【Shader Graph】SmoothStep节点详解及其应用

目录 一、SmoothStep函数 二、基础图像 情况一&#xff1a;t1 > t2 情况二&#xff1a;t1 < t2 三、两个SmoothStep函数相减的图像 1&#xff09;SmoothStep(t1&#xff0c;t2&#xff0c;x) - SmoothStep(t2&#xff0c;t3&#xff0c;x) 2&#xff09;SmoothS…

【Unity_Input System】Input System新输入系统(一)

目录 一、导入Input System包 二、使用方式1&#xff1a;直接从输入设备对应类中获取输入 三、使用方式2&#xff1a;用代码创建InputAction获取输入 四、使用方式3&#xff1a;用Player Input组件获取输入 五、使用方式4&#xff1a;用Input Action Asset生成C#代码获取输…

Echarts的地图实现拖拽缩放同步功能(解决多层geo缩放、拖动卡顿问题)

项目场景&#xff1a; 大屏项目显示云南省3D的地图&#xff0c;可拖拽缩放、地图打点、点击图标弹框等等功能 问题描述 多图层拖拽时会上下层会分离&#xff0c;延迟卡顿 原因分析&#xff1a; 1、拖拽时不同图层的中心坐标没有保持一致&#xff0c; 2、卡顿是数据更新动画时…

php编写年历流程图,使用PHP怎么编写一个万年历功能

使用PHP怎么编写一个万年历功能 发布时间&#xff1a;2020-12-25 14:27:13 来源&#xff1a;亿速云 阅读&#xff1a;94 作者&#xff1a;Leah 这篇文章将为大家详细讲解有关使用PHP怎么编写一个万年历功能&#xff0c;文章内容质量较高&#xff0c;因此小编分享给大家做个参考…

mysql审计audit插件_MySQL审计工具Audit插件使用

MySQL审计工具Audit插件使用一、介绍MySQL AUDIT MySQL AUDIT Plugin是一个 MySQL安全审计插件&#xff0c;由McAfee提供&#xff0c;设计强调安全性和审计能力。该插件可用作独立审计解决方案&#xff0c;或配置为数据传送给外部监测工具。支持版本为MySQL (5.1, 5.5, 5.6, 5.…

计算机小知识应用,电脑使用小知识

办公用品网平台正在火热招商中&#xff01;&#xff01;&#xff01; 1.在我们使用软件时&#xff0c;大部分软件(如word&#xff0c;excel&#xff0c;PPT&#xff0c;等)会使用CTRL键加s键进行快捷保存。比如说&#xff0c;我们在写word文档时&#xff0c;写完一段&#xff0…

linux tree工具使用,Dutree–Linux上磁盘使用情况分析的免费开源命令行工具

Dutree是一款免费的开源&#xff0c;快速的命令列工具&#xff0c;用于分析磁碟使用情况。Dutree是Durep和Tree的组合。Durep用图表创建磁盘使用情况报告&#xff0c;这使我们能够确定哪些目录使用了最多的空间。尽管durep可以产生类似于du的文本输出&#xff0c;但其真正的功能…

直播预告 | 虹科Vuzix AR眼镜赋能汽车业“智慧眼”

就在今天20:00-21:00&#xff01; 虹科行业AR解决方案直播课程《虹科AR汽车行业解决方案》&#xff0c;深刻透析汽车业诊断、维修、培训的“四大痛点”&#xff0c;介绍汽车行业AR创新解决方案、培训场景解决方案、数字化工作流解决方案、远程协助全场景解决方案&#xff01; …

2023,智能硬件的AIGC“又一春”

​ 文|智能相对论 作者|佘凯文 消费电子产品风光不再&#xff0c;特别是自去年以来&#xff0c;电子消费市场经历了一整年的寒潮袭击&#xff0c;智能手机等产品达到10年消费谷底&#xff0c;PC出货量整体下降16%&#xff0c;不仅如此&#xff0c;包括平板、可穿戴设备也一改…

ChatGPT 速通手册——开始提问

开始提问 当我们完成注册后&#xff0c;页面自动会跳转到ChatGPT的主页面&#xff0c;在这里我们就可以开始进行对话了。 我们在页面下方的输入框中填写问题&#xff0c;然后回车或者点击小飞机&#xff0c;我们的问题和ChatGPT的答案就会在页面上方以一问一答的格式展现出来…