明敏 整理自 凹非寺
量子位 | 公众号 QbitAI
ChatGPT掀起AIGC浪潮后,关于它的影响,成为了行业内外最为热议的话题之一。
宏观的观点已不胜枚举:改变世界、AI的iPhone时刻……
但如果回归到技术本质,它到底会带来哪些变革?
我们认为,它会改变信息分发获取的模式。革新内容生产模式,变革人机交互模式,同时也会促进多个产业的升级。
这是科大讯飞AI研究院常务副院长高建清,在首届中国AIGC产业峰会上给出的答案。
作为国产AI的中坚力量,在这股最新趋势下,科大讯飞始终被寄予厚望。
尤其在2月初,他们率先给出类ChatGPT技术与产品跟进情况及定档时间,更是把行业内外的期待值拉满了。
具体如何?还得5月6日见分晓。
但提前剧透已经来了。
在首届中国AIGC峰会现场,在语音识别、语音合成、自然语言理解等领域拥有深厚积累和成果的科大讯飞AI研究院常务副院长高建清,分享了科大讯飞对于AIGC趋势的理解、技术进展、产品应用,以及认知智能大模型相关思考等内容。
为了完整体现他的思考,在不改变原意的基础上,量子位对其演讲内容进行了编辑整理,以飨读者。
中国 AIGC 产业峰会是由量子位主办的行业峰会,近 20 位产业代表与会讨论。线下参与观众 600+,线上收看观众近 300 万,得到了包括 CCTV2、BTV 等在内的数十家媒体的广泛报道关注。
演讲要点
“底座+能力+应用”是科大讯飞AIGC整体布局的三层架构。
语音合成将会向着交互更加拟人化、情感化、口语化的方向发展,并且要控制好音色、音律、口音等语义信息。
ChatGPT引发的创新,让AI在逻辑推理、多角色、多风格文本生成上都有了巨大进步。
大模型会改变信息分发获取的模式,并给内容生产模式、人机交互带来变革。
以下为高建清演讲全文:
音频创作也会向大模型方向发展
非常荣幸能有这样的机会和大家分享科大讯飞在AIGC方面的技术探索与应用创新方面的一些进展。
如下是科大讯飞在整个AIGC领域的布局情况。
科大讯飞在AIGC的三大模块:音频创作、视觉创作和文本创作,都有一些自己的理解和进展。
在音频创作方面,讯飞是一家以语音起家的公司,我们在音频创作方面有语音合成的全栈能力;在视觉创作方面,积累了以虚拟人为核心的完整视频创作能力;在文本生成方面,讯飞这些年主要围绕行业应用做了很多工作。
今天将主要围绕这三个方面展开介绍。
首先看一下音频创作。
在这一领域,我们认为最重要的技术之一是语音合成。
现阶段,播报式的语音合成已经接近或达到真人水平,接下来的发展趋势是什么?
我们认为,首要的发展趋势是如何在交互领域实现更好的拟人化、情感化以及口语化,总之让它更像真人。
另外,在内容生产领域,如何更好控制音色、音律、口音等语音里最重要的语义信息,也是一个重要的发展方向。
这两年我们也在这些领域有了一些进展。
首先是虚拟声音自动创作方面。
语音合成里,和声音相关的两个最主要元素:
第一是音色
第二是韵律信息
我们对这两部分进行显示建模,这样当你给系统输入一个人设时,比如青年甜美的女声,就可以生成对应的音色。
目前我们通过这一技术已经虚拟生成了500个声音,并在讯飞开放平台上开放。在满分为5.0MOS分的情况下,我们生成的声音超过4.0MOS分,已经达到了可用的阶段,有了这种虚拟生成声音的方式,大家可以选择生成喜欢的一些声音。
第二方面,怎样向多情感、多风格方面拓展?
去年,科大讯飞发布了全新的语音合成系统,即多情感多风格SMART-TTS系统。
这是一个端到端的方案,输入文本直接得到语音输出。其中有三个关键模块,第一是跨模态预训练,第二是韵律预训练,第三是声学预训练。三部分各司其职。
第一个模块可以提高语音合成中韵律的自然度;第二个模块是一个中间模块;最后一个模块可以提高声音整体的音质。
通过这样一个系统合成的声音,和专业声音演员录音水平的差距0.05MOS,已经取得了非常好的进展。
MOS是Mean Opnion Score的缩写,译为平均意见得分,是音频质量主观评估方法的一种。在语音合成领域,常见的有自然度MOS(MOS of naturalness),相似度MOS(MOS of similarity)。
在这个系统中,我们还拓展了多个风格。
以往大家熟悉的语音合成主要用于播报、交互等领域,现在我们可以支持纪录片、游戏解说、广告直播等十多个领域。
同时,语音的情感能得到控制,SMART-TTS提供11种情感,每个情感有20档调节能力。我们发现,停顿、重音、语速等关键属性对于声音的表现力非常重要,这些也可以进行调节。我们也将这些能力开放给开发者,让大家都能创造并得到想要的声音。
下面是一个简单的demo,其中有各种不同风格的声音。
还有通过声音合成制作的二十四节气纪录片。
可以看到,近年来声音合成已经不是传统意义上的播报、机器风格,已经向多感情、更多场景去拓展。
接下来音频创作会向什么方向发展?
我们认为有两个大方向:
第一,大家今天谈论最多的是大语言模型。在声音领域,大语言模型也是一个重要方向,ChatGPT给声音创作领域带了很多启示。
如果我们用Audio大语言模型方案,有可能对语音合成中的一些关键因素,比如口音、韵律等特征,进行很好的控制。
另外就是声音艺术。其实现在追求的不仅是声音能够表达意思,而是怎样能从自然可懂到悦耳享受。比如在声音中插入音效、环境音,会对整个语音合成的感受有很大改善。
5月发布大模型新成果
接下来来看第二部分,即科大讯飞在视觉创作方面的一些进展。
在虚拟人多模态合成方面,科大讯飞从2018年首发多语种虚拟人口唇驱动,2021年发布了2D真人捏脸系统。目前已经形成了3D虚拟口唇表情和动作的AI驱动到AI贯穿3D形象构建的全流程。
首先看一下虚拟人领域的关键技术——动作生成。
众所周知肢体语言对虚拟人来说非常关键,业界传统方法是采用动作库。
要知道,动作生成和两个因素有很大关系:
第一是语音发音中的韵律节奏
第二是动作意图
针对这两部分进行建模,能够很好实现动作合成,讯飞研究院提出的语义驱动虚拟人动作技术,在虚拟人动作的拟人度和契合度方面,都较传统方案有很大改善,从2.63分提升到3.75分左右。
第二个方面也一样,我们希望实现语音可控的半身数字人像生成。
通过文本语义约束的人像语义空间构建、基于扩散模型的人像语义向量生成两个阶段,输入一个人设,就能动态生成下图右边这些图像。这些图像是半身数字人的形象。
最后一个虚拟人的关键因素就是3D虚拟人的动态生成。
近两年科大讯飞研究院打造了个性化3D虚拟人复刻系统,实现了基于一张图片、一段语音就能驱动3D虚拟人,同时还支持3D虚拟人发型、眼睛、嘴型进行动态二次编辑。
在这些虚拟人技术的基础上,我们在产品方面也有一些探索。
讯飞音乐发布了AI虚拟歌手Luya,通过上述所说的音色创作技术,给这个虚拟歌手赋予了一定声音的能力。通过AI变声以及歌曲合成,现在TA已经发布了十多首歌曲,其中一些歌曲也得到了大众的喜爱。
那么问题来了,虚拟人未来的发展趋势是什么?
首先我们认为,现在虚拟人制作过程中还有很多人工环节,如果把AI能力融合进去的话,全流程加入AI会解决很多问题。
另外AIGC这一两年的发展速度非常迅猛,从文本到声音到图像,这些全栈能力的集合,让我们觉得可以形成以虚拟人为中心的全栈视觉生成能力。
接下来,再看一下科大讯飞在AIGC方面产品创新的一些探索。
首先是我们推出了讯飞智作APP,这个APP结合了以上很多AIGC能力,希望能够打造一个音视频内容的AI创作基地,这里有一个简单的demo:
第二个是讯飞音乐的词曲家平台。
通过AI的辅助作词作曲,可以帮助创作者提高生产力。通过歌曲试音及质量分析,能够使采买人和音乐人之间的沟通变得更加顺畅。
最后再简单介绍一下科大讯飞在文本生成方面的思考。
关于文本生成,我们在教育、医疗等行业应用上做了很多工作。过往的一些进展今天不做过多赘述,主要分享一下我们在大模型基础能力上的一些理解和布局。
首先,ChatGPT基于所谓大语言模型,正是因为模型数据量巨大,使得它对信息记忆非常完整。
第二个是它范式上的最大变化,是将以往NLP里面每一个任务进行单独建模,ChatGPT是典型多任务的对话式理解的建模,正是因为它对多任务同时建模,使得模型在底层的语义理解能力极大增强;
另外,它采用学习的方法,能够将人类反馈非常好地融入到模型中。
正是这几方面创新,让AI在逻辑推理、多角色、多风格文本生成等方面都有了很大进步。
同时,大模型也会给产业带来非常大变革。
我们认为它会改变信息分发、获取模式,首先会给搜索引擎带来非常大的影响,其次也会给内容生产模式带来革新;第三对于人机交互会产生一个大变革。
在这个趋势下,科大讯飞在大模型方面也在开展一些工作。主要会基于我们对自身所在领域的理解,包括场景、数据、场景中的行为等方面,以及在教育、医疗、人机交互、办公这些方向。
之前讯飞研究院也在认知智能大模型上有一定积累和探索,5月6日我们也将有新的发布,敬请大家期待!