夕小瑶科技说 原创
作者 | 智商掉了一地 

借助 ChatGPT 强大的理解与生成能力，结合基础语音模型，集成模型 AudioGPT 诞生了！

最近基于 ChatGPT 的二创如雨后春笋一样冒出，上周我们一起看了黑客松优秀作品大赏，这周又有新脑洞横空出世。有篇将 ChatGPT 用于语音理解与生成任务的文章在近日引起热议。

该模型结合了一些音频基础模型来处理具有挑战性的音频任务，并提供了一个模态转换接口，实现了口语对话功能，它擅长在多轮对话中理解和生成语音、音乐、声音以及说话者特写。虽然这是一个集成模型，但它也展现了 AIGC 工具在更多领域中的潜力。

经过语音和文本之间的转换，借助 ChatGPT 强大的语言理解与生成能力，该模型可以实现用自然语言对于语音进行操作，比如风格迁移、语音识别、语音增强等。甚至还能用自然语言直接指挥 AI，让它声情并茂地演唱《小酒窝》，以及合成说话者特写。也许未来将有机会借助这样的插件，使我们不再局限于与 ChatGPT 进行文本式对话，还可以轻松地创造丰富多样的音频内容。

论文题目: 
AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head

论文链接: 
https://arxiv.org/abs/2304.12995

代码地址: 
https://github.com/AIGC-Audio/AudioGPT

Huggingface demo 地址: 
https://huggingface.co/spaces/AIGC-Audio/AudioGPT

ChatGPT传送门（免墙，可直接测试）：
https://yeschat.cn

GPT-4传送门（免墙，可直接测试，遇到浏览器警告点高级/继续访问即可）：<br>
https://gpt4test.com

AudioGPT 支持的任务

AudioGPT 可以借助一些基础模型来理解和生成语音、音乐、声音以及说话者特写的任务，利用 ChatGPT 让生成和理解的结果更自然，其中包括：

音频到文本

• 音频文本转换（Speech Recognition）：将人类语音转换成文本 - 基础模型 Whisper；

• 音频翻译（Speech Translation）：将人类语音翻译成另一种语言 - 基础模型 MultiDecoder；

• 音频字幕（Audio Caption）：将音频描述转换成文本。

音频到音频

• 音频风格转换（Style Transfer）：根据参考样式生成带有对应风格的人类语音 - 基础模型 GenerSpeech；

• 音频增强（Speech Enhancement）：通过降噪等方式提高语音的质量 - 基础模型 ConvTasNet；

• 语音分离（Speech Separation）：分离混合多种语音的不同音频信号 - 基础模型 TF-GridNet；

• 单声道转立体声（Mono-to-Binaural）：将单声道音频转换成立体声 - 基础模型 NeuralWarp；

• 填补音频空白（Audio Impainting）：根据用户提供的 Mask 修复音频中的缺失部分 - 基础模型 Make-An-Audio。

音频到事件

• 音频事件提取（Sound Extraction）：根据描述提取音频片段；

• 声音检测（Sound Detection）：预测音频中事件的时间轴 - 基础模型 LASSNet。

音频到视频

• 语音生成头像视频（Talking Head Synthesis）：通过输入的音频生成一个说话的人类头像视频 - 基础模型 GeneFace。

文本到音频

• 文本语音生成（Text-to-Speech）：根据用户输入的文本生成人类语音 - 基础模型 FastSpeech 2。

图像到音频

• 图像音频生成（Image-to-Audio）：根据图像生成对应的音频 - 基础模型 Make-An-Audio。

乐谱到音频

• 乐谱生成歌声（Singing Synthesis）：根据输入的文本、音符和节奏生成歌声 - 基础模型 DiffSinger 和 VISinger。

模型速览

支持音频处理的 LLMs 的训练仍然具有挑战性，原因如下：

1. 数据有限：获得人工标注的语音数据是一个昂贵和耗时的任务，而提供真实世界的口语对话的资源仅有少数可用。此外，与庞大的网络文本数据相比，数据量有限，而多语言的对话数据则更为稀缺。

2. 浪费计算资源：从头开始训练多模态 LLM 需要大量的计算资源和时间。鉴于已经存在可以理解和生成语音、音乐、声音和说话者特写的音频基础模型，从头开始训练将是一种浪费。

本文提出的 AudioGPT 是一个多模态的人工智能系统。它针对于上述问题，对目前的 ChatGPT 应用进行了补充，具体有两点：

1. 配备基础模型：处理复杂的音频信息，将 ChatGPT 视为通用接口，解决大量的理解和生成任务。

2. 连接输入/输出接口（ASR，TTS）：支持口语对话。