迈向通用听觉人工智能!清华电子系、火山语音携手推出认知导向的听觉大语言模型SALMONN

日前,清华大学电子工程系与火山语音团队携手合作,推出认知导向的开源听觉大语言模型SALMONN (Speech Audio Language Music Open Neural Network)。

大语言模型 SALMONN LOGO

大语言模型 SALMONN LOGO

相较于仅仅支持语音输入或非语音音频输入的其他大模型,SALMONN对语音、音频事件、音乐等各类音频输入都具有感知和理解能力,相当于给大语言模型“加了个耳朵”,从而涌现出多语言和跨模态推理等高级能力。本文中涌现能力是指模型训练中没有学习过的跨模态能力。

具体来说,通过给Vicuna 13B大语言模型增加一个基于Whisper Encoder的通用音频编码器,并使用一个融合器对齐音频和文本模态,SALMONN模型就对音频模态具有了直接感知,不再是“缸中之脑”;与先使用API调用“ToolFormer”,将语音或非语音音频输入转为文字,再将文字输入大语言模型的API路线相比,SALMONN可以直接从物理世界获取知识,并对一些复杂的音频场景涌现出完整的理解能力。

此外与传统的语音识别、音频字幕生成等语音和音频处理任务相比,SALMONN利用了大语言模型从海量文本中学习得到的常识和认知能力,实现了一种认知导向的音频感知,大幅提高了模型的通用性和任务的丰富性;另外SALMONN 能够较为准确地听从使用者的文本指令,甚至语音指令。由于该模型只使用了基于文本指令的训练数据,因此听从语音指令也是一种跨模态的涌现能力。

图片

SALMONN 结构示意图

总体而言,目前SALMONN能够胜任英语语音识别、英语到中文的语音翻译、情感识别、音频字幕生成、音乐描述等重要的语音和音频任务,同时又涌现出多种在模型训练中没有专门学习过的多语言和跨模态能力,涵盖非英语语音识别、英语到(中文以外)其他语言的语音翻译、对语音内容的摘要和关键词提取、基于音频的故事生成、音频问答、语音和音频联合推理等任务。

对此,研究团队将上述任务依据难易程度分为三类,并一一提出了Demo进行展现,它们分别是:

  • 模型训练中学习过的任务

  • 模型训练中没有学习过,但大语言模型能够基于文本输入完成的任务

  • 模型训练中没有学习过,需要直接感知音视频的多模态大模型才能完成的任务

第一类:模型训练中学习过的任务

语音识别(Automatic Speech Recognition)

音频样例:

asricon-default.png?t=N6B9https://share-shalong.oss-cn-hangzhou.aliyuncs.com/%E5%AD%97%E8%8A%82%E6%96%87%E7%AB%A0/asr.wav

上述语音中的英文语句:But I was also stumbling because I couldn’t look away from these things. (中文翻译为:我也曾跌跌撞撞,因为我无法将目光从这些东西上移开。)

图片

SALMONN运行截图(语音输入)

音频字幕生成(Audio Captioning)

音频样例:

audiocaptionicon-default.png?t=N6B9https://share-shalong.oss-cn-hangzhou.aliyuncs.com/%E5%AD%97%E8%8A%82%E6%96%87%E7%AB%A0/audiocaption.wav

图片

SALMONN运行截图(音频输入)

SALMONN输出的中文翻译为:音效包括枪声、爆炸声和喊叫声。音效质量高,混音效果好,营造出逼真、身临其境的音频体验。对话清晰易懂,在激烈的战斗场面中,角色们相互呼喊和交流。音乐也有,但没有音效那么突出,增加了场景的整体氛围。

音乐描述(Music Descrption)

音频样例:

musicicon-default.png?t=N6B9https://share-shalong.oss-cn-hangzhou.aliyuncs.com/%E5%AD%97%E8%8A%82%E6%96%87%E7%AB%A0/music.wav

图片

SALMONN运行截图(音乐输入)

SALMONN输出的中文翻译为:音乐是轻快欢快的曲调,节奏稳定。它是在钢琴上演奏的,旋律简单、朗朗上口。

情感识别(Emotion Recognition)

音频样例:

emotionicon-default.png?t=N6B9https://share-shalong.oss-cn-hangzhou.aliyuncs.com/%E5%AD%97%E8%8A%82%E6%96%87%E7%AB%A0/emotion.wav

图片

SALMONN运行截图(情感识别中的语音输入)

SALMONN输出的中文翻译为:说话人的情绪是失望的。

第二类:模型训练中没有学习过但大语言模型能够基于文本输入完成的任务

英语到其他语言的语音翻译,是一种多语言的涌现能力

音频样例:

asr_en2deicon-default.png?t=N6B9https://share-shalong.oss-cn-hangzhou.aliyuncs.com/%E5%AD%97%E8%8A%82%E6%96%87%E7%AB%A0/asr_en2de.wav

英语语音输入

语音中的英文语句:But I was also stumbling because I couldn’t look away from these things.

图片

SALMONN运行截图

SALMONN的德语输出:Ich stolperte auch, weil ich nicht aus den Dingen heraussehen konnte. (中文翻译为:我也因为看不清东西而跌跌撞撞。)

语音关键词提取,是一种涌现能力

音频样例:

keywordsicon-default.png?t=N6B9https://share-shalong.oss-cn-hangzhou.aliyuncs.com/%E5%AD%97%E8%8A%82%E6%96%87%E7%AB%A0/keywords.wav

语音输入

语音中的英文语句:He tells us that at this festive season of the year with Christmas and roast beef looming before us similes drawn from eating and its results occur most readily to the mind. (中文翻译为:他告诉我们,在这个圣诞节和烤牛肉迫在眉睫的节日里,人们脑海中最容易浮现出从饮食及其结果中得出的比喻)

图片

SALMONN运行截图

SALMONN输出的关键词:festive season(佳节)、Christmas(圣诞节)、roast beef(烤牛肉)

语音问答是一种涌现能力

音频样例:

spoken_queryicon-default.png?t=N6B9https://share-shalong.oss-cn-hangzhou.aliyuncs.com/%E5%AD%97%E8%8A%82%E6%96%87%E7%AB%A0/spoken_query.wav

语音中的英文语句:How a rocket engine works? (中文翻译为:火箭发动机是如何工作的?)

图片

SALMONN运行截图

SALMONN 输出的中文翻译为:火箭发动机的工作原理是在燃烧室中燃烧氢气或煤油等燃料,产生的热气通过喷嘴喷出。喷嘴的形状可以将气体引向特定的方向,产生推力推动火箭前进。

燃料通常与液氧等氧化剂混合,发生化学反应,以热量和压力的形式释放出大量能量。燃烧过程产生的热量使燃料汽化,产生的压力将气体推出发动机。

燃烧过程中产生的热气随后被导入喷嘴,喷嘴的形状类似锥体。喷嘴的作用是使气体膨胀,从而提高气体的速度,形成高速气体射流,产生推力。

火箭发动机产生的推力推动火箭前进,使其摆脱地球引力,在太空中飞行。火箭发动机的具体设计,包括使用的燃料、喷嘴的形状和发动机的大小,将决定产生推力的大小和火箭飞行的具体特点。

第三类:模型训练中没有学习过但需要直接感知音视频的多模态大模型才能完成的任务

基于音频的故事生成

音频样例:

audio_story_tellingicon-default.png?t=N6B9https://share-shalong.oss-cn-hangzhou.aliyuncs.com/%E5%AD%97%E8%8A%82%E6%96%87%E7%AB%A0/audio_story_telling.wav

带有语音的音频场景输入

音频描述:Rustling occurs, ducks quack and water splashes, followed by an adult female and adult male speaking and duck calls being blown. (中文翻译为:发出沙沙声,鸭子嘎嘎叫,水花四溅,随后成年男性和成年女性说话,鸭子发出叫声)

图片

SALMONN运行截图

SALMONN输出的中文翻译为:阳光明媚,鸟语花香,一群孩子在树林里散步。他们正在寻宝,决心尽可能多地找到清单上的物品。

走着走着,他们听到附近的池塘里传来一阵奇怪的声音。听起来像是鸭子在嘎嘎叫,但声音更大,也更持久。孩子们急忙跑到池塘边去调查。

当他们走近池塘时,看到了他们从未见过的东西。一只巨大的鸭子正坐在池塘边,大声地叫着。这只鸭子有一辆汽车那么大,叫声响亮,几英里外都能听到。

孩子们看到这只巨型鸭子都惊呆了。他们以前从未见过这样的东西。他们慢慢靠近鸭子,尽量不惊动它。

当他们走近时,鸭子转过身来对他们说话。"你们好,孩子们,“用低沉洪亮的声音说。"什么风把你们吹到我的池塘来了?” .......

语音指令的音频推理

带语音指令的音频输入

音频样例:

spoken_audio_queryicon-default.png?t=N6B9https://share-shalong.oss-cn-hangzhou.aliyuncs.com/%E5%AD%97%E8%8A%82%E6%96%87%E7%AB%A0/spoken_audio_query.wav

带语音指令的音频输入

语音中的英文语句:Can you guess where I am right now?(中文翻译为:你能猜出我现在在哪里吗?)

图片

SALMONN运行截图

SALMONN输出的中文翻译:当然,我可以猜猜你现在在哪里。根据背景的枪声,听起来你可能身处战区或危险地区。枪声符合自动武器的声音,如 AK-47 或 M-16。此外,背景中的爆炸声表明,您可能正身处使用炸弹或其他爆炸装置的地点。

在没有更多信息的情况下,很难说得更具体,但根据枪声和爆炸声,你有可能身处战区或战乱国家。也有可能是在犯罪活动或暴力活动猖獗的地方。

希望以上内容对您有所帮助,如果您还有其他问题或需要我提供其他帮助,请告诉我。

整体来看,SALMONN 在三类不同难度的任务上都有较好表现,并涌现出惊艳的音频理解与推理能力,成功打通了音频与文本模态,初步展现出一定的通用听觉人工智能。研究团队将在近期开源 SALMONN  v1.0 模型及相关代码,并将在未来持续更新 SALMONN,使大模型能够更好地感知多模态物理世界,为建设开源的通用人工智能添砖加瓦。欢迎大家持续关注!

另附:

 Github 仓库:https://github.com/bytedance/SALMONN/

 Demo 链接:https://bytedance.github.io/SALMONN/

清华大学电子工程系多媒体信号与智能信息处理实验室在医工交叉和语音处理领域有丰富的研究积淀。实验室的张超研究组成立于2022年,专注于多模态语音语言处理和计算认知神经科学研究。

火山语音团队,面向字节跳动内部各业务线,提供优质的语音AI技术能力以及全栈语音产品解决方案,并通过火山引擎对外提供服务。自 2017 年成立以来,团队专注研发行业领先的 AI 智能语音技术,不断探索AI 与业务场景的高效结合,以实现更大的用户价值。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/96354.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

insightface安装过程中提示 Microsoft Visual C++ 14.0 or greater is required.

pip install insightface安装过程中提示 Microsoft Visual C 14.0 or greater is required.Get it with "Microsoft C Build Tools": https://visualstudio.microsoft.com/visual-cpp-build-tools/ 根据提示网站访问官网下载生成工具 打开软件后会自动更新环境&#…

AI搜索引擎助力科学家创新

开发者希望通过帮助科学家从大量文献中发现联系从而解放科学家,让他们专注于发现和创新。 图片来源:The Project Twins 对于专注于历史的研究者Mushtaq Bilal来说,他在未来科技中投入了大量时间。 Bilal在丹麦南部大学( Universit…

「UG/NX」Block UI 曲线收集器CurveCollector

✨博客主页何曾参静谧的博客📌文章专栏「UG/NX」BlockUI集合📚全部专栏「UG/NX」NX二次开发「UG/NX」BlockUI集合「VS」Visual Studio「QT」QT5程序设计「C/C+&#

机器人的运动范围

声明 该系列文章仅仅展示个人的解题思路和分析过程,并非一定是优质题解,重要的是通过分析和解决问题能让我们逐渐熟练和成长,从新手到大佬离不开一个磨练的过程,加油! 原题链接 机器人的运动范围https://leetcode.c…

github以及上传代码处理

最近在github上传代码的时候出现了: /video_parser# git push -u origin main Username for https://github.com: gtnyxxx Password for https://gtny2010github.com: remote: Support for password authentication was removed on August 13, 2021. remote: Plea…

VB6编程IEEE浮点算法实践

纯代码实现浮点计算实际上对浮点算法的再实践。IEEE浮点表示法是Modbus RTU协议至今还在用的传送编码,更是WITS 1记录标准的基础。以往实现 MKI、CVI,MKL、CVL,MKS、CVS,MKD、CVD在高级语言里封装了现成的语句,现在Pow…

创建和运行 Ansible 临时命令

创建和运行 Ansible 临时命令 作为系统管理员,您需要在受管节点上安装软件。 请按照正文所述,创建一个名为 /home/curtis/ansible/adhoc.sh 的 shell 脚本,该脚本将使用 Ansible 临时命令在各个受管节点上安装 yum 存储库: 存储库…

【C++】函数指针

2023年8月18日,周五上午 今天在B站看Qt教学视频的时候遇到了 目录 语法和typedef或using结合我的总结 语法 返回类型 (*指针变量名)(参数列表)以下是一些示例来说明如何声明不同类型的函数指针: 声明一个不接受任何参数且返回void的函数指针&#xf…

OJ练习第151题——克隆图

克隆图 力扣链接:133. 克隆图 题目描述 给你无向 连通 图中一个节点的引用,请你返回该图的 深拷贝(克隆)。 示例 分析 对于一张图而言,它的深拷贝即构建一张与原图结构,值均一样的图,但是…

POSTGRESQL 关于安装中自动启动的问题 详解

开头还是介绍一下群,如果感兴趣Polardb ,mongodb ,MySQL ,Postgresql ,redis ,SQL SERVER ,ORACLE,Oceanbase 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请加 liuaustin3微信号 &…

Python “贪吃蛇”游戏,在不断改进中学习pygame编程

目录 前言 改进过程一 增加提示信息 原版帮助摘要 pygame.draw pygame.font class Rect class Surface 改进过程二 增加显示得分 改进过程三 增加背景景乐 增加提示音效 音乐切换 静音切换 mixer.music.play 注意事项 原版帮助摘要 pygame.mixer pygame.mix…

代码随想录算法训练营第三十八天 | 理论基础,509. 斐波那契数,70. 爬楼梯,746. 使用最小花费爬楼梯

代码随想录算法训练营第三十八天 | 理论基础,509. 斐波那契数,70. 爬楼梯,746. 使用最小花费爬楼梯 理论基础什么是动态规划动态规划的解题步骤动态规划应该如何debug 509. 斐波那契数递归解法 70. 爬楼梯746. 使用最小花费爬楼梯 理论基础 视…

微信小程序:函数节流与函数防抖

目录 问题引入: 定义 解决方案:函数节流 一、案例举例 1.页面展示 2.search.wxml标签展示 3.search.js展示 4.结果展示 二、函数节流解决问题 1.函数 2.实例应用 三、函数防抖解决问题 1.函数 2.原理 3.应用场景 4.应用实例 总结 问题引入…

Python3的print用法

目录 一:print语法 二:print结尾参数end用法 三:print分隔符参数sep用法 四:print固定宽度字符输出 一:print语法 print(*objects, sep , end\n, filesys.stdout, flushFalse) 参数解释: &q…

【计算机设计大赛】国赛一等奖项目分享——基于多端融合的化工安全生产监管可视化系统

文章目录 一、计算机设计大赛国赛一等奖二、项目背景三、项目简介四、系统架构五、系统功能结构六、项目特色(1)多端融合(2)数据可视化(3)计算机视觉(目标检测) 七、系统界面设计&am…

虹科展会 | 自动驾驶展品:上海汽车测试展精彩回顾

2023年8月9日-8月11日,上海国际汽车测试及质量监控博览会在上海圆满落幕。本次展会提供了一个了解最新汽车测试及质量监控技术、产品和趋势的机会,同时也是汽车测试及质量监控领域的专业人士和业内人士的重要交流平台。 雅名特是虹科旗下子公司&#xff…

springcloud3 hystrix实现服务熔断的案例配置3

一 hystrix的熔断原理 1.1 hystrix的熔断原理 在springcloud的框架里,熔断机制是通过hystrix实现,hystrix会监控服务之间的调用。当失败调用达到一定的阈值,默认是5s内失败20次,就会启用hystrix的熔断机制,使用命Hy…

Python Opencv实践 - 图像透射变换

import cv2 as cv import numpy as np import matplotlib.pyplot as pltimg cv.imread("../SampleImages/pomeranian.png", cv.IMREAD_COLOR) rows,cols img.shape[:2] print(rows,cols)#opencv中的透射变换,需要一个3x3透射变换矩阵 #这个矩阵可以通过…

内核配置知识

Linux内核配置系统的组成 Linux内核源码很多,有上千条配置选项,配置相当复杂。 为了更好选择自己想要的功能配置,linux内核源码组织了一个配置系统; 配置系统包括三部分: Makefile:负责整体的配置编译 …

0101读写分离测试-jdbc-shardingsphere-中间件

文章目录 1 前言2、创建SpringBoot程序2.1、创建项目2.2、添加依赖2.3、生成实体类、service与Mapper1.5、配置读写分离 2、测试2.1、读写分离测试2.2、事务测试2.3、负载均衡测试 结语 1 前言 shardingshpere-jdbc定位为轻量级 Java 框架,在 Java 的 JDBC 层提供的…