“脱离”现实+极致拟真?声网凤鸣AI引擎来袭

3月23日,实时互动云服务商声网在北京举办“凤鸣AI引擎”发布会,正式发布了囊括 AI降噪、AI回声消除、空间音频、最佳音效在内的声网新一代音频技术智能引擎。开发者与企业可以如搭积木般灵活调用对应组件,并广泛应用在语聊社交、在线K歌、线上会议、游戏竞技、虚拟活动等诸多场景,为用户带来更纯净、更动听、更沉浸的语音互动体验,探索更多营收增长空间。

RTE场景不断丰富,高音质互动需求急需满足

实时音视频技术的发展带出大量的创新场景,从狼人杀、直播连麦到直播电商、在线K歌、互动播客、元宇宙,伴随着场景的不断扩展,用户对实时音视频体验的诉求也越来越高。

传统的RTC概念,从信息传递的角度出发,音频功能仅提供简单的语音沟通,满足单一的场景和通话标准,对于音质并无太高的需求,也就是所谓的“能够沟通”。声网发现,伴随着实时互动创新场景的涌现,用户对于音频体验的需求也产生了从量变到质变的进化,比如在线K歌、线上会议等场景,用户的需求早已从能够沟通到希望“脱离现实”,屏蔽外界干扰,实现纯净沟通;对于元宇宙、虚拟活动、游戏竞技等场景,用户则是希望从简单沟通实现“极致拟真”的沉浸式体验。

同时声网也观察到,音频体验的提升能够增强平台用户的核心体验。比如,对噪音的抑制能够提升语聊房用户活跃度和留存,以及游戏开黑场景的通话时长;回声消除能显著提升用户的在线K歌体验;而立体、具备空间感的音频体验则能提升元宇宙社交、游戏竞技、线上会议、虚拟活动等场景中用户的临场感和沉浸感。

声网针对以上痛点和需求,声网凤鸣AI引擎应势而生。

3大音频能力+最佳音效实践 回归互动本真

通过AI驱动的方式,声网打通了音频采集、前后处理、云端传输、编解码等链路,旨在为用户打造更纯净、更动听、更沉浸的语音体验,在现有实时互动玩法的基础上锦上添花,赋能行业开发者和企业。

  1. AI降噪强力抑制100+突发噪声,兼顾语音无损伤与混响抑制

想要在“脱离现实”的环境中办公、娱乐,屏蔽外界干扰是基础。相比于传统的降噪算法,凤鸣·AI降噪的效果有显著提升,可以一次性解决100+种突发性噪声,比如办公场景经常遇到的敲键盘、鼠标点击、电话铃声;家庭环境中遇到的小孩哭叫、装修、厨房做饭声;户外环境中的风声、雨声、汽车噪声等。

凤鸣·AI降噪在强降噪的同时还能兼顾高保真,即使在人声密集场景下,也能实现纯净通话体验,甚至还实现了在不增加额外运算量的前提下,对远场语音具有明显的混响抑制能力。如果用户在一个房间中距离麦克风较远,这时候对方听到的声音是模糊的,若使用了声网的AI降噪算法,对端也能清晰地听到该用户的声音。

此外,声网自研的AI推理引擎还可以使得AI降噪算法在Android、iOS、Mac、Windows、Web等主流平台以低精度损伤、高性能、低功耗方式运行,使用户的设备不卡不烫。经数据测算,仅开启凤鸣·AI降噪功能,相应设备CPU消耗增幅平均值<1%。

2.AI 回声消除强力抑制非线性回声,还原本来音质

回声是影响音视频通话质量的主要因素之一,尤其在线上会议、在线K歌、多人连麦等场景中,不仅损害通话质量,影响用户体验,还可能导致带宽增加。凤鸣·AI回声消除利用算法对环境中产生的回声混响进行有效抑制,智能适应各类环境,实现精准音源分离,从混合的近端信号中消除不必要的远端信号,保留近端人声发送到远端,全面消除回声,实现高保真音频体验。比如,在双人合唱等在线音乐场景下,AI回声消除可以使得人声自然流畅,增益效果显著。

3.空间音频极致拟真,打造“声临其境”互动玩法

凤鸣·空间音频通过纯软件算法方案,模拟头部球面区域立体声场,利用范围音频、人声模糊、空气衰减模拟等能力,完美模拟现实听觉感受。当用户操作相应角色在虚拟场景里移动,可以实现根据虚拟人物的面部朝向、音源朝向、远近距离与上下高度,呈现不同声音效果。

空间音频是元宇宙和游戏这类具备3D场景玩法的最佳搭档,如狼人杀、虚拟演唱会、虚拟活动等场景,可以有效的增强用户在线上的互动、听觉体验,重构用户在虚拟世界的沉浸感与临场感。同时,开发者不必担心空间音频功能对于用户设备的影响,据数据测算,开启凤鸣·空间音频功能后,相应设备CPU消耗增幅平均值<0.7%,内存消耗增幅平均值<2M。

那么以上音频能力该如何组合使用?

多年来,声网汇总梳理语聊领域各类头部App的音效配置,综合声网超过万亿分钟的用户音效偏好的数据模型,并结合声网音频专家的多年沉淀与研究,能够为平台提供针对各种语音场景的最佳音效配置,助力平台用户享受行业顶尖的音效体验。目前已上线的最佳音效包括语聊社交、K歌、游戏陪玩、专业主播等场景。国内某头部语音社交平台就是通过声网提供的最佳音效配置方案,将空间音频、美声、电音等丰富的声音玩法融入互动中,增强平台留存和变现能力。

据声网音频娱乐产品负责人杨帆介绍,凤鸣AI引擎目前正在开发变声这一功能,用户将可以体验20+变声风格,多样角色扮演花式玩转语聊场景。声网算法专家许冉指出,凤鸣AI引擎代表声网在 RTC音频领域针对核心技术的长期投入和产出,以及声网基于音频核心能力衍生出各种复杂功能和高端效果的决心,未来声网将基于凤鸣AI引擎形成新一代RTC音频解决方案,比如探索更个性化的语音方案、语音超分、co-experiencing场景等。

圆桌讨论:音频社交的下一站

本次发布会也邀请了仙巴科技创始人兼CEO薛达、扬帆出海创始人兼CEO刘武华、科大讯飞海外解决方案产品部产品总监吴浩亮、声网产品市场负责人朱超华及声网音频娱乐产品负责人杨帆,围绕“音频社交行业现状及海内外趋势展望、“音频技术与行业发展”等话题展开圆桌讨论。

谈到当前的音频社交行业,杨帆指出,音频社交近几年的市场规模仍在持续增长,依旧有广阔的发展空间,总体来说,音频社交的主要玩法集中在多人语聊房、1V1语聊、语音播客、游戏开黑等场景。薛达认为,作为用户之间情感的递进纽带,语音结合虚拟人以及类似ChatGPT这样的大模型,可能未来会带来一波新的社交热潮。

在市场火热的前景下,音频技术的提升对行业来说可谓如虎添翼。正如薛达提到,降噪技术是实现元宇宙空间中用户体验的一个必不可少因素,因为一般娱乐场景中都会播放背景音乐,加上人声和互动音效,如果没有空间音频和降噪,那用户体验会非常差。吴浩亮认为,声音是打造差异化社交玩法的一个重要能力,在社交音频这个赛道上,大致分为音视频直播、音频内容生态,以及泛娱乐音频三个类型,音频技术能力的提升可以有效助力业务端提升用户体验。

不仅国内市场火热,大量出海企业也押注音频社交这一赛道且扎堆中东、东南亚市场,刘武华认为中东市场这种大R市场天然契合音频社交的商业变现形态,而东南亚市场年轻用户多,社交需求旺盛又热衷于尝试新鲜事物,且这两个市场已有成熟的产品形态和产业链。此外,吴浩亮提到,东南亚和中东市场目前还处在快速发展阶段,市场机遇大、用户基数大,但还没有绝对的寡头形成,较之前传统社交类型来讲,音频社交的留存能力也较高,企业需要在用户感兴趣的窗口期尽快实现转化。

谈到音频社交的未来趋势,刘武华表示,社交+游戏、社交+元宇宙、社交+ AIGC 这几种玩法有不错的发展空间和前景。杨帆也认为,元宇宙方向的场景会更受年轻人青睐,另外 AIGC 配合语音转文字等应用,应该也会带来一波新AI音频社交热潮。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/24401.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

英特尔发布酷睿系列 | 历史上的今天

整理 | 王启隆 透过「历史上的今天」&#xff0c;从过去看未来&#xff0c;从现在亦可以改变未来。 今天是 2023 年 1 月 5 日&#xff0c;在 2003 年的今天&#xff0c;“神舟”四号飞船在完成预定空间科学和技术试验任务后&#xff0c;在内蒙古中部地区准确着陆。至此&#x…

【English】《trancy,一个用chatgpt翻译视频的神器,强烈推荐!》- 知识点目录

《trancy&#xff0c;一个用chatgpt翻译视频的神器&#xff0c;强烈推荐&#xff01;》 应用名称&#xff1a; Trancy1. 支持网站 YouTube和Netflix 2. 安装步骤 Note: 如果安装之后&#xff0c;发现无法点击【知道了】的情况&#xff0c;将网页缩放之后&#xff0c;就可以…

chatgpt赋能python:如何下载Python以前的版本

如何下载Python以前的版本 Python被广泛使用&#xff0c;包括网页开发、机器学习、科学计算等各种领域。然而&#xff0c;最新版本的Python可能与你的应用程序或软件包不兼容&#xff0c;因此你可能需要下载以前的版本来满足你的需求。 本文将介绍如何下载Python以前的版本&a…

chatgpt赋能python:如何下载Python的旧版本

如何下载Python的旧版本 Python是一种流行的编程语言&#xff0c;具有强大的功能和良好的可读性。然而&#xff0c;当需要在旧的或特定的环境中使用Python时&#xff0c;新版本并不总是可行的。在这种情况下&#xff0c;下载旧版本的Python是唯一的选择。本文将介绍如何下载Py…

最新版PC微信(3.9.2.23)逆向——收消息hook

处女作&#xff0c;有写错的地方&#xff0c;请各路大佬明确指出。 逆向分析方法&#xff1a; WeChatWin模块基址&#xff1a;0x5CD60000 a、不停的向测试号发送消息&#xff0c;不要点开&#xff0c;让未读消息总数不断增加&#xff08;此方法比搜特征码、字符串更通用&#…

pytorch下载与安装(离线包版本)

笔者因为实验需要&#xff0c;不同的模型需要不同版本版本的pytorch&#xff0c;于是安装pytorch就总是出现一个问题&#xff0c;那就是断。比如需要安装torch1.4版本&#xff0c;使用Anaconda Prompt尝试了几次&#xff1a; pip install torch1.4.0 torchvision0.5.0 -f http…

离线安装PostgreSQL数据库(v13.4版本)

记录&#xff1a;328 场景&#xff1a;在CentOS 7.9操作系统上&#xff0c;离线安装PostgreSQL数据库&#xff0c;版本&#xff1a;v13.4。主要是PostgreSQL的编译、安装、启动、登录、设置远程可登录、创建数据库、创建数据库用户等。 版本&#xff1a; 操作系统&#xff1…

regex101 离线版本

regex101.com是一个在线测试正则表达式的网站&#xff0c;比较赞的地方是右边会显示对应正则各个部分的意思&#xff0c;用来调试和学习都是非常好的。还部分支持中文。 但是因为网络不稳定&#xff0c;为了方便研究和学习&#xff0c;我把这个网页的大部分代码拷贝下来&…

飞秋软件--局域网内离线传输文件及聊天工具

下载地址&#xff1a; 链接&#xff1a;https://pan.baidu.com/s/1ADDsXHA4DXtT9zNsF5Eyqw 提取码&#xff1a;o84g 双击安装&#xff0c;按要求&#xff0c;选择安装目录及数据存储目录。一步步安装就行&#xff0c;这里很简单&#xff0c;安装后会在桌面生成…

纪念QT可直接安装的离线版最后版本5.14.2

为什么说纪念呢&#xff1f;因为&#xff0c;这个版本之后再也没有可下载下来安装的版本了&#xff0c;因为我们以后再也没有这么方便了。为是很么说纪念呢&#xff1f;因为我们从QT还很柔弱的时候开始就是使用的离线版。 以前用c#来做组态&#xff0c;自定义控件开发起来也还…

Ubuntu 20.04.5离线安装

1、下载ubantu镜像 Get Ubuntu Server | Download | Ubuntu 2、运行ubantu镜像 通过Vmware运行镜像&#xff0c;这里就不说了。 3、离线安装java服务需要的依赖gcc 以及make 下载gcc以及make的离线安装包 gcc 链接: https://pan.baidu.com/s/1SvMqbz_zfvglUB4ZScW5_Q 提取…

chatgpt赋能Python-python_nmi

Python NMI介绍 Python NMI是一种常见的算法评估指标&#xff0c;用于比较两个或多个聚类结果之间的相似度。NMI全称为归一化互信息&#xff08;Normalized Mutual Information&#xff09;。在本文中&#xff0c;我们将介绍Python NMI的定义和用途&#xff0c;并使用示例说明…

代码实践:基于LSTM网络的DEAP情感数据集情感分类

2023/4/5 -4/17 脑机接口学习内容一览&#xff1a; 这一篇文章主要对DEAP数据集转化为python可以处理的格式&#xff0c;并且进一步使用LSTM网络进行分类工作。 一、数据集分析 详情见于官网&#xff1a;DEAPdataset 若想使用数据集可自行在官网申请下载。 以下是对该数据集的简…

员工错误使用 ChatGPT,三星机密数据外泄

ChatGPT 极大地改变了人们的工作方式&#xff0c;不光是普通的个人用户从中受益&#xff0c;一些大型科技公司也同样认可了这些 AI 工具的作用&#xff0c;来帮助其员工提高生产力。 虽然 ChatGPT 确实显著提升了用户的工作效率&#xff0c;但如果员工没有得到充分的提醒和培训…

智能算法系列之模拟退火算法

本博客封面由ChatGPT DALLE 2共同创作而成。 文章目录 前言1. 算法思想2. 细节梳理2.1 超参数的选择2.2 一些trick 3. 算法实现3.1 问题场景3.2 从算法角度分析3.3 python实现 代码仓库&#xff1a;IALib[GitHub] 前言 本篇是智能算法(Python复现)专栏的第二篇文章&#xff0c…

chatgpt赋能python:Python做仿真模拟:一种高效、灵活、易用的工具

Python做仿真模拟&#xff1a;一种高效、灵活、易用的工具 介绍 随着计算机技术的不断进步&#xff0c;仿真模拟已成为许多学科研究中不可缺少的工具之一。在许多领域&#xff0c;例如物理、生物、经济等&#xff0c;都需要使用仿真模拟的技术来预测、测试和优化各种系统的行…

ChatGPT常用的指令(prompts)系列六

系列文章目录 内容翻译自&#xff1a;https://github.com/f/awesome-chatgpt-prompts&#xff0c;并加入自己的实践内容 1、 ChatGPT常用的提示语&#xff08;prompts&#xff09;系列一 2、 ChatGPT常用的提示语&#xff08;prompts&#xff09;系列二 3、 ChatGPT常用的提示语…

企业级ChatGPT开发入门实战直播21课第2课 运行日志及代码解析

企业级ChatGPT开发入门实战直播21课第2课 运行日志及代码解析 Gavin老师在企业级ChatGPT开发入门实战直播21课第2课中,讲解的ChatGPT应用案例开发架构图: ChatGPT案例运行日志 2023-06-11 16:06:57 DEBUG Calling on_part_begin with no data 2023-06-11

chatgpt赋能python:Python多行注释

Python 多行注释 在 Python 中&#xff0c;我们经常需要写注释来解释代码或者用于调试。Python 的注释分为单行注释和多行注释&#xff0c;本文主要介绍 Python 中如何多行注释。 单行注释 在 Python 中&#xff0c;单行注释以符号 # 开头&#xff0c;可以写在代码的任何位置…

chatgpt赋能python:Python批量加注释:一种简便的代码注释方法

Python批量加注释&#xff1a;一种简便的代码注释方法 介绍 在软件开发过程中&#xff0c;注释是非常重要的。它可以使得代码更易于理解和维护。但是&#xff0c;在大型项目中&#xff0c;加入注释是一个繁琐的过程&#xff0c;它需要耗费大量的时间和精力。Python提供了一种…