打磨极致音频体验,声网重磅发布新一代音频技术智能引擎“凤鸣AI引擎”

RTE场景不断丰富,高音质互动需求急需满足,声网凤鸣AI引擎应时而生:

1、一次性解决100+种突发性噪声,同时兼顾高保真。

2、利用算法对环境中产生的回声混响进行有效抑制。

3、空间音频通过纯软件算法方案,模拟头部球面区域立体声场,打造“声临其境”互动玩法。

3月23日,实时互动云服务商声网在北京举办“凤鸣AI引擎”发布会,正式发布了囊括 AI降噪、AI回声消除、空间音频、最佳音效在内的声网新一代音频技术智能引擎。开发者与企业可以如搭积木般灵活调用对应组件,并广泛应用在语聊社交、在线K歌、线上会议、游戏竞技、虚拟活动等诸多场景,为用户带来更纯净、更动听、更沉浸的语音互动体验,探索更多营收增长空间。

RTE场景不断丰富,高音质互动需求急需满足

实时音视频技术的发展带出大量的创新场景,从狼人杀、直播连麦到直播电商、在线K歌、互动播客、元宇宙,伴随着场景的不断扩展,用户对实时音视频体验的诉求也越来越高。

传统的RTC概念,从信息传递的角度出发,音频功能仅提供简单的语音沟通,满足单一的场景和通话标准,对于音质并无太高的需求,也就是所谓的“能够沟通”。声网发现,伴随着实时互动创新场景的涌现,用户对于音频体验的需求也产生了从量变到质变的进化,比如在线K歌、线上会议等场景,用户的需求早已从能够沟通到希望“脱离现实”,屏蔽外界干扰,实现纯净沟通;对于元宇宙、虚拟活动、游戏竞技等场景,用户则是希望从简单沟通实现“极致拟真”的沉浸式体验。

同时声网也观察到,音频体验的提升能够增强平台用户的核心体验。比如,对噪音的抑制能够提升语聊房用户活跃度和留存,以及游戏开黑场景的通话时长;回声消除能显著提升用户的在线K歌体验;而立体、具备空间感的音频体验则能提升元宇宙社交、游戏竞技、线上会议、虚拟活动等场景中用户的临场感和沉浸感。

声网针对以上痛点和需求,声网凤鸣AI引擎应势而生。

3大音频能力+最佳音效实践 回归互动本真

通过AI驱动的方式,声网打通了音频采集、前后处理、云端传输、编解码等链路,旨在为用户打造更纯净、更动听、更沉浸的语音体验,在现有实时互动玩法的基础上锦上添花,赋能行业开发者和企业。
 

  1. AI降噪强力抑制100+突发噪声,兼顾语音无损伤与混响抑制

想要在“脱离现实”的环境中办公、娱乐,屏蔽外界干扰是基础。相比于传统的降噪算法,凤鸣·AI降噪的效果有显著提升,可以一次性解决100+种突发性噪声,比如办公场景经常遇到的敲键盘、鼠标点击、电话铃声;家庭环境中遇到的小孩哭叫、装修、厨房做饭声;户外环境中的风声、雨声、汽车噪声等。

凤鸣·AI降噪在强降噪的同时还能兼顾高保真,即使在人声密集场景下,也能实现纯净通话体验,甚至还实现了在不增加额外运算量的前提下,对远场语音具有明显的混响抑制能力。如果用户在一个房间中距离麦克风较远,这时候对方听到的声音是模糊的,若使用了声网的AI降噪算法,对端也能清晰地听到该用户的声音。

此外,声网自研的AI推理引擎还可以使得AI降噪算法在Android、iOS、Mac、Windows、Web等主流平台以低精度损伤、高性能、低功耗方式运行,使用户的设备不卡不烫。经数据测算,仅开启凤鸣·AI降噪功能,相应设备CPU消耗增幅平均值<1%。

2.AI 回声消除强力抑制非线性回声,还原本来音质

回声是影响音视频通话质量的主要因素之一,尤其在线上会议、在线K歌、多人连麦等场景中,不仅损害通话质量,影响用户体验,还可能导致带宽增加。凤鸣·AI回声消除利用算法对环境中产生的回声混响进行有效抑制,智能适应各类环境,实现精准音源分离,从混合的近端信号中消除不必要的远端信号,保留近端人声发送到远端,全面消除回声,实现高保真音频体验。比如,在双人合唱等在线音乐场景下,AI回声消除可以使得人声自然流畅,增益效果显著。

3.空间音频极致拟真,打造“声临其境”互动玩法

凤鸣·空间音频通过纯软件算法方案,模拟头部球面区域立体声场,利用范围音频、人声模糊、空气衰减模拟等能力,完美模拟现实听觉感受。当用户操作相应角色在虚拟场景里移动,可以实现根据虚拟人物的面部朝向、音源朝向、远近距离与上下高度,呈现不同声音效果。

空间音频是元宇宙和游戏这类具备3D场景玩法的最佳搭档,如狼人杀、虚拟演唱会、虚拟活动等场景,可以有效的增强用户在线上的互动、听觉体验,重构用户在虚拟世界的沉浸感与临场感。同时,开发者不必担心空间音频功能对于用户设备的影响,据数据测算,开启凤鸣·空间音频功能后,相应设备CPU消耗增幅平均值<0.7%,内存消耗增幅平均值<2M。

那么以上音频能力该如何组合使用?

多年来,声网汇总梳理语聊领域各类头部App的音效配置,综合声网超过万亿分钟的用户音效偏好的数据模型,并结合声网音频专家的多年沉淀与研究,能够为平台提供针对各种语音场景的最佳音效配置,助力平台用户享受行业顶尖的音效体验。目前已上线的最佳音效包括语聊社交、K歌、游戏陪玩、专业主播等场景。国内某头部语音社交平台就是通过声网提供的最佳音效配置方案,将空间音频、美声、电音等丰富的声音玩法融入互动中,增强平台留存和变现能力。

据声网音频娱乐产品负责人杨帆介绍,凤鸣AI引擎目前正在开发变声这一功能,用户将可以体验20+变声风格,多样角色扮演花式玩转语聊场景。声网算法专家许冉指出,凤鸣AI引擎代表声网在 RTC音频领域针对核心技术的长期投入和产出,以及声网基于音频核心能力衍生出各种复杂功能和高端效果的决心,未来声网将基于凤鸣AI引擎形成新一代RTC音频解决方案,比如探索更个性化的语音方案、语音超分、co-experiencing场景等。

圆桌讨论:音频社交的下一站
 

本次发布会也邀请了仙巴科技创始人兼CEO薛达、扬帆出海创始人兼CEO刘武华、科大讯飞海外解决方案产品部产品总监吴浩亮、声网产品市场负责人朱超华及声网音频娱乐产品负责人杨帆,围绕“音频社交行业现状及海内外趋势展望、“音频技术与行业发展”等话题展开圆桌讨论。

谈到当前的音频社交行业,杨帆指出,音频社交近几年的市场规模仍在持续增长,依旧有广阔的发展空间,总体来说,音频社交的主要玩法集中在多人语聊房、1V1语聊、语音播客、游戏开黑等场景。薛达认为,作为用户之间情感的递进纽带,语音结合虚拟人以及类似ChatGPT这样的大模型,可能未来会带来一波新的社交热潮。

在市场火热的前景下,音频技术的提升对行业来说可谓如虎添翼。正如薛达提到,降噪技术是实现元宇宙空间中用户体验的一个必不可少因素,因为一般娱乐场景中都会播放背景音乐,加上人声和互动音效,如果没有空间音频和降噪,那用户体验会非常差。吴浩亮认为,声音是打造差异化社交玩法的一个重要能力,在社交音频这个赛道上,大致分为音视频直播、音频内容生态,以及泛娱乐音频三个类型,音频技术能力的提升可以有效助力业务端提升用户体验。

不仅国内市场火热,大量出海企业也押注音频社交这一赛道且扎堆中东、东南亚市场,刘武华认为中东市场这种大R市场天然契合音频社交的商业变现形态,而东南亚市场年轻用户多,社交需求旺盛又热衷于尝试新鲜事物,且这两个市场已有成熟的产品形态和产业链。此外,吴浩亮提到,东南亚和中东市场目前还处在快速发展阶段,市场机遇大、用户基数大,但还没有绝对的寡头形成,较之前传统社交类型来讲,音频社交的留存能力也较高,企业需要在用户感兴趣的窗口期尽快实现转化。

谈到音频社交的未来趋势,刘武华表示,社交+游戏、社交+元宇宙、社交+ AIGC 这几种玩法有不错的发展空间和前景。杨帆也认为,元宇宙方向的场景会更受年轻人青睐,另外 AIGC 配合语音转文字等应用,应该也会带来一波新AI音频社交热潮。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/26326.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ChatGPT最大对手谷歌Bard支持中文了!十级过关,看懂梗图,直接上手免费体验...

编辑&#xff1a;编辑部 【新智元导读】Bard又强了&#xff01;这次不仅支持中文等40种语言&#xff0c;还能上传图片做问答。 前两天&#xff0c;ChatGPT最强竞品Claude升级了二代&#xff0c;谷歌也不甘落后。 今天&#xff0c;最新版本的Bard来了&#xff0c;可以在提示中添…

审美疲劳来袭,AI 产品该何去何从

ChatGPT 的名声最大&#xff0c;但门槛竖得也很高。没有 ChatGPT &#xff0c;一堆仿版的国内版 ChatGPT 填补着这一片空白&#xff0c;各种 AI 互动工具也在搞圈地运动。Claude 2 发布了&#xff0c;这个号称 GPT-4 最强对手终于用了直面普通消费者的产品出来&#xff0c;内测…

ChatGPT最强对手Claude,免费还支持中文,怎样使用体验如何?

一款免费且支持中文的类 ChatGPT 产品 Claude&#xff0c;已经正式上线了。网友们对此炒得沸沸扬扬&#xff0c;纷纷表示体验非常舒适。在体验过程中&#xff0c;Claude 的表现十分出色。 Claude 的注册很简单&#xff0c;目前只能通过 Slack 使用&#xff0c;而且暂时免费&…

ChatGPT最强对手Claude如何无门槛使用?

Claude&#xff0c;一个冉冉升起的新星&#xff0c;由 chatgpt 团队出来的员工开发的&#xff0c;由于他们对模型的一些发展理念不同&#xff0c;单独融资创建了 Claude&#xff0c;总体来说表现可圈可点&#xff0c;但整体看可能还不如 chatgpt4.0。 ChatGPT 眼中的 Claude C…

LUNA16_Challange数据预处理2

ps 直接上好像有点困难&#xff0c;那么先整理下LUNA16_Challange中平安科技公司的技术说明中预处理部分&#xff08;还是比较好理解&#xff0c;理解错误欢迎指正&#xff09; Data Preprocessing At first, we get the lung area by using traditional methods, and then p…

【数据挖掘竞赛】——糖尿病遗传风险检测挑战赛(科大讯飞)

&#x1f935;‍♂️ 个人主页&#xff1a;Lingxw_w的个人主页 ✍&#x1f3fb;作者简介&#xff1a;计算机科学与技术研究生在读 &#x1f40b; 希望大家多多支持&#xff0c;我们一起进步&#xff01;&#x1f604; 如果文章对你有帮助的话&#xff0c; 欢迎评论 &#x1f4a…

【开源】23个优秀的机器学习数据集

点击上方“小白学视觉”&#xff0c;选择加"星标"或“置顶” 重磅干货&#xff0c;第一时间送达 作者 | Nikola M. Zivkovic 译者 | 王强 策划 | 凌敏 本文最初发布于 rubikscode.com 网站&#xff0c;经原作者授权由 InfoQ 中文站翻译并分享。 Iris 数据集的那些示例…

数据分析也能造假!你得小心这些不为人知的坑

数据分析看似科学理性&#xff0c;但是只要是人参与的工作&#xff0c;就没有不能造假的&#xff0c;尤其是类似数据分析这种工作&#xff0c;很容易产生诡辩论&#xff0c;我们需要实时擦亮眼睛&#xff01; 作为一个小头目&#xff0c;经常会读到来自各种团队的数据分析报告&…

【数据挖掘实战】——中医证型的关联规则挖掘(Apriori算法)

&#x1f935;‍♂️ 个人主页&#xff1a;Lingxw_w的个人主页 ✍&#x1f3fb;作者简介&#xff1a;计算机科学与技术研究生在读 &#x1f40b; 希望大家多多支持&#xff0c;我们一起进步&#xff01;&#x1f604; 如果文章对你有帮助的话&#xff0c; 欢迎评论 &#x1f4a…

数据挖掘--(实验二)关联规则实验

实验一 有趣的频繁项集 案例简介&#xff1a; 有时我们并不想寻找所有频繁项集,而只对包含某个特定元素项 的项集感兴趣。我们会寻找毒蘑菇中的一些公共特征,利用这些特征 就能避免吃到那些有毒的蘑菇。UCI 的机器学习数据集合中有一个关于肋形蘑菇的 23 种特征的数据集,每一…

数据挖掘--糖尿病遗传风险检测

文章目录 赛事背景数据特征介绍数据处理导入数据并查看分析数据数据清洗特征工程 构建模型建立训练数据集和测试数据集构建模型 赛事背景 截至2022年&#xff0c;中国糖尿病患者近1.3亿。中国糖尿病患病原因受生活方式、老龄化、城市化、家族遗传等多种因素影响。同时&#xff…

【数据分析】业务分析之ABtest

A/B测试 AB测试是为Web或App界面或流程制作两个&#xff08;A/B&#xff09;或多个&#xff08;A/B/n&#xff09;版本&#xff0c;在同一时间维度&#xff0c;分别让组成成分相同&#xff08;相似&#xff09;的访客群组&#xff08;目标人群&#xff09;随机的访问这些版本&a…

生物信息学竞赛:糖尿病数据挖掘

糖尿病数据挖掘 一理&#xff1a;机器学习量化分析糖尿病致病因子下载&#xff1a;临床数据线性回归预测糖尿病LightGBM 预测糖尿病糖尿病因子分析变量相关性分析 一文&#xff1a;当前科学理解慢病之王的解决方案是什么怎么治疗怎么预防 一理&#xff1a;机器学习量化分析糖尿…

VS Code插件之Debugger for Chrome

号称2018最火的编辑器&#xff0c;不用用怎么行&#xff1f; 不多说直接开始踩坑之路。 要在vs中启动chrome控制台怎么办&#xff1f;vscode并没有集成环境&#xff0c;这里我们需要借助一个插件Debugger for Chrome。 选择左边安装包选项&#xff0c;点击商店搜索Debugger for…

Vscode对C/C++可视化的代码跟踪调试

文章目录 可视化的代码跟踪调试1、安装Visual Studio Code2、用vscode编译调试C\C 总结 可视化的代码跟踪调试 ubantu18.04的环境下&#xff0c;在命令行工具gdb调试基础上&#xff0c;利用可视化调试前端软件Visual Studio Code&#xff0c;&#xff08;后端依然依赖gcc、gdb…

VS Code真机测试步骤

VS Code真机测试步骤 前提&#xff1a;你的电脑跟你的手机是在同一个网络环境下。电脑连手机热点&#xff1b; 1&#xff0e; 在扩展里搜索live server&#xff0c;下载安装&#xff1b; 2&#xff0e; 打开cmd 命令窗口&#xff08;快捷键是winr&#xff09;&#xff1b; 输入…

VS Code调试C代码

1、前言 首先说明的是vscode是代码编辑器&#xff0c;并不是编译器&#xff0c;它本身并不能编译C语言。 在这里我们使用的是MinGW-w64作为C语言的编译器。MinGW-w64的前身是MinGW的全称是&#xff1a;Minimalist GNU on Windows。它实际上是将经典的开源 C语言 编译器 GCC 移…

VScode的代码截图插件CodeSnap

CodeSnap : 在 VS Code 中为您的代码截取漂亮的屏幕截图&#xff01; 插件名&#xff1a;CodeSnap官方地址&#xff1a;CodeSnap - Visual Studio Marketplace特征&#xff1a; 快速保存代码的屏幕截图将屏幕截图复制到剪贴板显示行号许多其他配置选项用法&#xff1a;选中需要…

Vscode——调试数据可视化插件debug-visualizer

debug-visualizer是一款极其优秀的调试数据可视化插件 安装方法 第一步&#xff1a;vscode插件库安装 debug-visualizer第二步&#xff1a;环境内输入 pip install vscodedebugvisualizer 使用方法 启动调试Ctrl Shift P 打开命令面板&#xff0c;输入 Debug Visualizer: …

VS Code 最好的 Git 可视化插件

&#x1f447;&#x1f447;关注后回复 “进群” &#xff0c;拉你进程序员交流群&#x1f447;&#x1f447; 作者丨小集 来源丨小集&#xff08;ID&#xff1a;zsxjtip&#xff09; Visual Studio Code 有几组 git 命令来为您的代码存储库执行和执行多项任务。但是&#xff0…