Meta 开源语音 AI 模型支持 1,100 多种语言

自从ChatGPT火爆以来,各种通用的大型模型层出不穷,GPT4、SAM等等,本周一Meta 又开源了新的语音模型MMS,这个模型号称支持4000多种语言,并且发布了支持1100种语言的预训练模型权重,最主要的是这个模型不仅支持ASR,还支持TTS,也就是说不仅可以语音转文字,还可以文字转语音。

因为以前对语音方面没有研究,所以我就查阅了一下资料,世界上一共有 7,000 多种语言(我一直以为只有几百),目前的语音识别技术目前仅能覆盖100多种,其实我觉得100多种已经够用了,当然如果有特殊的研究需要那要另说。

Facebook (Meta) AI 的最新大型多语言语音 (MMS) 项目可以为 1,100 多种语言提供语音转文本、文本转语音等功能。这是现有模型的 10 倍!它的官网blog上特别提到了Tatuyo 语,只有几百人在使用。这其实对于日常来说没什么用,但是对于研究来说这是一个很好的例子,因为只有几百人如何找到并有效的提炼数据集呢?

Meta 与 OpenAI 的 Whisper 做了详细的对比,在数据上训练的模型实现了一半的单词错误率,并且训练数据更少:

可以看到它的训练数据只有45k 小时的标注数据,要比Whisper少10倍,而语言支持也多了10倍,这是一个大的提高。在blog中还特意提到了使用了 《圣经》这种流传广泛,翻译语种多的内容作为数据集,我觉得这是一个很好方向。

MMS 项目还利用了 wav2vec 2.0 自监督语音表示学习技术的优势。在 1,400 种语言的大约 500,000 小时的语音数据上进行自监督的训练,明显减少了对标记数据的依赖。然后针对特定的语音任务对生成的模型进行微调,例如多语言语音识别和语言识别。

Whisper 的效果对于我来说就已经非常好了,我也一直在使用他做为语言转文字的工具,如果MMS的效果更好,那对于我们来说简直太棒了,并且MMS还支持 language identification (LID) 也就说可以自动识别所说的语言,但是经过我的测试,这个对于支持这么多种语言的模型来说有一个致命的错误,就是转录或错误解释可能会导致冒犯性或不准确的语言。

还记得大张伟吗,越是准确的模型越会出问题:

这种多语言语音模型的出现使得语言障碍将被打破,来自全球每个角落人们都可以通过声音正常的交流。还记得META烂尾的VR和AR应用吗,我觉得MMS应该是它们VR的一个子项目,VR烂尾很正常,但是这个MMS会为我们带来更多的进步。

最后地址,里面有预训练模型下载和安装方法:

https://avoid.overfit.cn/post/b4e41042a2ee4a21a82e4a48f1061f05

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/49937.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

重磅!普惠AI--华为云语音语义万次调用1元购,有奖问答@评论区等你来!

活动快速入口:https://activity.huaweicloud.com/language_speech_promotion0.html 语音交互与自然语言处理 语音交互是一种人机交互方式,以开放API的方式提供给用户,用户通过实时访问和调用API获取语音交互结果。自然语言处理是针对各类企…

华为OD机试用Python实现 -【云短信平台优惠活动】(2023-Q1 新题)

华为OD机试题 华为OD机试300题大纲云短信平台优惠活动题目描述输入描述输出描述示例一输入输出说明示例二输入输出说明Python 代码实现代码编写思路华为OD机试300题大纲 参加华为od机试,一定要注意不要完全背诵代码,需要理解之后模仿写出,通过率才会高。 华为 OD 清单查看…

华为认证HCIA-Kunpeng Application Developer多选习题总结

最近参加了华为HCIA-Kunpeng Application Developer的认证考试。所以分享一下在培训和备考过程中做的一些习题。 ▣ 考试总共90分钟,有60个题。分别有单选、多选和判断。总分1000分,600分过。 多选练习题 1.TaiShan 200机架服务器包含哪些型号&#xf…

【愚公系列】华为云系列之ModelArts搭建中文语音识别系统

文章目录 前言1.ModelArts是什么 一、语音识别技术概述1.语音识别概述2.语音识别的一般原理3.信号处理与特征提取方法3.1 MFCC 4.基于深度学习的声学模型DNN-HMM 二、DFCNN全序列卷积神经网络介绍三、Transformer原理四、使用ModelArts快速上手训练DFCNNTransformer模型完成中文…

软件开发工程师个人简历模板3篇

软件开发工程师个人简历模板篇1 姓 名: 张先生 性 别: 男 婚姻状况: 未婚 民 族: 汉族 户 籍: 广东-珠海 年 龄: 28 现所在地: 广东-珠海 身 高: 168cm 希望地区: …

软件测试岗简历模板制作指南

Hello 大家好 :)近期有很多老铁在筹备面试中,私信小编说帮忙看看简历,实在很忙,所以就今天抽时间出一篇相关文章,希望给大家带来帮助 首先说大家给我发的简历,其中一份简历,就第一眼…

程序员如何写好技术简历?

文章来源一位实验室朋友的投稿,斩获BAT头条等公司的offer,文末有他的公众号可以关注一下。 1.简历的重要性 各大公司每年都要接收成千上万份简历,但是考虑到招聘成本,简历要先经过系统和 HR 筛选,简历筛选决定了你是否有笔试和面试…

那些进大厂的程序员,「简历」都是怎么写的?我决定分享出来

你知道的越多,你不知道的越多 点赞再看,养成习惯 本文 GitHub https://github.com/JavaFamily 已收录,有一线大厂面试点思维导图,也整理了很多我的文档,欢迎Star和完善,大家面试可以参照考点复习&#xff0…

技术咖简历怎么写?腾讯技术工程事业群TEG「求职笔记」之简历撰写篇

导语:想来腾讯做技术吗? 在鹅厂做技术到底“爽”在哪?面试官在意你的哪些能力?想收到心动的校招offer?那就快到TEG的碗里来! 「技术简历撰写干货」 Q1:请简单介绍一下校招简历。 校招学长&…

大后端开发简历模板

场 景 大家好,我是数据派掌门人一方清宇。今天给大家安利一个图表文并茂的简历模板,开箱即用。 这些年面过100一线大后端开发人员,好的简历确认能让人眼前一亮。 近期也陆续有朋友让帮忙鉴定大数据开发简历或提供简历模板供其参考。于是乎…

跳槽面试,外包履历能写在简历上吗?

外包的可怕之处在于心态。 如果你觉得自己没有归属感,每天按时上班,按时下班,做完工作就无所事事。这种工作状态,不管甲方还是乙方都是一个样子。 改变心态后,外包其实并没有想象中那么可怕,只要你有有能…

origin绘图操作

origin同时设置打开x轴和上下边框 双击图像内部的空白,在下面这个对话框中勾选显示元素-框架。 以上是chatgpt给出的操作,但我没找到layer properties。 上下柱状图的增减设置不同颜色:按住Ctrl,双击想要改颜色的柱子,…

VNCTF2023 WP

验证码 hint:tuppers 在线工具Tupper’s Formula Tools (tuppers-formula.ovh) 把验证码中的数字全部提取出来 159419939177025035445518308105480263158055459045678127698130297824334808857677481698114546007742213604778097220037521229335738368509996952…

【数学模型】TOPSIS

文章目录 回顾:层次分析法的一些局限性 一、模型介绍 1.1 引例: 一个简单的想法: 一个较好的方法: 1.2 增加指标: 统一指标类型 标准化处理 计算得分 二、TOPSIS的介绍 第一步:将原始矩阵正向…

【关于ChatGPT的30个问题】17、ChatGPT是否能够应用于不同类型的文本?/ By 禅与计算机程序设计艺术

17、ChatGPT是否能够应用于不同类型的文本? 目录 17、ChatGPT是否能够应用于不同类型的文本?

AI产品经理的工作内容及面试准备

ChatGPT的爆火,让人看到了新的生产力发展方向,微软也因此放弃了元宇宙,ALL In AI,各大巨头和资本也陆续进入,誓要打造中国版的ChatGPT,并觉得人工智能可以改写现有的程序应用场景,带来新的生产力…

分享一个图片展示特效

先上效果图&#xff1a; 备注&#xff1a;这个效果图太大了&#xff0c;压缩了一下效果有点不咋好看。感兴趣同学们可以自己运行代码看一下&#xff0c;保证不会失望~ 再上代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta cha…

如何用手机快捷设计品牌宣传的海报图片和视频

随着移动互联网的普及&#xff0c;越来越多的品牌宣传企划活动方案&#xff0c;都需要用到各种精美的海报图片和宣传视频&#xff0c;这对企划工作来说是一个耗时又耗精力的工作&#xff0c;并且还不一定能做出风格迥异的作品。 得益于人工智能技术的进步&#xff0c;现在很多移…

推荐3款超好用的海报设计软件!

在现代社会&#xff0c;海报设计已经成为了一种非常重要的视觉传达方式。如果你需要制作一个引人注目的海报&#xff0c;但却没有设计师的技能和经验&#xff0c;那么在线海报设计图片软件就是你的最佳选择。下面我们将介绍 5 款最受欢迎的在线海报设计图片软件&#xff0c;它们…

使用QQ邮箱无法收到Github上发送的验证码?

设置域白名单 打开QQ邮箱&#xff0c;点击【设置】点击【反垃圾】点击【设置域白名单】在input框中输入【github.com】添加