百度云智能媒体内容分析一体机(MCA)建设

导读 :本文主要介绍了百度智能云MCA产品的概念和应用。

媒体信息海量且复杂,采用人工的方式对视频进行分析处理,面临着效率低、成本高的困难。于是,MCA应运而生。它基于百度自研的视觉AI、ASR、NLP技术,为用户提供音视频、图片、文本的内容分析能力,实现标签提取、智能封面提取、高光片段分析等功能。

01 背景与目标

对于涉及广电新闻、娱乐社交等UGC、AIGC的企业来说,有效地收集、整理、分析和呈现视频内容,不仅能帮助企业在竞争中拔得头筹,还有利于做出更优的业务决策。可是,这会面临一些挑战:

  • 标签要覆盖大量业务场景,否则就需要建设多个数据集,不易于统计和分析;

  • 分析维度应支持自由配置,否则无法满足个性化的业务需求;

  • 支持分析不同格式的媒体内容,同时,处理视频的速度要快。

百度智能云媒体内容分析(Media Content Analysis),就是为了帮助企业提高内容分析的效率、缩减平台的人力成本,而建设的一体机产品:

MCA将AI技术落地于媒体行业内容分析场景,可以助力企业内容推荐与搜索业务发展,赋能媒体行业,助力产业升级。

02 技术方案

根据公开信息可知,MCA的定位是“实现智能媒体内容分析的一体机产品”,用户可以选择公有云或私有化的部署方式,自定义配置内容分析的维度,并呈现可视化的分析结果。

AI技术托底(大模型):MCA借助百度强大的 AI 技术、沉淀已久的海量级数据,针对视频场景进行专门的优化,可以达到最优的识别效果。

影视综知识图谱(业内领先):根据影视剧/综艺类视频的场景、人脸、标题等内容,推理返回剧集名称、别称、演员表、一句话简介、上映时间、地点等信息,帮助补充视频标签。

公众人脸库(专业):基于百度百科的海量人脸数据,收录了领导人、艺术家、影视明星、体育明星、社会活动家等国内外公众人物,总数量超70万。

召回率提升(高效):对比人工浏览视频内容标注出的视频标签的数量,使用视频内容分析MCA的结构化标签数量提升了10倍左右,能够准确描述视频中的细节内容、提升视频的搜全率。

2.1 整体架构

按照功能划分,MCA的层级架构如图所示:

业务系统的核心功能如图所示:

MCA产品的主要功能如下:

a. 智能视频标签:为视频文件或直播流的内容打标签,可输出视频的场景、公众人物、地点、实体和关键词等结构化标签信息;

b. 智能图片标签:对图片内容进行打标签,可输出图片中公众人物、logo、实体和关键词等结构化标签信息;

c. 智能封面:通过对视频、图像等内容理解,从图像清晰度、构图美学和精彩程度等方面分析,生成视频的静态封面、动态封面、视频封面;

d. 精彩视频分析:通过场景切分、音频特征分析等技术,提取影视综长视频中的高光时刻。

2.2 技术实现的细节阐释

登录百度智能云平台官网,进入“一念 > 内容分析”产品页面。

2.2.1 智能标签

登录成功、进入产品页面后,进入智能标签 > 视频内容分析,点击“创建视频内容分析”,创建分析任务。

MCA支持三种视频导入方式:本地文件导入、BOS 地址导入、在线地址导入。

输入限制:

  • 文件格式:3gpp、asf/wmv、avi、flv/f4v、mkv、mov/mp4/m4a、mp3、mp2、mpeg/mpg、ts/ogg、mts、wmv/wma、rm/rmvb、webm等;

  • 视频编码标准:H.264、H.263/H.263+、MPEG-1/2/4、VP8/9、Quicktime、RealVideo、WMV、MJPEG等;

  • 音频编码标准:MP1、MP2、MP3、AAC、AC-3、WMA、PCM、ADPCM、AMR、RealAudio、Vorbis、DSD等;

  • 分析时长6小时以内,分辨率大于30X30;

  • 分析视频的audio、video编码信息须至少存在一个,不能为空;

  • 可批量上传音视频文件,最多可同时上传20个文件。

分析过程中可以看到分析状态(排队中→分析中→分析完成/分析失败)。如果分析失败,可以将鼠标移到分析失败旁边的图标上查看失败原因。若分析完成,则可查看分析结果。

点击分析完成视频的“查看详情”按钮,即可查看视频分析的结果.

右侧的页签可以查看不同维度的中间分析结果,下侧为标签提取结果。

2.2.2 智能封面

开启后,系统将结合清晰度、人脸、构图、场景识别等特征信息,综合输出视频中适合做封面的图片。

点击智能封面分析,进入智能封面分析页面。

点击创建智能封面分析,创建分析任务。

分析过程中可以看到分析状态(排队中→分析中→分析完成/分析失败)。

点击分析完成视频的“查看详情”按钮,即可查看视频的封面结果。


2.2.3 精彩视频分析

登录成功、进入产品页面后,点击精彩视频分析,进入精彩视频分析页面。

点击创建精彩视频分析,创建分析任务。

分析过程中可以看到分析状态(排队中→分析中→分析完成)。

分析完成后,点击“查看详情”按钮,即查看视频的精彩片段。


2.2.4 自定义库

系统支持自定义LOGO库与自定义人脸库、自定义文本库功能。

自定义人脸库,区别于公共人物库,目的在于可以让客户管理自身业务所需的人脸集,是公共库的重要补充。

  • 人脸照片的要求:正面的(证件照类型的正面)或微微侧面的(五官显示完整)、面部光线均匀(轮廓清晰,无口罩、帽子、深色墨镜遮挡,无浓妆)。对于戴眼镜的人脸,眼镜框不可遮挡眼睛区域,镜片应无色或不严重反光。

  • 画质:画质清晰、面部区域不要有字幕、水印等遮挡物。

  • 数量:一个人物需要5张左右照片。

自定义人脸库的关系如下:

支持用户配置自定义LOGO库,并绑定在模板上。

自定义文本库创建后,用户可选择将其关联为黑库或白库。

03 总结

在大模型的加持下,MCA能够更好地帮助企业降本增效:

  • 业务提效:对比人工浏览视频内容标注出的视频标签,使用媒体内容分析 MCA 可提升 3~5 倍的分析效率。

  • 部署灵活:可通过SaaS、API接口调用、私有化部署的方式接入MCA服务,轻松适配多种业务场景,满足企业各种业务需求,能快速实现集成和落地。

  • 管理便捷:支持创建普通用户和超级管理员用户,普通用户仅能使用产品功能,不具备用户管理权限,超级管理员用户具备用户管理权限;不同用户之前的视频分析历史任务可以互相隔离。

————END————

推荐阅读

产品分享|百度智能云旗下,作为“行业首创”的媒体内容分析MCA是什么_智能媒体分析-CSDN博客

干货分享|视频的结构化标签问题_长视频内容结构化标签-CSDN博客

玩转百度云 AI 服务:成为海量视频的超级管理员!-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/372380.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

标准盒模型和怪异盒子模型的区别

盒模型描述了一个 HTML 元素所占用的空间,由内容(content)、内边距(padding)、边框(border)和外边距(margin)组成。 可以通过修改元素的box-sizing属性来改变元素的盒模型…

idea 默认路径修改

1.查看 idea 的安装路径(右键点击 idea 图标,查看路径 ) “C:\Program Files\JetBrains\IntelliJ IDEA 2021.3.1\bin\idea64.exe” 在 bin 目录查看 idea.properties 文件,修改以下四个路径文件 # idea.config.path${user.home}/…

【matlab】李雅普诺夫稳定性分析

目录 引言 一、基本概念 二、李雅普诺夫稳定性分析方法 1. 第一方法(间接法) 2. 第二方法(直接法) 三、应用与发展 matalb代码 对称矩阵的定号性(正定性)的判定 线性定常连续系统的李雅普诺夫稳定性 线性定常离散系统的李雅普诺夫…

QT5.12.9 通过MinGW64 / MinGW32 cmake编译Opencv4.5.1

一、安装前准备: 1.安装QT,QT5.12.9官方下载链接:https://download.qt.io/archive/qt/5.12/5.12.9/ QT安装教程:https://blog.csdn.net/Mark_md/article/details/108614209 如果电脑是64位就编译器选择MinGW64,32位就选择MinGW…

车载测试之-CANoe创建仿真工程

在现代汽车工业中,车载测试是确保车辆电子系统可靠性和功能性的关键环节。而使用CANoe创建仿真工程,不仅能够模拟真实的车辆环境,还能大大提升测试效率和准确性。那么,CANoe是如何实现这些的呢? 车载测试中&#xff0…

使用Keil 点亮LED灯 F103ZET6

1.新建项目 不截图了 2.startup_stm32f10x_hd.s Keil\Packs\Keil\STM32F1xx_DFP\2.2.0\Device\Source\ARM 搜索startup_stm32f10x_hd.s 复制到项目路径,双击Source Group 1 3.项目文件夹新建stm32f10x.h, 新建文件main.c #include "stm32f10x…

【Python】不小心卸载pip后(手动安装pip的两种方式)

文章目录 方法一:使用get-pip.py脚本方法二:使用easy_install注意事项 不小心卸载pip后:手动安装pip的两种方式 在使用Python进行开发时,pip作为Python的包管理工具,是我们安装和管理Python库的重要工具。然而&#x…

Linux 内核 GPIO 用户空间接口

文章目录 Linux 内核 GPIO 接口旧版本方式:sysfs 接口新版本方式:chardev 接口 gpiod 库及其命令行gpiod 库的命令行gpiod 库函数的应用 GPIO(General Purpose Input/Output,通用输入/输出接口),是微控制器…

软件产品必须进行软件测试吗?软件产品测试报告重要性介绍

在现代社会,软件已经渗透到我们生活的方方面面,软件的质量对我们的生活和工作有着重要的影响。因此,软件测试是非常重要的。 软件产品进行测试主要有以下好处:随着软件的复杂性增加,软件中的缺陷也越来越多&#xff0…

Open3D 计算点云的平均密度

目录 一、概述 1.1基于领域密度计算原理 1.2应用 二、代码实现 三、实现效果 2.1点云显示 2.2密度计算结果 一、概述 在点云处理中,点的密度通常表示为某个点周围一定区域内的点的数量。高密度区域表示点云较密集,低密度区域表示点云较稀疏。计算…

jmeter-beanshell学习5-beanshell加减乘除运算

我用到的场景是计算金额,所以主要以金额为主,感觉这部分有点麻烦,直接写遇到的几个坑,就不演示解决的过程了。 1.最早写了个两数相减,但是小数精度容易出现问题。比如1-0.010.989999997这种情况,随便写的几…

DDD架构

1.DDD架构的概念: 领域驱动设计(Domain-Driven Design, DDD)是一种软件设计方法,旨在将软件系统的设计和开发焦点集中在领域模型上,以解决复杂业务问题 2.DDD架构解决了什么问题: 在以前的mvc架构种,三层结…

Linux系统下的用户管理模式

Linux系统下的用户管理模式 本文以属于Linux系统基本概念,如果以查找教程教程,解决问题为主,只需要查看本文后半部分。 如需要系统性学习请查看本文前半部分。 文章目录 Linux系统下的用户管理模式1. Linux下用户的概念2. 创建不同类型的用户…

Johnson Counter

目录 描述 输入描述: 输出描述: 参考代码 描述 请用Verilog实现4位约翰逊计数器(扭环形计数器),计数器的循环状态如下。 电路的接口如下图所示。 输入描述: input clk , input …

第一百四十九节 Java数据类型教程 - Java子字符串、字符串转换

Java数据类型教程 - Java子字符串 获取子字符串 我们可以使用substring()方法来获取字符串的子部分。 我们可以将开始索引作为参数,并返回一个从开始索引开始到字符串结尾的子串。 我们还可以将开始索引和结束索引作为参数。 它返回从开始索引开始的子字符串和小…

[数仓]七、离线数仓(PrestoKylin即席查询)

第1章 Presto 1.1 Presto简介 1.1.1 Presto概念 1.1.2 Presto架构 1.1.4 Presto、Impala性能比较 Presto、Impala性能比较_presto和impala对比-CSDN博客 测试结论:Impala性能稍领先于Presto,但是Presto在数据源支持上非常丰富,包括Hive、图数据库、传统关系型数据库、Re…

记录一次Nginx的使用过程

一、Docker安装配置nginx 1.拉取镜像 docker pull nginx2.创建挂载目录 启动前需要先创建Nginx外部挂载目录文件夹 主要有三个目录 conf:配置文件目录log:日志文件目录html:项目文件目录(这里可以存放web文件) 创建挂…

云计算【第一阶段(28)】DNS域名解析服务

一、DNS解析的定义与作用 1.1、DNS解析的定义 DNS解析(Domain Name System Resolution)是互联网服务中的一个核心环节,它负责将用户容易记住的域名转换成网络设备能够识别和使用的IP地址。一般来讲域名比 IP 地址更加的有含义、也更容易记住…

鸿蒙小练习

bean对象 export class BannerImage{id:numberurl:stringtargetUrl:stringproductId:numberconstructor(id: number, url: string, targetUrl: string, productId: number) {this.id idthis.url urlthis.targetUrl targetUrlthis.productId productId} }export class d…

乐鑫ESPC3 ESP8685 WiFi蓝牙模块透传程序设置教程,抛开繁琐AT指令,简单Web页面配置,即可实现透传

完整文档请下载规格书 TTL-WiFi 透传产品 使用手册 一. 产品概述 二. 接口定义 三. 软件透传WEB配置使用说明 3.1 STATUS配置界面 3.2 MODULE配置界面 n Serial(串口配置) n WiFi(WiFi配置) n Networks(网络…