Shot边界检测----2001-2007TRECVID比赛算法总结

概述

Shot边界检测(Shot boundary detection ,SBD)指在视频中自动检测镜头的边界,是视频分析,视频索引,视频摘要,视频搜索和其他基于内容的视频操作的基本的预处理步骤。自动SBD是2001至2007年TRECVID比赛中的一项重要内容,这七年中一共有57只不同的队伍提出了自己的SBD算法,使用的是相同的数据集和评价标准。

使用的主要方法

这里写图片描述
注:
MLrn:Machine Learning 机器学习的方法
ColHist:colour histograms(Superscript number denotes number of bins used),颜色直方图的方法,上标数字是使用的bin的数目。
Flash:针对闪光使用了特殊的方法。
LVals:在进行帧间比较的时候使用了亮度值。
Cmpr:operated only in the compressed (MPEG-1) domain (Cmpr).
AThr:使用了自适应的阈值法。
MCmp:使用了运动补偿。
Edgs:使用了边缘检测。
STmp:运用了时空特征。
Other:

1. 通过帧间比较确定shot的边界

有三种主流的方法:
1. 颜色直方图(15组)
2. 亮度值(8组)
3. 边缘(5组)
很多组会将这几种方法结合起来使用,比如2005年有4组使用了全部三种方法,取得了第三第五第六第十名。
其他通过帧间比较确定shot边界的方法还有:frame thumbnail based gray-levels,检测黑帧,检测单色帧,a non-linear state-based fusion of techniques(四种均来自IBM)……略。

1.1 使用颜色直方图

计算帧中每一个像素的颜色值,然后生成一个直方图(bin值固定但有所不同),比较邻近帧的颜色直方图,如果变化剧烈,就有可能是出现了渐变或者切变。
通常选择的还是一维的bin值较高的彩色直方图。
不同组选择的距离度量也有很多种,研究表明,较为简单的曼哈顿Manhattan距离和欧式距离就很有效了。

1.2 使用亮度值

比较不同帧之间的亮度值,并和1.1或1.3的方法或两者兼有结合使用。

1.3 使用边缘

虽然颜色直方图是确定两帧之间差别的最普遍的方法,寻找每一帧的边缘也是一种可用的方法,可以单独使用或者跟颜色直方图的方法结合起来使用。如果一组连续帧的边缘差别很大,就很有可能是出现了shot边界。
并没有一组单独使用了这种方法来做shot边界检测。

1.4其他方法

2. 寻找渐变(Gradual Transitions GTs)

切变的检测相对来说可以比较直接地判断出来,比较一下相邻帧即可。不过检测渐变时,考虑的帧数(窗口大小)是可选的。使用TRECVID所提供的数据集时,平均的渐变帧数在10帧左右。
不同组选择的窗口大小也有不同:5帧,14帧,10帧,>15帧,16帧,10-12帧都有。
IBM研究院在检测切变和渐变的时候使用了同样的方法,使用了基于图的多个帧对匹配的方法,每个帧作为图中的一个节点。帧对,最多13个,通过弧连接起来,镜头的变换在图中是一个cut?
LaBRI组使用的方法是,比较相邻的I帧来确定是否出现了shot的边界。

3. 机器学习

对样本数据使用机器学习的方法,以训练机器知晓切变和渐变的表现形式。不少组采用了支持向量机的方法来检测切变和渐变。

4.闪光检测

视频中可能会出现闪光摄影,尤其是电视新闻节目中,可能会造成shot边界的误判。有几组针对闪光摄影,灯的闪烁或者是场景中出现的光源采取了策略。对于视频做预处理,粗略地比较当前帧之前之后各两帧,如果这些帧并没有出现明显的差异,就认为是出现了flash。

5.自适应的阈值

对于不使用SVM来度量两帧之间差值的组别,必须设立一个阈值去判定这个帧是否是shot的边界帧。自适应的阈值会因视频类型不同而有所不同。
CLIPS和 RMIT使用了一个噪声因子来动态地调整阈值。IBM研究院等对Meanwhile IBM Research and U. Rey Juan Carlos considered frames either side of the frame in question to make an individual threshold for that frame.

6.运动补偿

7.时空切片

时空切片是从视频中提取出的2D图像,一个维度来自空间,一个维度来自时间,使用时空切片可以减少需要考虑的帧中区域,从而减低运算开销(香港城市大学)。
香港理工大学利用切片的连贯性进行切变和擦除的检测,将溶解和未溶解的情况进行分类。淡入和淡出被认为是溶解的特例。The Technical University of Delft 从时空的视频数据块中提取特征,作为观察时间间隔时判断镜头变换的依据。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/17262.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

IJCAI探营第一天 6个Tutorial 和13个Workshop为什么都“挤在” RMIT 80号楼?

雷锋网消息:今天是IJCAI大会(国际人工智能联合会议)的第一天,在寒冷的墨尔本,雷锋网(公众号:雷锋网)的记者来到这里为大家带来大会的最新报道。 大会的前两天在墨尔本皇家理工大学(RMIT&#xf…

每日区块链:区块链需求增加,Nvidia有望获得巨额利润;澳洲大学建立世界首家区块链社会科学研究中心

1、区块链需求增加,Nvidia有望获得巨额利润 如今,许多公司已经开始采用区块链技术。市场报告称,区块链市场规模很可能从去年的2.102亿美元增长至2021年的23.125亿美元。 尽管区块链的主要目标是银行、支付系统和金融机构,但其他公…

博士申请 | 皇家墨尔本理工大学鲍芝峰教授招收数据挖掘方向全奖博士生

合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 皇家墨尔本理工大学 皇家墨尔本理工大学(Royal Melbourne Institute of Technol…

RMIT大学“3D打印”创造美好未来-“私人订制”人体骨骼!

-患上恶性骨肿瘤,需要去掉坏骨头,找到替代品植入。但传统假体无法满足患者缺损的精细化要求,经常因为不匹配导致功能障碍。现在通过3D打印的技术将可以改变这一切。 近日,RMIT教授Milan Brandt正在与专家Peter Choong一起开发一项…

阿德莱德计算机专业本科,最新全球高校CS专业排名出炉!想学IT的不能错过这几所澳洲高校!...

近年来,如果被问到哪个专业在世界范围内都“吃香”,那么与计算机相关的专业一定是标准答案! 随着社会发展越来越发达,关于计算机类领域的发展可谓是在不断的加速。人工智能、互联网技术存在于日常生活的方方面面。与之相关的信息安…

RMIT阿里UTS中山提出Target-aware Transformer,进行one-to-all知识蒸馏!性能SOTA

关注公众号,发现CV技术之美 本文分享 CVPR 2022 Oral 的一篇论文『Knowledge Distillation via the Target-aware Transformer』,由RMIT&阿里&UTS&中山提出Target-aware Transformer,进行one-to-all知识蒸馏!性能SOTA…

悉尼大学计算机工程专业世界排名,2019QS澳洲计算机专业排名,7所大学进入世界百强!...

原标题:2019QS澳洲计算机专业排名,7所大学进入世界百强! 说起计算机专业,很多学生会联想到好就业薪水丰厚,不仅是国内,在全球来看,计算机专业人才都非常受欢迎,所以这几年出国留学就…

澳洲转专业学计算机,刚来澳洲留学,我就想转专业!(附转专业攻略)

原标题:刚来澳洲留学,我就想转专业!(附转专业攻略) 粥粥最近遇到有朋友问: 澳洲留学可以转学或者转专业不? 这个嘛~ 相信有部分小伙伴在出国留学后, 也可能会遇到过这样的问题。 有的因为感觉专业不适合自己…

rmit计算机科学,更好的选择,更好的未来 —专访RMIT计算机科学Dr. Fengling Han

原标题:更好的选择,更好的未来 —专访RMIT计算机科学Dr. Fengling Han RMIT的计算机专业不仅在世界排名中位于前一百,在计算机行业,也因其课程实用性和雇主满意度而享有很高的声誉,本次RMIT科学工程和健康学院的中国研…

澳洲计算机设计专业大学排名,澳洲设计专业大学排名TOP5

众所周知,澳大利亚是移民大国,移民来自全球100多个国家。其丰富的移民文化使澳大利亚的艺术氛围浓厚而独特,也因此吸引着越来越多的艺术学子前来就读。那么,你知道去澳洲学设计专业可以选择哪些院校吗?下述就是美行思远…

rmit计算机科学选课,RMIT最强最全的IT Master选课指南,“鼠”于你的高分秘籍!...

RMIT的IT课程设计十分地人性化,每个学期的课程根据自身知识的储备的不同会有多个方向的选择。但是,如果对自己的了解不够深入,或者对课程的英语描述不清楚的同学很容易踩雷。所以RMIT的学霸学长根据自己的经验将每个学期的课程分别从&#xf…

手把手教你用鸿蒙HarmonyOS实现微信聊天界面(二)

简介 本系列文章记录作者大三开学第一个月中学习HarmonyOS移动应用开发学习经历,此篇为《微信聊天界面》项目,实现功能有 1、聊天信息功能,包括图片、文字 2、发送定位功能 3、选择发送本机图片功能 4、拍照并发送图片功能 如果在真机调试…

鸿蒙2.0开始推送,华为OS首次登陆手机,亮点槽点都在这里

贾浩楠 萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 很快啊!华为鸿蒙2.0,这就来了。 目前,鸿蒙2.0已经开放公测,不少华为用户已经开始上手体验了。 据华为消费者业务软件部总裁王成录表示,今年6月初,华为…

2023年人工智能行业研究报告

第一章 行业概况 1.1 定义和分类 人工智能(ArtificialIntelligence, AI)是一个广泛的计算机科学分支,它致力于创建和应用智能机器。在更深入的层次上,人工智能可以被理解为以下几个方面: 学习和适应:人工…

梭哈大模型,阿里云成了跟风者?

伴随AI大模型潘多拉魔盒打开,云市场GameChanger已到来。对阿里云这个昔日老大哥而言,从“领先者”变为“跟风者”,是否还有机会去重塑行业规则? 这可能是张勇全面掌舵阿里巴巴7年以来,事关未来最重要的一次“梭哈”。 …

国产AI算力芯片简介-2023年

Q:GPGPU和ASIC芯片在AI算力中分别承担什么样的角色? A:早期开放框架基于GPGPU架构实现,因此软件生态更为成熟,对于初级客户来说,上手使用更加方便。GPGPU的通用性也更好,架构更加适合AI中针对模…

美团已开始研发大模型 ;华为MetaERP全球上线;金山软件一季度净利润同比增长96%丨每日大事件...

‍ ‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 企业动态 阿里云智能被曝进行组织岗位和人员优化,补偿标准为N11 近日,一位阿里云智能内部人士透露:“每年公司会进行正常的组织岗位和人员优化。此次人员调整的时间为5月份&#xff0c…

在Centos 7搭建Docker环境

一、环境部署包准备 1、Centos 7版本的操作系统并支持SSH访问 2、下载 jdk-8u60-linux-x64.rpm 3、下载 apache-tomcat-8.0.30.tar.gz 二、Docker安装 1、修改yum源,制定Docker官方的yum源 vi /etc/yum.repos.d/docker.repo [dockerrepo] nameDocker Repository…

巴比特 | 元宇宙每日必读:WPS接入AI能力,微软小冰计划年底前克隆10万虚拟人,游戏巨头如坐针毡,元宇宙应用至少有6亿月活...

摘要:元宇宙天天被“死亡”,堡垒之夜老板撰文奋起反击:元宇宙应用至少已有6亿月活用户,他们出没于Fortnite、Minecraft、Roblox、The Sandbox 和 VR Chat 等元宇宙虚拟世界中。显然,他并不认同“元宇宙已死”的说法。他…