VGMShield:揭秘视频生成模型滥用的检测与追踪技术

 人工智能咨询培训老师叶梓 转载标明出处

视频生成模型,如 Stable Video Diffusion 和 Videocrafter,已经能够生成合理且高分辨率的视频。但这些技术进步也带来了被恶意利用的风险,比如用于制造假新闻或进行政治宣传。因此,来自弗吉尼亚大学和亥姆霍兹信息安全中心(CISPA)的研究团队着手开发了 VGMShield,一套旨在降低视频生成模型滥用风险的综合解决方案:

现实世界中的参与者分为三个不同的实体:创建者(Creator)、修改者(Modifier)和消费者(Consumer)。创建者可能是摄影师或记者,他们上传信息供消费者使用。修改者可能会恶意使用这些图像生成误导消费者的视频。为了解决视频生成模型带来的安全隐患,研究者提出了一个包含假视频检测、假视频来源追踪和滥用预防的综合防御框架。

消费者 (Consumer)、创建者 (Creator) 和修改者 (Modifier) 在信息/内容生成和消费周期中的角色

假视频检测和追踪

潜在的威胁模型基于两个关键因素:视频来源和生成视频所使用的模型。检测任务分为四种场景:在目标检测中,检测器不仅知道可能生成视频的模型,还知道用于生成视频的数据源。这种场景虽然理想化,但为研究者提供了一个起点,以理解在最佳条件下模型的表现。第二,数据盲检测,其中检测器知道视频的来源,但对生成视频使用的数据分布一无所知。模型盲检测则相反,检测器知道数据分布,但不知道使用的是哪种模型。最后,开放检测是一个更为现实和具有挑战性的场景,检测器对数据源和模型都一无所知。

假视频检测和追踪的不同场景,包括数据和模型的知识情况

研究者们在构建假视频检测和追踪方法时,将这个问题转化为了分类任务。他们基于一个关键假设:假视频会在空间维度上展示出异常特征,同时在时间维度上表现出不一致性。为了识别这些异常,研究者们选择了几种预训练的视频识别模型,这些模型能够理解视频的时空动态。他们选用的模型包括 Inflated 3D ConvNet (I3D)、X-CLIP 和 Video Masked Autoencoders (MAE),每种模型都以其独特的方式处理视频数据。

在检测部分,研究者们根据不同的应用场景调整了模型的训练方法。他们遵循两个基本原则:首先,为了应对开放检测设置,他们确保训练集尽可能多样化,包含了大量的真实和假视频;其次,当任务更加具体时,例如检测器需要识别特定模型或数据分布生成的视频,他们会缩小训练集的范围,使其更贴近实际任务的需求。

在追踪源模型的过程中,研究者们采取了一种假设所有视频均为假视频的方法,并使用多标签分类模型来确定视频可能来源于的九种不同模型之一。与检测任务不同,追踪任务的训练涉及到所有这些模型生成的假视频,这样做可以帮助模型学习到每种模型生成视频的独特特征。

为了验证所提出方法的有效性,研究者采用了两个广泛使用的数据集:WebVid-10M和InternVid,来进行评估。这些数据集拥有大量的视频和相应的文本描述,为训练和评估机器学习模型提供了丰富的资源。研究者进一步收集了所有可用的开源视频生成模型,并针对每一种模型生成了1000个视频,这些视频随后被用于检测和追踪任务。

假视频检测的实验流程

图2展示了假视频检测的实验流程。为了确保真实视频和假视频具有相似的分布特征,研究者们采用了一种特定的方法来生成假视频。这种方法利用了真实视频的第一帧(以及可能伴随的字幕)来生成对应的假视频。这样的处理旨在最小化真实视频和假视频之间的差异,从而使得检测模型不能依赖于其他特征(例如,真实视频总是关于动物的,而假视频总是关于汽车的)。

分类模型由两部分组成:一个作为主干的视频识别模型,以及一个全连接的模型。这个全连接的模型被训练来识别和区分真实视频和假视频。视频识别模型负责提取视频中的关键特征,而全连接层则用于学习如何根据这些特征来区分视频的真实性。通过在真实视频和假视频上训练这个复合模型,研究者们旨在提高检测系统的性能和准确性。这种训练方法有助于模型更好地理解真假视频之间的微妙差异,从而在实际应用中更有效地识别出假视频。

实验的详细参数,包括输入帧数、训练周期、学习率等

研究者展示了在不同数据集和多种生成任务中应用三种检测模型的结果。他们发现,Video Masked Autoencoders(MAE)模型在各种场景下都展现出了稳定性和高效性,尤其是在开放检测设置中,MAE模型的检测准确率显著高于其他模型。

使用不同的检测模型(X-CLIP, MAE, I3D)在 WebVid-10M 数据集上构造视频时的检测结果
MAE 基础的假视频检测模型在 InternVid 数据集上四种设置下的性能

研究者展示了在数据知情和数据不知情两种设置下,使用X-CLIP、I3D和MAE作为后端的追踪模型的性能。特别地,在数据不知情的设置中,即使面对未知数据源的视频,MAE模型仍然能够保持高达90%的准确率,显示出其在追踪任务上的鲁棒性。

在数据感知和数据不可知设置下,使用 Webvid 和 InternVid 数据集的源追踪结果

研究者们采用了Grad-CAM技术来深入分析模型的决策过程。Grad-CAM(梯度类激活映射)是一种可视化技术,它能够展示模型在做出分类决策时所关注的视频区域。通过这种方式,研究者们可以直观地理解检测模型是如何识别出假视频的。

使用 Grad-CAM 展示了 I3D 和 MAE 检测模型在 InternVid-SVD 生成任务中做出检测决定的具体方面

研究者们首先观察了基于I3D和MAE的检测模型,这两种模型在假视频检测上都取得了超过90%的准确率。通过Grad-CAM生成的热图,研究者们发现这些模型主要依赖于视频中的对象来进行判断。例如,I3D模型倾向于关注人脸、栅栏、手指和引擎电池等对象,而MAE模型则集中于识别如下水道盖、人体和手指等异常对象。

源追踪模型依赖于视频中不同位置的特征来确定生成模型

研究者们还注意到,MAE模型在检测时空异常方面表现得更为灵活和敏感。与I3D模型相比,MAE模型不仅能够识别出对象在空间维度上的扭曲,还能够察觉到对象在时间维度上的不连贯性。例如,如果视频中的排水管在连续帧之间发生了明显的形状变化,MAE模型能够捕捉到这种变化,并据此判断视频为假。

通过Grad-CAM的分析,研究者们得出结论,MAE模型之所以在假视频检测上表现更为出色,是因为其能够同时关注视频中的时空异常,而不仅仅是空间上的失真。这一发现对于进一步优化和改进假视频检测技术具有重要意义。

滥用预防

与文本到视频的生成任务相比,图像到视频的生成任务更容易被滥用,因为存在修改者可能恶意使用这些技术。为了防止这种情况,研究者们设计了一种基于对抗性样本的防御机制,专门针对图像到视频的生成任务。

对抗性样本最初是为了解决分类问题而引入的,通过向原始图像中添加对人类视觉不可见但能导致神经网络做出错误判断的小扰动。研究者们采用类似的方法,创建对抗性样本来干扰视频生成模型,使模型的编码器误解输入图像,从而产生不正确和异常的视频帧,保护原始图像不被滥用。

通过引入扰动来实施预防策略,包括有向防御和无向防御策略

研究者们在多个开源和商业视频生成模型上测试了他们的防御策略。他们采用了两种不同的防御方法:有向防御和无向防御。有向防御需要选择一个目标图像来指导添加的扰动,而无向防御则不需要目标图像,直接优化图像以增加损失。

在实验中,研究者们使用了两种嵌入器,分别从Stable Video Diffusion模型中获取。他们设置了不同的参数,并测试了不同等级的扰动强度。实验结果表明,无论是有向防御还是无向防御,都能有效地防止Stable Video Diffusion生成正常的视频。然而,当面对未知的视频生成模型时,使用有向防御方法生成的对抗性样本可能效果较弱。

在不同 η 设置下,使用有向和无向防御方法生成的对抗性样本
不同扰动强度下对抗性样本的防御效果评估

虽然有向防御在某些情况下可以提供更有效的保护,但它可能需要精心选择目标图像,以确保扰动的不可见性。而无向防御虽然不需要目标图像,但可能需要更大的扰动强度来实现类似的防御效果。尽管存在这些挑战,研究者们提出的滥用预防策略为保护图像不被恶意用于视频生成提供了有价值的见解和工具。

论文链接:https://arxiv.org/abs/2402.13126

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/400756.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

前端学习大纲 | 主流前端技术 | 学习路线

需要完整的学习路线的宝子可以点击获取:点击即可获取完整的学习路线 第一阶段(页面还原能力) HTML5、CSS3、Git 第二阶段(专攻 JS 逻辑能力) JavaScript 基础、JavaScript 进阶、JavaScript 高级、ES6 第三阶段&a…

Leetcode面试经典150题-125.验证回文串

解法都在代码里,不懂就留言或者私信 class Solution {/**这题目感觉不是算法题,应该是考coding的细节点,比如如何判断两个字符是否equals(大小写要equals)空格要忽略,感觉就是纯coding,难道是为…

城市信息模型:构建未来智慧城市之基底座

在智慧城市的宏大叙事中,城市信息模型(City Information Model, CIM)平台如同城市智能的神经中枢,将数据、空间与技术深度融合,为城市规划、管理、服务、居民生活提供了前所未有的洞察与优化途径。CIM平台的构建不仅是…

【鸿蒙学习】HarmonyOS应用开发者基础 - 构建更加丰富的页面之Tabs(三)

学完时间:2024年8月14日 一、前言叨叨 学习HarmonyOS的第六课,人数又成功的降了500名左右,到了3575人了。 本文接上一文章【鸿蒙学习】HarmonyOS应用开发者基础 - 构建更加丰富的页面(一),继续记录构建更…

微信小程序预览PDF、H5预览PDF、网页预览PDF,并添加专属文字水印

下载PDF.js 点击PDF.js下载地址 引入预览PDF 文件 // const url new URL("./1.pdf", import.meta.url).href // 在本地项目获取pdf // const url "https://xxxx/05d833041f.pdf" // 在线上链接获取pdf const url query.get(url) // 在地址栏获取pdf c…

【STM32项目】在FreeRtos背景下的实战项目的实现过程(一)

个人主页~ 这篇文章是我亲身经历的,在做完一个项目之后总结的经验,虽然我没有将整个项目给放出来,因为这项目确实也是花了米让导师指导的,但是这个过程对于STM32的实战项目开发都是非常好用的,可以说按照这个过程&…

c++ - 特殊类设计

文章目录 一、设计一个不允许拷贝的类二、设计一个只能在堆上实例对象的类三、设计一个只能在栈上创建对象的类四、设计一个不能被继承的类五、设计一个只能创建一个对象的类(单例模式) 一、设计一个不允许拷贝的类 1、方法一:将拷贝构造和赋…

多云网络部署存在挑战,F5分布式云应用简化方案解读

伴随着人工智能与云计算领域的深度融合与集中爆发,企业在多云环境中面临着挑战,包括复杂性、成本和风险的增加等……对于高度敏捷企业中的开发团队而言,传统网络的沉重运维成本和低效率将会成为发展的障碍。作为一家提供多云应用安全和应用交…

TcpSocket在切后台后如何保活

1)TcpSocket在切后台后如何保活 2)Magica Clothes 2插件与Burst编译问题 3)粒子拖尾合批失败怎么办 4)如何让射线追踪跟随我FPS游戏的十字准星进行移动 这是第398篇UWA技术知识分享的推送,精选了UWA社区的热门话题&…

flink文档刨析

flink任务运行方式 flink任务提交方式有3种 session、per-job、application三种 flink任务运行底座也有三种,Standalone、yarn、k8s 原则上一个flink任务运行的方式由3*39种,但是有些是没法搭配的 yarn:包括yarn-session 、yarn-per-job 、…

uni-app 吸顶方案总结

效果 页面级 uni.pageScrollTo 官方文档&#xff1a;https://uniapp.dcloud.net.cn/api/ui/scroll.html#pagescrollto 原生头部导航 uni.pageScrollTo({selector: #tabs,duration: 300 });(推荐)需要兼容自定义头部导航 <template><view id"demo1" :styl…

Vue框架学习笔记-6

Vue中的路由 Vue中的路由&#xff08;Routing&#xff09;是通过Vue Router这个官方提供的路由管理器来实现的。Vue Router允许你通过不同的URL访问应用中不同的页面&#xff08;组件&#xff09;&#xff0c;而无需重新加载页面。这对于构建单页应用&#xff08;SPA, Single …

【Hadoop】建立圈内组件的宏观认识

01存储02计算03调度04其他05回忆 众多组件们构建了大规模分布式计算和存储平台。本文介绍Hadoop生态圈中各个组件的主要功能和作用&#xff0c;辅助学者理解每个组件的定位和用途&#xff0c;从而建立对圈内组件的宏观认识。梳理清楚HDFS、MapReduce、YARN、Hive、HBase、Spark…

推出 SAM 2:适用于视频和图像的下一代 Meta Segment Anything 模型

继图像元分割模型(SAM) 取得成功之后&#xff0c;我们发布了SAM 2&#xff0c;这是一个用于在图像和视频中实时提示对象分割的统一模型&#xff0c;可实现最先进的性能。 为了秉承我们的开放科学方针&#xff0c;我们通过宽松的 Apache 2.0 许可证共享代码和模型权重。 我们还…

传奇游戏为何采用多渠道发布如何有效利用论坛资源?

揭秘传奇游戏多渠道发布策略&#xff0c;探讨手机游戏发布论坛如何助力品牌形象塑造 游戏发布平台|手机游戏发布平台|公益服游戏发布站 问题&#xff1a;传奇游戏为何采用多渠道发布策略&#xff1f;这些渠道各自有何优劣势&#xff1f; 回答&#xff1a;传奇游戏采用多渠道发…

Github 2024-08-14 C开源项目日报Top10

根据Github Trendings的统计,今日(2024-08-14统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量C项目10Objective-C项目1PHP项目1Python项目1PHP:流行的Web开发脚本语言 创建周期:4710 天开发语言:C, PHP协议类型:OtherStar数量:37340 …

JAVA中new Object对象占用多少字节,Java对象的组成是哪些?Java对象头的组成又是哪些,MarkWord是什么,有什么作用?

Java对象头的组成_java对象头结构-CSDN博客 JAVA中new Object对象占用多少字节&#xff0c;Java对象的组成是哪些&#xff1f;Java对象头的组成又是哪些&#xff0c;MarkWord是什么&#xff0c;有什么作用&#xff1f; 一、JAVA对象的结构组成 JAVA Object对象的结构组成&…

FreeRTOS的任务创建和删除

1、任务创建和删除的API函数 任务的创建和删除本质就是调用FreeRTOS的API函数。 和任务创建和删除有关的函数主要有三&#xff1a; xTaskCreate():动态方式创建任务。 xTaskCreateStatic():静态方式创建任务。 vTaskDelete():删除任务。 那又有思考了 2、动态方式创建任…

实验五之用Processing绘画

1.案例代码如下&#xff1a; import generativedesign.*; import processing.pdf.*; import java.util.Calendar; Tablet tablet; boolean recordPDF false; float x 0, y 0; float stepSize 5.0; PFont font; String letters "Sie hren nicht die folgenden Gesnge…

超级字符串技能:提升你的编码游戏

嘿嘿,uu们,今天咱们来详解字符函数与字符串函数,好啦,废话不多讲,开干&#xff01; 1.:字符分类函数 C语言中又一系列的函数是专门做字符分类的,也就是一个字符属于什么类型的字符的,这些函数的使用需要包含头文件ctype.h 这些函数的使用方法都十分类似,博主在这里就举两到三个…