多模态大模型面对误导性问题:看懂图片也会答错,一骗就中招

多模态大语言模型(MLLMs)因其在视觉理解和推理方面的突出表现,例如生成详细的图像描述和回答复杂的问题等,逐渐成为近期AI研究的热点。

然而,Bunny 团队的最新研究发现,尽管许多MLLMs对视觉内容能够正确理解,但在面对误导性的问题时却容易给出错误答案,如图1所示。团队基于此揭示了一个隐藏现象:MLLMs 在视觉问答上的错误回答,不总是因为性能不足,还可能是由于对误导性问题缺乏鲁棒性。

图片图1 左图展示模型能够正确理解视觉内容,但对于误导性问题回答错误。右图展示现有的MLLMs在回答正向的问题和负向的误导性问题还存在一定的鸿沟。

为全面衡量 MLLMs 的理解能力及其在正确理解视觉内容后面对误导性问题时的表现,研究团队提出了多模态鲁棒性基准(MMR-benchmark)和针对鲁棒性的评价指标。同时为了提升 MLLMs 针对误导性问题的鲁棒性,研究团队精心设计了一个包含成对正向和负向视觉问答样本的训练集(MMR-data)。

实验结果表明,通过使用MMR-data,MLLMs 在应对负面问题时的鲁棒性得到显著提升。

MMR benchmark 构建及评测指标

MMR benchmark 构建

为了实现全面的定量评估和分析,MMR-benchmark通过人工精心标注构建了 300 个正向问题和配对的 300 个带有误导性的负向问题,每个问题包含4个选项,且只有1个正确答案。正向问题用来评估模型正确理解视觉内容的能力,而负向问题则评估模型在面对误导性问题时的鲁棒性。

如图2所示,MMR-benchmark涵盖了字符、属性和语境3个不同粒度层级,包含了总共12个类别。

图片图2 MMR benchmark示例

字符级问题提示识别字符或数字等元素,而属性级问题则侧重于颜色、质地和数量等属性。语境层面的问题则涉及情感、文化和常识等更高层次的概念。例如,字符级的误导性问题会改变字符或数字等元素,属性级的问题会混淆属性,而情境级的提示则会引入复杂的概念,从而彻底测试模型对误导性信息的抵御能力。

评测指标

我们全面地考虑了 4 种结果类型:

  1. 理解且鲁棒(UR),即正向问题和负向问题都答对
  2. 理解但脆弱(UF),即答对了正向问题但答错负向问题
  3. 不理解但严谨(NR),即答错了正向问题但答对负向问题
  4. 不理解且脆弱(NF),即正向问题和负向问题都答错

为量化MLLMs对负面问题的鲁棒性和实际理解能力,我们引入了“误导率(MR)”和“鲁棒性准确率(RA)”,误导率(MR)能够反映出模型面对误导性问题时的鲁棒性,鲁棒性准确率(RA)能够反映出模型在严格条件下答对问题的准确率。二者公式如下:

图片

其中表示4种结果的样本数量。通过结合评估指标 MR 和 RA,我们的MMR 基准不但可以准确反映模型的基本理解能力,而且能够深刻揭示模型对具有误导性提示的问题的鲁棒性。

多模态大语言模型在 MMR benchmark 上表现

下表展示了 6 个闭源模型和 12 个主流开源MLLMs在 MMR 基准上的表现。结论如下:

  1. 尽管理解了视觉内容,但无论是开源还是闭源模型都对负面问题表现出脆弱性。在闭源模型中,GPT-4o表现最佳;而在开源模型中,Mini-Gemini-HD-34B以69.0%的RA指标领先。然而,与Mini-Gemini-HD-34B相比,GPT-4o对负面问题更为敏感,其MR为19.46%,而Mini-Gemini-HD-34B为15.16%。
  2. 模型特别容易受到涉及字符级细节、数字、位置、背景、专业知识以及语境等问题的影响。
  3. 模型在具有较高正面理解能力的子类别上往往表现出更强的抗干扰能力。

图片

指令调优数据集构造

为增强 MLLMs 的理解能力和鲁棒性,我们提出了一种数据构建方法,利用GPT-4V生成成对的正面和负面样本进行指导调优,如图2 所示。包括三个步骤:

  1. 信息提取。我们从图像中隐式和全面地提取这些详细信息,包括文本、物体属性、人物特征、物体之间关系,人物之间关系,事件和整体感知。
  2. 指导调优数据生成。我们通过提取的信息生成正面样本,并构建直接与正面样本相矛盾的负面样本。
  3. 样本过滤。通过关键词匹配过滤样本,去除包含不确定答案和冗余短语的样本。

图片图3 指令调优数据集构造过程。

实验结果

通过使用构建的数据集进行实验,我们在MMR基准测试及其他通用基准测试中的结果如下表所示。实验结果表明,与使用同类数据训练相比,模型在使用构建的数据集训练时表现出更优越的性能。这表明,构造的数据集能够显著提升模型理解能力和在面对误导性问题时的鲁棒性。

图片

图片

在现有数据集的基础上,我们加入了一些其他对话数据,总共构建了649k的数据集,并使用不同的语言模型进行训练。通过与其他模型的对比实验,结果表明,所构建的数据集能够显著提升模型性能。具体实验结果如下表所示。

图片

结语

本研究深入探讨了多模态大语言模型(MLLMs)在准确解读视觉内容并应对负面问题时面临的挑战。我们发现,尽管MLLMs展示出对视觉内容细致的理解,但在面对负面问题时往往会出现不准确的答案。

为了量化评估MLLMs的表现,我们引入了MMR评估框架,旨在全面衡量其对视觉内容的理解和抗负面问题的鲁棒性。同时,我们提出了一种数据构建方法,并引入了高质量的微调数据,以提升MLLMs的鲁棒性和理解能力。

这项研究强调了改进评估方法和数据策略对于推动 MLLMs 在实际应用中性能提升的重要性。

数据,代码与模型均已开源

  • 论文地址:https://arxiv.org/abs/2406.10638

  • 项目地址:https://github.com/BAAI-DCAI/Multimodal-Robustness-Benchmark

  • benchmark和数据集下载地址:https://huggingface.co/datasets/BAAI/Multimodal-Robustness-Benchmark

  • 模型地址:

    • https://huggingface.co/AI4VR/Bunny-MMR-3B
    • https://huggingface.co/AI4VR/Bunny-MMR-4B
    • https://huggingface.co/AI4VR/Bunny-MMR-8B
  • 在线demo地址:http://mmr.dataoptim.org/

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/355501.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

RocketMQ快速入门:集成spring, springboot实现各类消息消费(七)附带源码

0. 引言 rocketmq支持两种消费模式&#xff1a;pull和push&#xff0c;在实际开发中这两种模式分别是如何实现的呢&#xff0c;在spring框架和springboot框架中集成有什么差异&#xff1f;今天我们一起来探究这两个问题。 1. java client实现消息消费 1、添加依赖 <depen…

方舟云康亏损收窄:三年近10亿销售成本,平均付费及月活仍大幅承压

《港湾商业观察》施子夫 三度递表后&#xff0c;终于通过聆讯&#xff0c;方舟云康控股有限公司(以下简称&#xff0c;方舟云康)有望近期内挂牌港交所。方舟云康的国内运营主体为广州方舟云康信息科技集团有限公司、广州方舟医药有限公司。 值得关注的是&#xff0c;亏损的难…

Python日志管理利器:如何高效管理平台日志

一、为什么需要日志管理&#xff1f; 日志是应用程序的重要组成部分&#xff0c;它记录了应用程序的运行状态、错误信息以及用户交互等关键信息。良好的日志管理可以帮助开发人员及时发现和解决问题&#xff0c;提高应用程序的稳定性和可靠性。 项目在本地开发调试时&#xf…

vscode字符多行自动增长插件。

多行字符自动增长插件CharAutoIncre 当你使用shiftalt选中了多行,并输入了’1’,这时这几行都变成了’1’. 这时你可以选中&#xff08;shift左键&#xff09;为’1’的这几行, 接下来按下shiftaltq此时’1’变为了’12345’自增长的样式。 同时本插件支持字符’a-z,A-Z’。 目…

【知识图谱】基于neo4j开发的信息化文档分析系统(源码)

一、项目介绍 一款全源码&#xff0c;可二开&#xff0c;可基于云部署、私有部署的企业级知识库云平台&#xff0c;一款让企业知识变为实打实的数字财富的系统&#xff0c;应用在需要进行文档整理、分类、归集、检索、分析的场景。 为什么建立知识库平台&#xff1f; 助力企业…

IDEA中 pom.xml 设置自动提示

IDEA中 pom.xml 自动提示 IDEA中 pom.xml 自动提示设置如下&#xff1a; file–>Settings–>Build,Execution…–>Build Tools–>Maven–>Repositories 会看到类似表格的画面&#xff0c;内容是你的maven地址&#xff0c;选中后&#xff0c;右边有个Update的按…

Python酷库之旅-第三方库openpyxl(01)

目录 一、 openpyxl库的由来 1、背景 2、起源 3、发展 4、特点 4-1、支持.xlsx格式 4-2、读写Excel文件 4-3、操作单元格 4-4、创建和修改工作表 4-5、样式设置 4-6、图表和公式 4-7、支持数字和日期格式 二、openpyxl库的优缺点 1、优点 1-1、支持现代Excel格式…

鄂州职业大学2024年成人高等继续教育招生简章

鄂州职业大学&#xff0c;作为一所享有盛誉的高等学府&#xff0c;一直以来都致力于为社会培养具备专业技能和良好素养的优秀人才。在成人高等继续教育领域&#xff0c;该校同样表现出色&#xff0c;为广大渴望继续深造、提升自身能力的成年人提供了宝贵的学习机会。 随着社会…

椭圆的矩阵表示法

椭圆的矩阵表示法 flyfish 1. 标准几何表示法 标准几何表示法是通过椭圆的几何定义来表示的&#xff1a; x 2 a 2 y 2 b 2 1 \frac{x^2}{a^2} \frac{y^2}{b^2} 1 a2x2​b2y2​1其中&#xff0c; a a a 是椭圆的长半轴长度&#xff0c; b b b 是椭圆的短半轴长度。 2.…

一文带你全面详细了解安全运维

一、安全运维-网络 1、IP地址相关 IP地址属于网络层地址&#xff0c;用于标识网络中的节点设备。 IP地址由32bit构成&#xff0c;每8bit一组&#xff0c;共占用4个字节。 IP地址由两部分组成&#xff0c;网络位和主机位。 IP地址分类&#xff1a; 类别网络位子网掩码私有地…

云原生Kubernetes系列项目实战-k8s集群+高可用负载均衡层+防火墙

一、Kubernetes 区域可采用 Kubeadm 方式进行安装&#xff1a; 名称主机部署服务master192.168.91.10docker、kubeadm、kubelet、kubectl、flannelnode01192.168.91.11docker、kubeadm、kubelet、kubectl、flannelnode02192.168.91.20docker、kubeadm、kubelet、kubectl、flan…

Linux 一键部署 Nginx1.26.1 + ModSecurity3

前言 ModSecurity 是 Apache 基金会的一个开源、高性能的 Web 应用程序防火墙(WAF),它提供了强大的安全规则引擎,用于检测和阻止各种攻击行为,如 SQL 注入、XSS 跨站点脚本攻击等。而 nginx 是一个高性能的 Web 服务器,常用于处理大量的并发请求,具有很高的负载均衡能力…

从0开始C++(三):构造函数与析构函数详解

目录 构造函数 构造函数的基本使用 构造函数也支持函数重载 构造函数也支持函数参数默认值 构造初始化列表 拷贝构造函数 浅拷贝和深拷贝 析构函数 总结 练习一下ヽ(&#xffe3;▽&#xffe3;)&#xff89; 构造函数 构造函数的基本使用 构造函数是一种特殊的成…

HTML(17)——圆角和盒子阴影

盒子模型——圆角 作用&#xff1a;设置元素的外边框为圆角 属性名&#xff1a;border-radius 属性值&#xff1a;数字px/百分比 也可以每个角设置不同的效果&#xff0c;从左上角顺时针开始赋值&#xff0c;没有取值的角与对角取值相同。 正圆 给正方形盒子设置圆角属性…

WordPress实时搜索插件Ajax Search Lite,轻松替代默认搜索功能

WordPress自带的默认搜索功能是跳转到搜索结果页&#xff0c;如果你想要实时搜索功能&#xff0c;特别是在问答中心显示搜索功能&#xff0c;那么建议使用这个WordPress实时搜索插件Ajax Search Lite&#xff0c;它可以在文章、页面、自定义类型文章中搜索标题、内容、摘要、自…

DP:完全背包+多重背包问题

完全背包和01背包的区别就是&#xff1a;可以多次选 一、完全背包&#xff08;模版&#xff09; 【模板】完全背包_牛客题霸_牛客网 #include <iostream> #include<string.h> using namespace std; const int N1001; int n,V,w[N],v[N],dp[N][N]; //dp[i][j]表示…

队列 + 宽搜(BFS)

例题一 解法&#xff1a; 算法思路&#xff1a; 层序遍历即可~ 仅需多加⼀个变量&#xff0c;⽤来记录每⼀层结点的个数就好了。 例题二 解法&#xff08;层序遍历&#xff09;&#xff1a; 算法思路&#xff1a; 在正常的层序遍历过程中&#xff0c;我们是可以把⼀层的结点…

SpringBoot整合justauth实现多种方式的第三方登陆

目录 0.准备工作 1.引入依赖 2.yml文件 3. Controller代码 4.效果 参考 0.准备工作 你需要获取三方登陆的client-id和client-secret 以github为例 申请地址&#xff1a;Sign in to GitHub GitHub 1.引入依赖 <?xml version"1.0" encoding"UTF-8&quo…

行车记录仪文件夹“0字节”现象解析与恢复策略

一、行车记录仪文件夹“0字节”现象描述 行车记录仪作为现代驾驶中的必备设备&#xff0c;其储存的视频数据对于事故记录和取证至关重要。然而&#xff0c;有时车主们可能会遇到这样一个问题&#xff1a;行车记录仪的某个文件夹内的文件突然变成了0字节大小&#xff0c;无法正…

用于快速充电站的 AC/DC 转换器概述

电动汽车构成了未来实现可持续交通部门的有前途技术的主要部分。AC/DC 转换器是扩展和改进 EV 功能的骨干组件。本文概述了 AC/DC 转换器、充电站类型、传统两电平 (2L) AC/DC 转换器面临的问题以及使用多电平转换器 (MLC) 的重要性。 AC/DC 充电器示意图&#xff08;&#xff…