MiniCPM-V: A GPT-4V Level MLLM on Your Phone论文阅读

大模型的趋势:模型性能越来越好,模型参数变小,端边设备计算能力变强。

MiniCPM-V优点

结果好、OCR能力突出、多分辨率、多语言、易于部署

模型结构

在这里插入图片描述
图片encoder适用vit。输入整体以及切片。切片使用自适应算法,通过计算分数,选取一个mxn,位置编码改用2d方式。然后通过压缩模块,将1024维的tokens压缩到64/96维,增大推理速度。在每一行到切片后加入换行符号,保持空间一致性。最后送入LLM。

训练过程

分为3步:预训练、有监督微调 以及RLAIF-V对齐

预训练

在这里插入图片描述

用于对齐视觉模块。分为3个stage

  • 训练压缩模块,连接语言与视觉特征,冻结其他层。使用清洗过后的200万的Image Captioning数据。
  • 更改输入分辨率224->448。只训visual encoder。200万的Image Captioning数据。
  • 训练压缩模块+visual encoder。LLM不动,Image Captioning数据+OCR数据

其他tricks

  • 数据重新描述。使用GPT优化描述
  • 数据打包。所有的数据打包到一个固定的长度。加快预训练2-3倍。
  • 语言泛化能力。只在中文和英文语言上训练。然后通过多语言的监督微调对齐到目标语言。

有监督微调SFT

在这里插入图片描述

使用GPT标注问答数据,训练所有模块。数据主要为高质量的视觉问答。
数据分为2部分。一部分增强模型基础识别能力,短句子为主。一部分增强模型细节、跟随人类指令能力。

RLAIF-V对齐

在这里插入图片描述

  • 问政策、法规之类的问题。然后让模型产出10个响应。
  • 分治思想。将响应拆分几个部分。每一个不问问一个LLM,让LLM去打分。最后综合打分得到响应的结果。
  • 使用DPO优化,利用6K个对齐数据集。成对样本优化。

端边部署

在这里插入图片描述
主要的挑战在于,内存限制、CPU、GPU的算力限制。
常用的策略为量化。fp16 16-17G、int4大约5G。部署框架上,cpu还是慢,小米8为例,一个tokens1.3s。

高级策略

在这里插入图片描述

  • 内存优化。序列内存占用。先vit encoder,再LLM。45->31s
  • 编译优化。在对应的设备上进行编译。50->17。1.3->3.2
  • 配置优化,自动在对应的设备上选择最优的配置参数,3.2->8.2
  • NPU优化,使用NPU做vit encoder。encoders时间3.7->1.3
    在这里插入图片描述
    当前主要消耗的时间在LLM的预填充。也就是img encode+text encode

实验

不同的系列
在这里插入图片描述
benchmark选择了通用、OCR以及幻觉相关
在这里插入图片描述
通用能力
在这里插入图片描述
OCR能力
在这里插入图片描述
多语言很好
在这里插入图片描述
语言正则化效果显著
在这里插入图片描述
不同的分辨率
在这里插入图片描述
幻觉减弱

对齐相关:

https://blog.csdn.net/v_JULY_v/article/details/134242910

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/404266.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

人机环境系统智能已经超越了传统的空间智能和物理世界的概念

人机环境系统智能已经超越了传统的空间智能和物理世界的概念,进入了更为复杂的层次。在人机环境系统中,智能不仅涉及对物理世界的感知和理解,还包括对人类语言、情感、意图等的理解和生成。人工智能技术的应用,如自然语言处理、机…

C++静态数组的用法

每日诗词: 疏影横斜水清浅,暗香浮动月黄昏。 ——《山园小梅其一》林逋 目录 数组的基础操作: 数组元素的增加: 演示: 数组元素的删除: 演示: 数组元素的访问和修改: 演示&am…

WLAN射频调优

射频调优的基本原则 信道优化的基本原则 2.4G射频在非高密部署场景中推荐采用1、6、11这种3个不重叠的信道进行规划,同理也可以选用2、7、12或3、8、13的组合方式;在高密部署场景中则推荐采用1、5、9、13共4个信道组合进行规划。5G射频推荐采用36、40、…

HQChart使用教程101-创建内置键盘精灵

HQChart使用教程101-创建内置键盘精灵 键盘精灵步骤1. 创建键盘精灵实例2. 设置事件回调3. 初始化键盘精灵4. 设置码表数据5. 监听"keydown","mousedown" 交流QQ群HQChart代码地址键盘精灵源码 完整实例 键盘精灵 键盘精灵是一种便捷操作软件的功能工具&a…

【人工智能】Python融合机器学习、深度学习和微服务的创新之路

1. 🚀 引言1.1 🚀 人工智能的现状与发展趋势1.2 📜 机器学习、深度学习和神经网络的基本概念1.3 🏆 微服务架构在人工智能中的作用 2. 🔍 机器学习的演变与创新2.1 🌟 机器学习的历史回顾2.2 🧠…

UE----IPA 安装 在手机上后 显示 不受信任的开发者

进入设置 ----》 点击 通用 ----》点击 VPN与设备管理 点击信任 然后 再打开开发者模式即可 在隐私与安全性里 下滑 最底部 即可看到开发者模式

JavaScript学习笔记(十二):JS Web API

1、Web API - 简介 Web API 是开发人员的梦想。 它可以扩展浏览器的功能它可以极大简化复杂的功能它可以为复杂的代码提供简单的语法 1.1 什么是 Web API? API 指的是应用程序编程接口(Application Programming Interface)。 Web API 是 …

机器学习第十四章-概率图模型

目录 14.1 隐马尔可夫模型 14.2马尔科夫随机场 14.3条件随机场 14.4学习与推断 14.4.1变量消去 14.4.2信念传播 14.5近似推断 14.5.1 MCMC采样 14.5.2 变分推断 14.6 话题模型 14.1 隐马尔可夫模型 概率围棋型是一类用图来表达变量相关关系的概率模型.它以图为表示工具…

Python入门级[ 基础语法 函数... ] 笔记 例题较多

本文是刚学习Python的笔记,当时使用的编辑器是交互式编程,所以很多代码可能在你们的编译器上面不能运行,我用快引用引起来了,还需要大家自己动手试一试。 内容涉及的比较简单,主要还是Python的语法部分:三…

短链接系统设计方案

背景 需要设计一个短链接系统,主要功能主要有如下几点: ToB: 输入一个长链接,转换成短链接。这个短链接有时效性,可以设定指定过期时间。这个系统的每天会生成千万级别的短链接。数据具备可分析功能。 ToC&#xf…

借助Vercel 十分钟搭建属于自己的AI应用站点

轻松依托 Vercel,快速构建 Nexior AI 平台 Nexior 是一个令人惊叹的开源项目,托管于 GitHub。通过它,您能够一键便捷地部署专属的 AI 应用站点,包括 AI 问答、Midjourney 绘画、知识库问答、艺术二维码等,完全不需要自己去开发 A…

springBoot+ druid配置多数据源

springBoot druid配置多数据源 1.在yml加: spring:#1.JDBC数据源datasource:druid:first:username: PYpassword: ral2024url: jdbc:mysql://localhost:3306/mysql?serverTimezoneUTC&characterEncodingutf8&useUnicodetrue&useSSLfalsedriver-class-n…

前端进行分页Vue3+Setup写法

当后端不方便提供数据分页查询接口时&#xff0c;就需要前端来自己分割进行分页操作 在有可能的情况下还是建议用分页查询接口&#xff0c;减少网络数据传输 首先el-table绑定数组 分页组件&#xff0c;变量自己定义防止报错 <el-paginationlayout"->, total, siz…

HTML中的<fieldset>标签元素框的使用

HTML 提供的 <fieldset> 标签用于在表单中分组相关元素。 <fieldset> 标签会在相关元素周围绘制一个框。 <legend> 标签为 fieldset 元素定义标题。 语法如下&#xff1a; <fieldset><legend>标题</legend><!-- 元素内容... -->…

qt-17不规则窗体

不规则窗体 知识点shape.hshape.cppmain.cpp运行图 知识点 感觉这个就是在图片背景 贴了白色 shape.h #ifndef SHAPE_H #define SHAPE_H#include <QWidget>class Shape : public QWidget {Q_OBJECTpublic:Shape(QWidget *parent nullptr);~Shape(); protected:void m…

最新图像修复论文汇总(2024年以来)(三)

汇总了自2024年以来新提出的高质量图像修复工作&#xff0c;包含扩散模型、transformer、mamba、sam等最前沿的技术&#xff0c;其中一些是ICLR、ICML、CVPR、ECCV、ACM MM 2024年的新作。 这里是第三部分&#xff0c;还有两部分请参阅。 最新图像修复论文汇总&#xff08;20…

【Python快速入门和实践013】Python常用脚本-目标检测之按照类别数量划分数据集

一、功能介绍 这段代码实现了从给定的图像和标签文件夹中分割数据集为训练集、验证集和测试集的功能。以下是代码功能的总结&#xff1a; 创建目标文件夹结构&#xff1a; 在指定的根目录&#xff08;dataset_root&#xff09;下创建images和labels两个文件夹。在这两个文件夹下…

瑞友科技项目经理认证负责人杨文娟受邀为第四届中国项目经理大会演讲嘉宾︱PMO评论

全国项目经理专业人士年度盛会 北京瑞友科技股份有限公司项目经理认证负责人杨文娟女士受邀为PMO评论主办的全国项目经理专业人士年度盛会——2024第四届中国项目经理大会演讲嘉宾&#xff0c;演讲议题为“瑞友科技项目经理人才培养体系落地实践”。大会将于10月26-27日在北京举…

【C++】C++11新增特性

目录 C11简介&#xff1a; 1、统一的列表初始化&#xff1a; std::initializer_list 2、自动类型推导&#xff1a; auto&#xff1a; decltype&#xff1a; 3、final 和 override final&#xff1a; override&#xff1a; 4、默认成员函数控制&#xff1a; 显示缺省…

第132天:内网安全-横向移动Exchange服务有账户CVE漏洞无账户口令爆破

域控环境0day.org 通过网盘分享的文件&#xff1a;131-0day.org内网域环境镜像文件 链接: https://pan.baidu.com/s/1rf_gHVJSNG8PEsiSr7DFSw?pwdr5jc 提取码: r5jc 给win7设置一张nat网卡&#xff0c;其他各个主机都设置为vm2 案例一&#xff1a; 域横向移动-内网服务-Exchan…