MiniGPT-4中文翻译

MiniGPT-4: 使用先进的大型语言模型增强视觉语言理解
作者为朱德尧、陈俊、沈晓倩、李翔和Mohamed Elhoseiny。*表示贡献相等。

所属机构为沙特阿拉伯国王科技大学。

在线演示

点击图像与MiniGPT-4聊天,了解有关您的图像的信息。
在这里插入图片描述

更多的例子可以在项目页面中找到。


新闻

我们现在提供了一个与 Vicuna-7B 对齐的预训练MiniGPT-4!演示GPU内存消耗现在可以低至12GB。


翻译同学的话

Vicuna-13B fp16 目前已知需要 35G 显存,加载图片后,会到43G,运行时内存高峰大概14G。

显存不够的,可以看裁剪设置,位置在运行demo的时候。

转换权重时,大概需要80G内存,可以尝试增大 swap 空间。
我原本以为,翻译这篇文档就能帮助大家部署,我自己实际部署下来,发现中间有超级多的坑,非常不利于小白。后续我准备制作一个一键部署包,方便大家。敬请期待~ 有新消息我会及时发布到群里面。

这是我最近发现的一个一键安装包。感谢@camenduru 同学。很奇怪的是,他的模型只有433MB大小。而我转出来的有37G。
问题解决了,项目实际运行时,还是需要去下载模型的。


目前测试下来,一键安装包,运行时需要17G显存。

感谢群友 成浩 同学提供的 windows安装踩坑指南 https://xlch.wolai.com/pBtGyPh6hyGx118o4deTk

如果翻译对您有帮助,请帮忙右上角 点击 star.
欢迎加入国内AI商业应用交流群

简介

  • MiniGPT-4使用一个投影层来将来自BLIP-2的冻结视觉编码器与冻结的LLM Vicuna对齐。
  • 我们通过两个阶段来训练MiniGPT-4。第一个传统的预训练阶段在使用4个A100大约10小时内,使用大约500万个图像-文本对进行训练。第一阶段过后,Vicuna能够理解图像。但是其生成能力受到了严重的影响。
  • 为了解决这个问题和提高可用性,我们提出了一种通过模型和ChatGPT自身创建高质量图像-文本对的新方法。基于此,我们创建了一个小型(总共3500对)但是高质量的数据集。
  • 第二个微调阶段在对话模板上使用该数据集进行训练,以显著提高其生成可靠性和整体可用性。令人惊讶的是,这个阶段具有计算效率,并且只需要使用单个A100大约7分钟的时间。
  • MiniGPT-4能够产生许多类似于GPT-4中展示的新兴视觉语言能力。

在这里插入图片描述

入门指南:

安装

1.准备代码和环境

请先将我们的代码库克隆到本地,创建一个Python环境,然后通过以下命令激活它

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4

2.准备预训练的Vicuna权重

不想自己折腾的直接下载我们准备好的权重(公开可能会有版权问题,所以暂时先放到微信群了。),然后跳转到第 3 步

当前版本的MiniGPT-4是建立在Vicuna-13B v0版本之上的。请参考我们的说明here来准备Vicuna权重。

here 的翻译如下:

如何准备Vicuna权重

Vicuna是一种基于LLAMA的LLM,性能接近于ChatGPT,并且是开源的。我们当前使用的是Vicuna-13B v1.1版本。

为了准备Vicuna的权重,首先从 https://huggingface.co/lmsys/vicuna-13b-delta-v1.1 下载Vicuna的增量权重。如果你已经安装了git-lfs(https://git-lfs.com), 可以通过以下方式完成:

git lfs install
# git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0 
git clone https://huggingface.co/lmsys/vicuna-13b-delta-v1.1 

请注意,这并不是直接可用的工作权重,而是工作权重与LLAMA-13B原始权重之间的差异(由于LLAMA的规则,我们无法分发LLAMA的权重)。

然后,您需要获取原始的LLAMA-13B权重,可以按照HuggingFace提供的说明here或者从互联网上下载。

原始权重获取如下:

提示:

直接使用迅雷下载,种子在此

下面是备选方案:
---- 备选方案开始。----

可以通过填写表格来获取LLaMA模型的权重。你肯定不用填写,因为“热心网友”已经泄漏出来了
网址如下:https://github.com/facebookresearch/llama/issues/149

小白请推荐百度网盘 https://pan.baidu.com/s/1ujG85wgQFuIyf74N9k2MDQ?pwd=nu4d
不充会员的,可以使用 ipfs,或者迅雷。具体方法如下:

# 找到这个部分,你可以直接点击链接进入,使用迅雷下载。
Full backup: ipfs://Qmb9y5GCkTG7ZzbBWMu2BXwMkzyCKcUjtEKPpgdZ7GEFKm7B: ipfs://QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw 
13B: ipfs://QmPCfCEERStStjg4kfj3cmCUu1TP7pVQbxdFMwnhpuJtxk 
30B: ipfs://QmSD8cxm4zvvnD35KKFu8D9VjXAavNoGWemPW1pQ3AF9ZZ 
65B: ipfs://QmdWH379NQu8XoesA8AFw9nKV2MpGR4KohK7WyugadAKTh也可以使用Kubo CLI中的以下命令:# 可选:预加载 7B 模型。检索您尚未拥有的内容。如有需要,请替换为其他 CID。
ipfs refs -r QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw# 可选:固定7B模型。GC会删除您不使用的旧内容,这可以防止启用 GC 后模型被清除。
ipfs pin add QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw# 通过CLI从IPFS下载并保存到磁盘:
ipfs get QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw --output ./7B

下载完成后,去百度网盘下载 tokenizer_checklist.chk tokenizer.model 这2个文件。

---- 备选方案结束。----

文件夹结构如下:

.
├── 13B
│   ├── =
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   ├── consolidated.01.pth
│   └── params.json
├── tokenizer_checklist.chk
└── tokenizer.model

下载完权重之后,需要使用转换脚本将它们转换为Hugging Face Transformers格式。可以使用以下命令(示例)调用脚本:
脚本地址:https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py

# 转换之前,建议 安装环境依赖,否则转模型到一半会报错,及其浪费时间。git clone https://github.com/lm-sys/FastChat
cd FastChat
# 查看tag
git tag
# 切换到最新的tag分支
git checkout v0.2.3
# 安装
pip install e .# 安装其他依赖
pip install transformers[sentencepiece]# 注意,这里,需要安装transforms 环境。国内 镜像源更新不及时,请使用原版pip源,或者直接从项目安装
其他依赖:如果出现timeout,可以使用魔法,或者版本不要求最新时,使用国内源
python src/transformers/models/llama/convert_llama_weights_to_hf.py \--input_dir /path/to/downloaded/llama/weights --model_size 7B --output_dir /output/path

报错解决:

ValueError: Couldn't instantiate the backend tokenizer from one of:https://stackoverflow.com/questions/65431837/transformers-v4-x-convert-slow-tokenizer-to-fast-tokenizerpip install transformers[sentencepiece]

注意替换上面的地址为你的文件系统的真实地址。

转换完成后,可以通过以下方式加载模型和分词器:

from transformers import LlamaForCausalLM, LlamaTokenizertokenizer = LlamaTokenizer.from_pretrained("/output/path")
model = LlamaForCausalLM.from_pretrained("/output/path")

当这两个权重准备好后,我们可以使用Vicuna团队的工具来创建真正的工作权重。首先,安装与v0 Vicuna兼容的库:

pip install git+https://github.com/huggingface/transformers@v0.1.10

然后,运行以下命令以创建最终的工作权重:

python -m fastchat.model.apply_delta --base /path/to/llama-13b-hf/  --target /path/to/save/working/vicuna/weight/  --delta /path/to/vicuna-13b-delta-v0/

报错解决:

ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.
修改 llama-13b-hf/tokenizer_config.json/ 的  "tokenizer_class": "LLaMATokenizer" =>"tokenizer_class": "LlamaTokenizer"killed 
转换13B需要 80G左右内存,通常的家用电脑无法承载。可以考虑开启swap
参考:https://www.cnblogs.com/erlou96/p/14578820.html#_label3_0https://timberkito.com/?p=98 RuntimeError: The size of tensor a (32000) must match the size of tensor b (32001) at non-singleton dimension 0
参考:https://github.com/lm-sys/FastChat/issues/486

现在,您可以准备好使用Vicuna权重了!

最终得到的权重文件应该放在一个文件夹内,具有以下结构:

vicuna_weights
├── config.json
├── generation_config.json
├── pytorch_model.bin.index.json
├── pytorch_model-00001-of-00003.bin
...   

然后,在模型配置文件here的第16行设定vicuna权重的路径。

3. 准备预训练的MiniGPT-4检查点

根据您准备的Vicuna模型下载预训练检查点。

Checkpoint Aligned with Vicuna 13BCheckpoint Aligned with Vicuna 7B
下载下载

然后,在评估配置文件minigpt4_eval.yaml的第11行中设置预训练检查点的路径。

在本地启动演示

通过运行以下命令在本地机器上试用我们的演示demo.py:

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml  --gpu-id 0

为了节省GPU内存,Vicuna默认为8位加载,搜索宽度为1。
该配置需要大约23G的GPU内存用于Vicuna 13B和11.5G的GPU内存用于Vicuna 7B。

模型裁剪

模型裁剪,有很多种方法。下面提供最简单的一种。(注意,模型裁剪,可能会影响模型精度。导致效果不好。建议没有经验的同学可以同时也体验一下完整版,否则,可能觉得模型很垃圾。)

# 先不写了。我发现需要我帮忙的那个朋友是3090 24G显存的,而且有4张,没有天理了!!!  他只是输错了 device编号而已。  (骂骂咧咧 。。。。。。 
# ( 骂完手动狗头保命~ 虽然我错了,但写教程是不可能了,一辈子都不可能

对于更强大的GPU,您可以在配置文件minigpt4_eval.yaml中将low_resource设置为False并使用更大的搜索宽度以16位运行模型。

windows 部署遇到问题可以参考这个 issue https://github.com/Vision-CAIR/MiniGPT-4/issues/28
实际上如果显存高,可以修改 minigpt4/models/mini_gpt4.py 92行 load_in_8bit=False 关闭8bit,这样就可以不安装这个包。

感谢@WangRongsheng,您也可以在Colab上运行我们的代码。

训练

MiniGPT-4的训练包含两个对齐阶段。

1. 第一阶段预训练

在第一个预训练阶段中,使用来自Laion和CC数据集的图像文本对训练模型,
以对齐视觉和语言模型。要下载和准备数据集,请查看我们的第一阶段数据集准备说明。
在第一阶段之后,视觉特征被映射并可以被语言模型理解。
要启动第一阶段训练,请运行以下命令。在我们的实验中,我们使用了4个A100。
您可以在配置文件train_configs/minigpt4_stage1_pretrain.yaml中更改保存路径。

torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/minigpt4_stage1_pretrain.yaml

只有第一阶段训练的MiniGPT-4检查点可在此处下载
here。
与第二阶段之后的模型相比,此检查点经常生成不完整和重复的句子。

2. 第二阶段微调

在第二个阶段中,我们使用自己创建的小型高质量图像文本对数据集,并将其转换为对话格式,以进一步对齐MiniGPT-4。
要下载和准备我们的第二阶段数据集,请查看我们的第二阶段数据集准备说明。
要启动第二阶段对齐,请先在train_configs/minigpt4_stage2_finetune.yaml中指定第1阶段训练的检查点文件的路径。
您也可以在那里指定输出路径。
然后,运行以下命令。在我们的实验中,我们使用1个A100。

torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/minigpt4_stage2_finetune.yaml

经过第二阶段的对齐,MiniGPT-4能够以连贯且易于使用的方式讨论图像。

致谢

  • BLIP2 :MiniGPT-4的模型架构遵循BLIP-2。如果您以前不知道它,请不要忘记检查这个伟大的开源工作!
  • Lavis :这个存储库是基于Lavis构建的!
  • Vicuna :只有13B个参数的Vicuna的神奇语言能力真是太棒了。它是开源的!

如果您在研究或应用中使用MiniGPT-4,请引用以下BibTeX:

@misc{zhu2022minigpt4,title={MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models}, author={Deyao Zhu and Jun Chen and Xiaoqian Shen and xiang Li and Mohamed Elhoseiny},year={2023},
}

国内交流群

目前群主部署了minigpt4 的在线版本,星球的朋友可以先体验,不想加星球的,可以等星球的同学体验完了,再白嫖(一般是晚上)~

群主会不定期发布 各类亮眼项目体验版本 供大家体验,星球主要沉淀一些商业AI最新讯息,帮助大家节约时间。欢迎各位读者老爷,漂亮姐姐给我的项目点赞!

关注公众号或加微信群交流,搜索公众号:shangye-ai

许可证.

此存储库采用BSD 3-Clause许可证。
许多代码基于Lavis,这里是BSD 3-Clause许可证here。

感谢

本项目 fork 自 https://github.com/Vision-CAIR/MiniGPT-4
大部分翻译来自 https://github.com/Vision-CAIR/MiniGPT-4

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/46651.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DevChat:将 GPT-4 无缝融入 VS Code,极致提升你的编程体验

文章目录 一、絮絮叨叨1.1 缘起1.2 嫌弃1.3 征服 二、认真聊聊2.1 老板给了少年一个任务2.2 少年祭出了 DevChat2.3 让 DevChat 帮着选 web 框架2.4 让 DevChat 帮着写代码2.5 让 DevChat 帮着写 Dockerfile2.6 让 DevChat 帮着封装 Helm Chart2.7 让 DevChat 帮着拉起 K8s 集群…

一个产品经理大骂程序员的帖子

大家好,我是校长。 今天看到一个帖子,是一个产品经理在吐槽程序员开发的问题。 大家可以看看这位产品经理骂的对吗? 当然了,在这类的帖子下,有我们程序员的各种反击和互怼,这很正常。 毕竟垃圾的产品经理和…

产品经理干久了,有哪些后遗症?

Hello,刀友们,大噶好! 都说妇女能顶半边天,墨刀的一半功劳当然也少不了她们! 墨墨姐专访了墨刀家的几位女神,身为女产品经理、女程序员,她们纷纷表示:这个职业干久了,都…

程序员跟产品经理打起来了,事情的真相是...

程序猿(ID:imkuqin) 猿妹 整编 综合自:南方都市报、网络等 程序员跟产品经理打架事件,当事人回应了!真相是...... 昨天程序猿曾报道了一篇《程序员跟产品经理打起来了,这是一个需求引发的血案..…

老说程序员如何看产品经理,今天说说产品经理讨厌哪些程序员

老说程序员如何看产品经理,今天说说产品经理如何看程序员:每个职业都有难处。 1、这不能实现,那不能实现。 其实就是个饭桶。 产品经理最喜欢的是: 这个不易实现,要实现的话有什么不确定因素,要花费多大的成…

产品经理与程序员真的打起来了!来看看他们是如何“大战”的!

说起产品经理与程序员,简直就是一对冤家。 程序员觉得产品经理不尊重技术规则,产品经理埋怨程序员不尊重创作用心。 一边互怼,一边还要合作,今儿看到一篇老旧新闻, 寻思跟大家分享下 :有人忍不下去&#…

程序员如何与产品经理优雅的干架

早前,平安产险科技一名外包程序员和一名外包产品经理干架的视频几乎在互联网圈都传遍了,因为产品提了一个需求:要求用户App的主题颜色能根据手机壳自动调整。 首先说这个需求对于应用开发工程师来说,确实是有点奇葩,当…

这才是程序员想弄死产品经理的真正原因!!

你用户 服务员产品经理 大厨程序员 你去饭店,坐下来。 你:给我来份宫保鸡丁! 服务员:好嘞! ☝这叫原始需求 大厨做到一半 你:菜里不要放肉。 服务员:不放肉怎么做啊? 你&#xf…

什么是授权码,它又是如何设置?

1、什么是授权码? 授权码是QQ邮箱推出的,用于登录第三方客户端的专用密码。 适用于登录以下服务: POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务。 温馨提醒:为了你的帐户安全,更改QQ密码以及独立密码会触发授权码过期&…

hotmail 获取邮箱授权码

第一步:登录microsoft账户,进入到安全性页面。 https://account.microsoft.com/?langzh-CN&refdaccount.live.com&refplanding&mktZH-CN 第二步:检查是否开启双重认证。(如以开启直接进行第三步) 第三步:进入安全性 >应用密码…

oauth2使用授权码模式(authorization code)获取access_token

oauth2获取access_token的几种方式: 简化模式(implicit):在redirect_url中传递access_token,oauth客户端运行在浏览器中。密码模式(password):将用户名和密码传过去,直接获取access_token。客户…

授权码模式-获取令牌

(1)申请授权码 请求认证服务获取授权码: Get请求: http://localhost:9001/oauth/authorize? client_idleon&response_typecode&scopapp&redirect_urihttp://localhost 参数列表如下: client_id:客户端id&#xf…

oauth2使用授权码模式

需要开放可登陆权限 Overrideprotected void configure(HttpSecurity http) throws Exception {http.logout().permitAll();http.requestMatchers().anyRequest().and().authorizeRequests()// 使用authenticated才可以使用授权登录模式。 "/users/**".antMatchers(&…

通过微信授权接口,获取用户微信账户信息

微信官方最近已经回收了前端通过getUserInfo接口获取微信信息的功能,现在推荐的办法是使用后端解密获取,具体办法如下: 第一步:通过jscode2session获取openid $appid 你的appid; $secret 你的secret; $js_code $params[cod…

No4.搭建基本的授权码模式请求token(一):实现授权服务端的授权码模式操作

代码地址与接口看总目录:【学习笔记】记录冷冷-pig项目的学习过程,大概包括Authorization Server、springcloud、Mybatis Plus~~~_清晨敲代码的博客-CSDN博客 目录 授权服务端授权码模式动图操作 前言 A1.分析开放平台和第三方应用之间的逻辑流程 B…

oauth2授权码模式遇到的坑,1.走网关无法返回授权码 2.refresh_token新token丢失用户信息

主要有2个坑: 1.通过网关访问/oauth/authorize的时候,无法跳转到redirect_uri返回授权码 2.访问/oauth/token 刷新token的时候,新的token解析后用户信息丢失,用户信息变成了用户名 问题一 通过网关访问/oauth/authorize的时候&…

微信开发者工具代码仓的管理以及错误:Push failed Error: invalid authentication scheme 的解决办法,微信小程序代码仓项目删除

文章目录 1、新建代码仓2、报错:Push failed Error: invalid authentication scheme 的解决办法3、代码仓项目的删除 1、新建代码仓 如果你的代码已经存在,单还是没有推送过,可先从以下位置进入到微信的GitHub仓库新建一个仓库。 新建一个…

微信授权登录返回code无效,签名不一致

在项目中,微信授权登录偶尔出现code无效,签名不一致的返回提示,但是就是偶然性 原因:没有调用wx.login()就获取用户的encryptedData、signature等信息 先看下官方的登录流程 很多开发者会把 login 和 getUserInfo 捆绑调用当成登…

Android集成网易云IM实现单聊和群聊

本人一直对即时通信感兴趣,但是我的日常工作与这个没有任何接触,所以一直没有时间去看,去研究,刚好最近有点空闲时间,便乘机去学习了一些皮毛 废话和客套话也不多说,先看效果 界面做的比较丑,大家不要在意哦,主要是实现功能 首页(登录网易云信IM) 单聊 群聊

从ChatGPT聊天服务上深挖Http、WebScoket和SSE推送技术的区别

简述 —— 三种方式进行通讯 回忆TCP/IP协议 其中,三次握手过程的步骤为: 客户端向服务端发送 SYN 报文,其中 seq 表示客户端的初始序列号。服务端收到 SYN 报文后,向客户端发送 SYNACK 报文,其中 ack 表示服务端收到…