如何使用Kaggle免费算力微调ChatGLM

  • 最近在参加：2023AIWIN——中文网页自动导航挑战赛
  • DataWhale的大佬们提供了baseline的讲解：如何手把手打一场世界人工智能大赛
  • 下面就来记录一下使用Kaggle上提供的30小时15G免费GPU算力的运行情况。

数据集预处理

数据下载及配置

  • 首先从比赛官网上下载A榜的数据集：获取数据
  • 在本地解压缩后，进入到路径：\2023S-T1-A-Data[供选手] 0513\指令数据&标签，找到我们的训练集测试集数据和标签，共有3个 .json 文件。
  • 将这3个文件打包上传至Kaggle上。
  • 进入到 jupyter notebook 环境中，配置好数据集，效果如下：

数据处理

  • 生成训练集和验证集
import json
import pandas as pd
import re
from collections import defaultdict, Counter
from bs4 import BeautifulSoup# 配置文件路径，读取数据集
LABEL_PATH = '/kaggle/input/web-auto-navigation-dataset/'
label_trainset = json.load(open(LABEL_PATH + 'label_trainset.json', encoding="utf-8"))
instruction_trainset = json.load(open(LABEL_PATH + 'instruction_trainset.json', encoding="utf-8"))
instruction_testA = json.load(open(LABEL_PATH + 'instruction_testA.json', encoding="utf-8"))import randomchat_data = []
for idx in range(20):for instructions in instruction_trainset[idx]['instruction_detail']:chat_data.append({'prompt': instructions['instruction'],'response': ';'.join([f'{key}' for key, value in instructions['key-value'].items()]),"history": []})
random.shuffle(chat_data)with open('train.json', 'w') as up:for line in chat_data[:-400]:up.write(json.dumps(line)+'\n')with open('dev.json', 'w') as up:for line in chat_data[-400:]:up.write(json.dumps(line)+'\n')
  • 生成的文件可以在 /kaggle/working/目录下找到：

配置环境

  • git clone github仓库。
!git clone https://github.com/THUDM/ChatGLM-6B.git
  • 配置 requirements.txt 中的必要工具包。
!pip install -r /kaggle/working/ChatGLM-6B/requirements.txt

配置 train_chat.sh 文件

  • 进入到对应目录
cd /kaggle/working/ChatGLM-6B/ptuning
  • 写入相关配置
    • 其中 --model_name_or_path 我们训练4-bit量化版本 THUDM/chatglm-6b-int4。
    • 普通的 THUDM/chatglm-6b 版本会爆显存，因为会先将模型下载下来再进行量化。
    • 通过修改以下超参数来调整模型训练。
    • 下述参数中 PRE_SEQ_LEN 、max_source_length、max_target_length 过大导致模型训练较慢，可以适当修改。
with open("/kaggle/working/ChatGLM-6B/ptuning/train_chat.sh", mode='w') as f:f.write('CHAT_TRAIN_DATA=/kaggle/working/train.json'+'\n')f.write('CHAT_VAL_DATA=/kaggle/working/dev.json'+'\n')f.write('CHECKPOINT_NAME=/kaggle/working'+'\n')f.write('PRE_SEQ_LEN=128'+'\n')f.write('LR=1e-3'+'\n')f.write('CUDA_VISIBLE_DEVICES=0 python3 main.py \\'+'\n')f.write('    --do_train \\'+'\n')f.write('    --train_file $CHAT_TRAIN_DATA \\'+'\n')f.write('    --validation_file $CHAT_VAL_DATA \\'+'\n')f.write('    --prompt_column prompt \\'+'\n')f.write('    --response_column response \\'+'\n')f.write('    --history_column history \\'+'\n')f.write('    --overwrite_cache \\'+'\n')f.write('    --model_name_or_path THUDM/chatglm-6b-int4 \\'+'\n')f.write('    --output_dir $CHECKPOINT_NAME \\'+'\n')f.write('    --overwrite_output_dir \\'+'\n')f.write('    --max_source_length 256 \\'+'\n')f.write('    --max_target_length 256 \\'+'\n')f.write('    --per_device_train_batch_size 1 \\'+'\n')f.write('    --per_device_eval_batch_size 1 \\'+'\n')f.write('    --gradient_accumulation_steps 16 \\'+'\n')f.write('    --predict_with_generate \\'+'\n')f.write('    --max_steps 3000 \\'+'\n')f.write('    --logging_steps 100 \\'+'\n')f.write('    --save_steps 1000 \\'+'\n')f.write('    --learning_rate $LR \\'+'\n')f.write('    --pre_seq_len $PRE_SEQ_LEN \\'+'\n')f.write('    --quantization_bit 4'+'\n')
  • 注：由于Kaggle上目前不支持 Linux 的 vim 命令修改文件，尝试了如下两种写入方法都会报错：
    • 1、这种方式只能在文件末尾补充内容，报错原因大概是在调用后声明导致。
    !echo CHAT_TRAIN_DATA=/kaggle/working/train.json >> train_chat.sh
!echo CHAT_VAL_DATA=/kaggle/working/dev.json >> train_chat.sh
!echo CHECKPOINT_NAME=/kaggle/working >> train_chat.sh
    • 2、这种方式修改的文件不是 Linux 支持的格式。
    %%writefile /kaggle/working/ChatGLM-6B/ptuning/train_chat.sh

微调 ChatGLM

  • 还有一个包需要安装
!pip install rouge_chinese -i https://pypi.tuna.tsinghua.edu.cn/simple
  • 微调模型，由于Kaggle上无法支持代码运行过程中的输入，因此要关闭 wandb，执行默认操作，等待模型运行完毕即可。
!wandb off
!bash train_chat.sh

使用微调权重部署ChatGLM

# 首先载入Tokenizer
import torch
from transformers import AutoTokenizer, AutoModel, AutoConfig# 加载 Checkpoint
config = AutoConfig.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
# pre_seq_len要设置成微调时候的大小
config.pre_seq_len = 128tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True, config=config).half()# 本次微调得到的glm权重
prefix_state_dict = torch.load('./ChatGLM-6B/ptuning/checkpoint-100/pytorch_model.bin')
new_prefix_state_dict = {}
for k, v in prefix_state_dict.items():if k.startswith("transformer.prefix_encoder."):new_prefix_state_dict[k[len("transformer.prefix_encoder."):]] = v
model.transformer.prefix_encoder.load_state_dict(new_prefix_state_dict)# 据需求可以进行量化
model = model.quantize(4)
model = model.half().cuda()
model.transformer.prefix_encoder.float()
model = model.eval()# 测试是否部署完成
response, history = model.chat(tokenizer, '''请搜索：吉林批发和零售业的主板B股的首创环保的信息。''', history=[])
print(response)

结果提交

  • 对模型的输出格式进行调整，符合提交要求，保存为 .json 文件。
  • 将得到的 .json 文件压缩提交 参赛提交

结果分析

  • ChatGLM-6B-int4模型的精度稍低，需要更多的训练步数。
  • 由于GPU显存有限，每个batch只能处理1个样本，训练过程波动较大，因此需要调整 gradient_accumulation_steps 参数，在多个样本后更新参数。
  • 缺点是速度较慢，设置为16的话总时长要10小时以上。
  • 模型调优过程经验见下一篇文章。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/34570.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

GPT-4最强竞品迎来重磅升级：一次10万token，百页资料一分钟总结完毕

GPT-4最强竞品迎来重磅升级：一次10万token，百页资料一分钟总结完毕

夕小瑶科技说 分享 来源 | 量子位 作者 | 丰色 萧箫 号称ChatGPT“最强竞争对手”的Claude，今天迎来史诗级更新—— 模型记忆力原地起飞，现在1分钟看完一本数万字的小说，已经不在话下。 消息一出，评论区直接炸了，网…
阅读更多...
总结下软件架构的10个质量属性

总结下软件架构的10个质量属性

一般地，对于软件系统的需求而言，分为两类：功能性需求和非功能性需求。软件系统的架构设计既要满足软件的功能性需求，还要满足软件的非功能性需求。特别地， 系统架构对软件非功能性需求的支撑成为架构的质量属性。本文描…
阅读更多...
对接微信公众（开放）平台，获取微信用户信息，实现第三方登录

对接微信公众（开放）平台，获取微信用户信息，实现第三方登录

一、主要流程 实现第三方登录，从微信获取用户信息，用微信公众平台和微信开放平台，其实流程和原理都是一样的，就是调用的接口和对应的参数有点区别。 微信公众平台 和 微信开放平台 对应的官方文档如下： 微信开放文档…
阅读更多...
Java-最新微信第三方平台公众号授权

Java-最新微信第三方平台公众号授权

第三方平台api地址 https://developers.weixin.qq.com/doc/oplatform/openApi/OpenApiDoc/预授权码获取之后调用接口获取授权方信息 https://developers.weixin.qq.com/doc/oplatform/Third-party_Platforms/2.0/api/ThirdParty/token/authorization_info.html#%E6%8E%88%E6%9D…
阅读更多...
微软 Edge 浏览器怎样安装插件

微软 Edge 浏览器怎样安装插件

微软 Edge 浏览器怎样安装插件 一、安装微软商店提供的插件二、安装第三方插件到Edge浏览器 之前安装插件就没有了解很深，放到浏览器里面就直接用了，最近再次想在微软的Edge浏览器安装插件的时候，发现没有之前的那么顺手，于是记录…
阅读更多...
惊！最靠谱的谷歌与edge浏览器安装扩展插件方法

惊！最靠谱的谷歌与edge浏览器安装扩展插件方法

谷歌与edge浏览器安装扩展插件 谷歌浏览器安装扩展插件Edge浏览器安装扩展插件注意 谷歌浏览器安装扩展插件 1.在浏览器地址栏中输入: chrome://extensions/ 2.打开开发者模式，并点击加载已解压的扩展程序 3.选中下载好的文件夹feisou-assist导入即可&#xff…
阅读更多...
电影解说文案开头模板

电影解说文案开头模板

一个好的解说文案，开头几句必须精彩！我们要解说一部影视作品，首先得自己先看一两遍，摸清故事情节，到底讲了一个什么故事，然后再结合我们对故事的理解，将故事讲给观众听。我们把文案分为开头、内…
阅读更多...
修改Ubuntu国内镜像源地址

修改Ubuntu国内镜像源地址

目录 方法一方法二方法三 方法一 Ubuntu可视化界面修改 在设置中的软件和更新中修改红框内容即可，修改后关闭会提示重启服务选择它即可 方法二 修改源文件 位置：/etc/apt/sources.list 首先备份以便出错后还原：sudo cp /etc/apt/sources.…
阅读更多...
跟着GPT-4 从零完Python 爬虫

跟着GPT-4 从零完Python 爬虫

前言 先说个人情况：我作为产品经理自从 4 年前毕业很长时间都没有写过代码了，本科时候接触过一点 Python 的 慕课，但那个时候也是理论多于实操，为数不多跑通过的爬虫可能是豆瓣的电影 TOP 250；更多时候是被环境配置和…
阅读更多...
Go 统计含 emoji 字符串字符数

Go 统计含 emoji 字符串字符数

1.背景 项目种需要统计用户昵称的字符数量进行限制，用户可以输入英文，中文，emoji 字符，当用户输入中英文和普通的 emoji 字符时，将字符串转为 []rune 进行统计没有问题。 func main() {s0 : "我爱中国" …
阅读更多...
PostgreSQL中统计指定字符或者单词或者字符串在一个长字符串中出现总次数，PostgreSQL统计字符串中某字符出现次数

PostgreSQL中统计指定字符或者单词或者字符串在一个长字符串中出现总次数，PostgreSQL统计字符串中某字符出现次数

PostgreSQL中统计指定字符或者单词或者字符串在一个长字符串中出现总次数，PostgreSQL统计字符串中某字符出现次数 pg自带函数的方式另外一种思路方式，字符替换，统计被替换的字符数函数 translate(string text, from text, to text) pg自带函数…
阅读更多...
PostgreSQL 字符串函数汇总

PostgreSQL 字符串函数汇总

文章目录 前言拼接字符串填充字符串大小写转换获取字符串长度截取字符串裁剪字符串获取第一个字符的ASCII码计算string的MD5散列判断是否包含字符串null 和 的区别与判断以及COALESCE函数nullif函数合并字符串将字符串合并成一个数组分割字符串 总结 前言 本文基于 PostgreSQ…
阅读更多...
婚礼视频mv短片制作，3分钟快速教程！教你制作婚礼开场创意视频

婚礼视频mv短片制作，3分钟快速教程！教你制作婚礼开场创意视频

制作一个婚礼视频或婚礼MV短片，当下非常流行。用生活照、婚纱照片做成视频，在婚礼上当作开场或者生活中留给婚礼一个纪念，都是不错的选择。而且用照片做成视频，方法简单，但是创意依旧满满。 今天就教大家3分钟快速学会制作婚礼视频，利用生活照或婚纱照，配上数码大师里的…
阅读更多...
SpringBoot+Redis实现接口限流

SpringBoot+Redis实现接口限流

1.redis接口限流注解 定义一个注解标明需要使用限流的接口 Target(ElementType.METHOD) Retention(RetentionPolicy.RUNTIME) Documented public interface AccessLimit {/*** return 单位时间（秒）*/int seconds();/*** return 单位时间最大请求次数*/…
阅读更多...
访问url图片并上传oss图片显示不完整问题解决

访问url图片并上传oss图片显示不完整问题解决

问题：在之前通过链接上传图片的时候，都是先获取inputStream流，然后通过available()方法获取文件大小。但是通过这种方法获取到的文件大小是不准确的，因为这个时候文件还没有读取完全，所以获取到的文件大小是不完全的。…
阅读更多...
乱序执行的原理——减轻数据灾难的影响

乱序执行的原理——减轻数据灾难的影响

文/Hisa Ando 处理器基本上会按照程序中书写的机器指令的顺序执行。按照书写顺序执行称为按序执行(In-Order )。按照书写顺序执行时，如果从内存读取数据的加载指令、除法运算指令等延迟(等待结果的时间)较长的指令后面紧跟着使用该指令结果的指令，就会陷…
阅读更多...
倍福 ton_b％C3％A9ton野蛮或野蛮

倍福 ton_b％C3％A9ton野蛮或野蛮

倍福 ton Brutalism style mainly has emphasis on materials, textures and construction, producing highly expressive forms. Popular in the 1960s and 1970s brutalism originated post–World War II when the design of low-cost housing and government buildings wer…
阅读更多...
每周分享第 55 期

每周分享第 55 期

这里记录过去一周，我看到的值得分享的东西，每周五发布。 欢迎投稿，或推荐你自己的项目，请前往 GitHub 的 ruanyf/weekly 提交 issue。 (题图：昆山火车站，苏州，2018) 关于 996 工作制&#xff0c…
阅读更多...
每周分享第 34 期

每周分享第 34 期

这里记录过去一周，我看到的值得分享的东西，每周五发布。 欢迎投稿，或推荐你自己的项目，请前往 GitHub 的 ruanyf/weekly 提交 issue。 英国有一家叫做 BioTeq 的创业公司，主营业务是人体芯片，也就是在人的体…
阅读更多...
OpenStack 环境配置

OpenStack 环境配置

OpenStack 环境配置 虚拟机资源信息 1、控制节点ct CPU：双核双线程-CPU虚拟化开启 内存：8G 硬盘：300G 双网卡：VM1-（局域网）192.168.100.20 NAT-192.168.80.20 操作系统：Centos 7.6&#xff0…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023