240706_昇思学习打卡-Day18-基于MindSpore的GPT2文本摘要

240706_昇思学习打卡-Day18-基于MindSpore的GPT2文本摘要

今天做一个根据一段文章提取摘要的提取器,基于nlpcc2017摘要数据,内容为新闻正文及其摘要,就是训练集及标签。

首先我们来预装以下MindSpore环境

%%capture captured_output
# 实验环境已经预装了mindspore==2.2.14,如需更换mindspore版本,可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14

安装tokenizers和mindnlp

!pip install tokenizers==0.15.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
# 该案例在 mindnlp 0.3.1 版本完成适配,如果发现案例跑不通,可以指定mindnlp版本,执行`!pip install mindnlp==0.3.1`
!pip install mindnlp

数据集加载与处理

1.数据集加载

from mindnlp.utils import http_get# download dataset
url = 'https://download.mindspore.cn/toolkits/mindnlp/dataset/text_generation/nlpcc2017/train_with_summ.txt'
path = http_get(url, './')
from mindspore.dataset import TextFileDataset# load dataset
dataset = TextFileDataset(str(path), shuffle=False)
dataset.get_dataset_size()
# split into training and testing dataset
train_dataset, test_dataset = dataset.split([0.9, 0.1], randomize=False)

2.数据预处理

import json
import numpy as np# 数据预处理函数
def process_dataset(dataset, tokenizer, batch_size=6, max_seq_len=1024, shuffle=False):"""对数据集进行预处理,包括读取、映射、批处理和打乱顺序。参数:- dataset: 输入的数据集- tokenizer: 用于文本编码的分词器- batch_size: 批次大小,默认为6- max_seq_len: 最大序列长度,默认为1024- shuffle: 是否在批处理前打乱数据,默认为False返回:- 处理后的数据集"""# 定义一个转换函数,将json字符串转换成numpy数组def read_map(text):data = json.loads(text.tobytes())  # 将二进制字符串转换成json对象return np.array(data['article']), np.array(data['summarization'])  # 返回文章和摘要的numpy数组# 定义一个合并并填充函数,用于处理文章和摘要def merge_and_pad(article, summary):# 使用tokenizer进行文本编码,设置最大长度,仅截断文章部分tokenized = tokenizer(text=article, text_pair=summary,padding='max_length', truncation='only_first', max_length=max_seq_len)return tokenized['input_ids'], tokenized['input_ids']  # 返回输入ID# 应用read_map函数到数据集上,将文本列转换为文章和摘要的numpy数组dataset = dataset.map(read_map, 'text', ['article', 'summary'])# 应用merge_and_pad函数到数据集上,将文章和摘要列转换为模型输入所需的格式dataset = dataset.map(merge_and_pad, ['article', 'summary'], ['input_ids', 'labels'])# 对数据集进行批处理dataset = dataset.batch(batch_size)# 如果shuffle为True,则对批处理后的数据集进行随机打乱if shuffle:dataset = dataset.shuffle(batch_size)# 返回处理后的数据集return dataset

我们要将原始文本转化为BERT模型可以理解的形式将原始文本转化为BERT模型可以理解的形式,即将文本切分成子词(subwords),并转换为相应的token ID,同时添加特殊标记如[CLS]和[SEP],以满足BERT模型的输入要求。

因为GPT-2模型没有专门针对中文设计的Tokenizer,但BERT有专门针对中文的预训练模型,如bert-base-chinese,其Tokenizer能够很好地处理中文文本但BERT有专门针对中文的预训练模型,如bert-base-chinese,其Tokenizer能够很好地处理中文文本,所以我们选择了BertTokenizer作为替代方案。

from mindnlp.transformers import BertTokenizer# 我们使用BertTokenizer来对中文文本进行分词。
# 从预训练的'bert-base-chinese'模型加载tokenizer实例。
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')# 输出tokenizer的词汇表大小。
len(tokenizer)
train_dataset = process_dataset(train_dataset, tokenizer, batch_size=4)
next(train_dataset.create_tuple_iterator())

模型构建

  1. 构建GPT2ForSummarization模型,注意shift right的操作。
from mindspore import ops
from mindnlp.transformers import GPT2LMHeadModel# 定义GPT2ForSummarization类,继承自GPT2LMHeadModel,用于文本摘要任务。
class GPT2ForSummarization(GPT2LMHeadModel):def construct(self,input_ids = None,  # 输入的token ID序列attention_mask = None,  # 注意力掩码,用于指示哪些位置应该被忽略labels = None,  # 标签序列,用于计算损失):"""构造函数,用于前向传播计算。参数:- input_ids: 输入的token ID序列- attention_mask: 注意力掩码- labels: 标签序列返回:- loss: 计算得到的损失值"""# 调用父类的构造函数,执行前向传播计算。outputs = super().construct(input_ids=input_ids, attention_mask=attention_mask)# 将输出的logits向左移动一位,去除最后一个token的预测结果。shift_logits = outputs.logits[..., :-1, :]# 将标签向右移动一位,去除第一个token的标签。shift_labels = labels[..., 1:]# 将shift_logits和shift_labels展平,以便于计算交叉熵损失。# Flatten the tokensloss = ops.cross_entropy(shift_logits.view(-1, shift_logits.shape[-1]), shift_labels.view(-1), ignore_index=tokenizer.pad_token_id)  # 忽略pad_token_id对应的损失# 返回计算得到的损失值。return loss

2.动态学习率

from mindspore import ops
from mindspore.nn.learning_rate_schedule import LearningRateSchedule# 定义带有预热阶段的学习率调度器
class LinearWithWarmUp(LearningRateSchedule):"""实现线性预热后衰减的学习率策略。属性:- learning_rate: 基础学习率- num_warmup_steps: 预热步数- num_training_steps: 总训练步数"""def __init__(self, learning_rate, num_warmup_steps, num_training_steps):"""初始化LinearWithWarmUp类。参数:- learning_rate: 浮点数,基础学习率。- num_warmup_steps: 整数,预热阶段的步数。- num_training_steps: 整数,总训练步数。"""super().__init__()self.learning_rate = learning_rateself.num_warmup_steps = num_warmup_stepsself.num_training_steps = num_training_stepsdef construct(self, global_step):"""根据当前全局步数计算学习率。参数:- global_step: 当前全局训练步数。返回:- 学习率:根据预热和衰减策略计算出的学习率。"""if global_step < self.num_warmup_steps:# 在预热阶段,学习率线性增加return global_step / float(max(1, self.num_warmup_steps)) * self.learning_rateelse:# 在预热阶段之后,学习率线性衰减至0return ops.maximum(0.0, (self.num_training_steps - global_step) / (max(1, self.num_training_steps - self.num_warmup_steps))) * self.learning_rate

模型训练

num_epochs = 1
warmup_steps = 2000
learning_rate = 1.5e-4num_training_steps = num_epochs * train_dataset.get_dataset_size()
# 导入MindSpore的神经网络模块和GPT-2相关配置及模型
from mindspore import nn
from mindnlp.transformers import GPT2Config, GPT2LMHeadModel# 初始化GPT-2配置,基于tokenizer的词汇表大小
config = GPT2Config(vocab_size=len(tokenizer))# 创建GPT-2用于摘要生成的模型实例
model = GPT2ForSummarization(config)# 初始化学习率调度器,包括学习率和warmup步数
lr_scheduler = LinearWithWarmUp(learning_rate=learning_rate, num_warmup_steps=warmup_steps, num_training_steps=num_training_steps)# 创建Adam优化器,带有权重衰减,参数为模型的可训练参数和学习率调度器
optimizer = nn.AdamWeightDecay(model.trainable_params(), learning_rate=lr_scheduler)
# 记录模型参数数量
print('number of model parameters: {}'.format(model.num_parameters()))
# 导入Trainer类和CheckpointCallback类,用于训练模型和设置保存检查点的回调函数
from mindnlp._legacy.engine import Trainer
from mindnlp._legacy.engine.callbacks import CheckpointCallback# 设置检查点回调函数,指定保存路径、检查点名称、保存频率和最多保留的检查点数量
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='gpt2_summarization',epochs=1, keep_checkpoint_max=2)# 初始化Trainer对象,传入模型、训练数据集、训练轮数、优化器和回调函数
trainer = Trainer(network=model, train_dataset=train_dataset,epochs=1, optimizer=optimizer, callbacks=ckpoint_cb)# 开启自动混合精度训练,以提高训练速度和精度
trainer.set_amp(level='O1')  # 开启混合精度

这里官方说训练时间较长,确实比较长,在jupyter中确实不太好跑。两个点儿跑了四分之一

# 训练
trainer.run(tgt_columns="labels")

模型推理

模型处理,将向量数据处理为中文数据

def process_test_dataset(dataset, tokenizer, batch_size=1, max_seq_len=1024, max_summary_len=100):"""处理测试数据集,为摘要生成任务准备数据。参数:dataset: tf.data.Dataset对象,包含测试数据的文章和摘要。tokenizer: Hugging Face的tokenizer对象,用于将文章文本转换为token序列。batch_size: int,数据加载时的批量大小,默认为1。max_seq_len: int,最大序列长度,包括文章和摘要,默认为1024。max_summary_len: int,摘要的最大长度,默认为100。返回:处理后的数据集,每批包含多个样本的文章和摘要序列。"""def read_map(text):"""从TensorFlow数据集中提取文章和摘要文本。参数:text: tf.Tensor,包含JSON格式文本的数据。返回:np.array,包含文章和摘要的数组。"""data = json.loads(text.tobytes())return np.array(data['article']), np.array(data['summarization'])def pad(article):"""对文章文本进行padding和truncation,以适应最大序列长度。参数:article: str,待处理的文章文本。返回:list,经过padding和truncation后的token序列。"""tokenized = tokenizer(text=article, truncation=True, max_length=max_seq_len-max_summary_len)return tokenized['input_ids']# 对数据集进行预处理,包括提取文章和摘要,以及对文章进行paddingdataset = dataset.map(read_map, 'text', ['article', 'summary'])dataset = dataset.map(pad, 'article', ['input_ids'])# 将处理后的数据集组织成批量dataset = dataset.batch(batch_size)return dataset
test_dataset = process_test_dataset(test_dataset, tokenizer, batch_size=1)
print(next(test_dataset.create_tuple_iterator(output_numpy=True)))
# 加载预训练模型
model = GPT2LMHeadModel.from_pretrained('./checkpoint/gpt2_summarization_epoch_0.ckpt', config=config)
# 设置模型为推理模式
model.set_train(False)# 将eos_token_id设置为sep_token_id,确保生成的摘要以分隔符结尾
model.config.eos_token_id = model.config.sep_token_id# 初始化计数器
i = 0# 遍历测试数据集
for (input_ids, raw_summary) in test_dataset.create_tuple_iterator():# 使用模型生成摘要,限制新生成的token数量,使用多束搜索算法output_ids = model.generate(input_ids, max_new_tokens=50, num_beams=5, no_repeat_ngram_size=2)# 将生成的token ids解码为文本output_text = tokenizer.decode(output_ids[0].tolist())# 打印生成的摘要文本print(output_text)# 计数器加一i += 1# 当计数器达到1时,退出循环,只输出一个示例if i == 1:break

打卡图片:

image-20240707001603683

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/370781.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vb.netcad二开自学笔记2:认识vs编辑器

认识一下宇宙第一编辑器的界面图标含义还是很重要的&#xff0c;否则都不知道面对的是什么还怎么继续&#xff1f; 一、VS编辑器中常见的图标的含义 变量 长方体&#xff1a;变量 局部变量 两个矩形块&#xff1a;枚举 预定义的枚举 紫色立方体&#xff1a;方法 橙色树状结构…

数据结构——二叉树相关题目

1.寻找二叉树中数值为x的节点 //寻找二叉树中数值为x的节点 BTNode* TreeFind(BTNode* root, BTDataType x)//传过来二叉树的地址和根的地址&#xff0c;以及需要查找的数据 {if (root Null){return Null;}//首先需要先判断这个树是否为空&#xff0c;如果为空直接返回空if (…

筛选Github上的一些优质项目

每个项目旁都有标签说明其特点&#xff0c;如今日热捧、多模态、收入生成、机器人、大型语言模型等。 项目涵盖了不同的编程语言和领域&#xff0c;包括人工智能、语言模型、网页数据采集、聊天机器人、语音合成、AI 代理工具集、语音转录、大型语言模型、DevOps、本地文件共享…

《Programming from the Ground Up》阅读笔记:p19-p48

《Programming from the Ground Up》学习第2天&#xff0c;p19-p48总结&#xff0c;总计30页。 一、技术总结 1.object file p20, An object file is code that is in the machine’s language, but has not been completely put together。 之前在很多地方都看到object fi…

IDEA中使用Maven打包及碰到的问题

1. 项目打包 IDEA中&#xff0c;maven打包的方式有两种&#xff0c;分别是 install 和 package &#xff0c;他们的区别如下&#xff1a; install 方式 install 打包时做了两件事&#xff0c;① 将项目打包成 jar 或者 war&#xff0c;打包结果存放在项目的 target 目录下。…

C++_STL---list

list的相关介绍 list是可以在常数范围内在任意位置进行插入和删除的序列式容器&#xff0c;并且该容器可以前后双向迭代。 list的底层是带头双向循环链表结构&#xff0c;链表中每个元素存储在互不相关的独立节点中&#xff0c;在节点中通过指针指向其前一个元素和后一个元素。…

Google重大更新--解读Android Auto认证4.3

Google在今年五月更新了Android Auto 4.2.2版本&#xff0c;而在2024年7月他们推出了Android Auto 4.3版本&#xff0c;这是自2023年9月以来对Android Auto 4.2版本的一次重大更新。 为了确保合规性和顺利认证&#xff0c;OEM和Tire1必须确保PDK组件版本与正在认证的主机的Rece…

Docker学习笔记(二)镜像、容器、仓库相关命令操作

一、docker镜像操作 列出镜像列表 我们可以使用 docker images 来列出本地主机上的镜像。 各个选项说明: REPOSITORY&#xff1a;表示镜像的仓库源 TAG&#xff1a;镜像的标签 IMAGE ID&#xff1a;镜像ID CREATED&#xff1a;镜像创建时间 SIZE&#xff1a;镜像大小 查…

存储结构与管理磁盘

前言&#xff1a;本博客仅作记录学习使用&#xff0c;部分图片出自网络&#xff0c;如有侵犯您的权益&#xff0c;请联系删除 目录 一、一切从“/”开始 二、物理设备的命名规则 三、文件系统与数据资料 四、挂载硬件设备 五、添加硬盘设备 六、添加交换分区 七、磁盘容…

uniapp报错--app.json: 在项目根目录未找到 app.json

【问题】 刚创建好的uni-app项目&#xff0c;运行微信小程序控制台报错如下&#xff1a; 【解决方案】 1. 程序根目录打开project.config.json文件 2. 配置miniprogramRoot&#xff0c;指定小程序代码的根目录 我的小程序代码编译后的工程文件目录为&#xff1a;dist/dev/mp…

评价ChatGPT与强人工智能的未来

在人工智能领域&#xff0c;ChatGPT的出现无疑是一个里程碑事件。它不仅展示了自然语言处理技术的巨大进步&#xff0c;也引发了人们对于强人工智能&#xff08;AGI&#xff09;的无限遐想。本文将从多个角度评价ChatGPT&#xff0c;并探讨强人工智能距离我们还有多远。 ChatGP…

Google RichHF-18K 文本到图像生成中的丰富人类反馈

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

IDA*——AcWing 180. 排书

IDA* 定义 IDA*&#xff08;Iterative Deepening A*&#xff09;是一种结合了深度优先搜索&#xff08;DFS&#xff09;的递归深度限制特性和A搜索的启发式估价函数的搜索算法。它主要用于解决启发式搜索问题&#xff0c;尤其是当搜索空间很大或者搜索成本不确定时。 IDA* 是…

场景管理分析平台介绍

在数字化浪潮的推动下&#xff0c;数据已成为企业决策的重要依据。特别是在智能驾驶、虚拟现实和物联网等领域&#xff0c;场景数据的高效管理和利用至关重要。在智能驾驶领域面对海量的场景数据&#xff0c;如何高效处理、精准分析&#xff0c;并将其转化为有价值的决策支持&a…

C++基础(十一):STL简介

从今天开始&#xff0c;我们正式步入STL的学习&#xff0c;STL&#xff08;标准模板库&#xff0c;Standard Template Library&#xff09;是C标准库的重要组成部分&#xff0c;提供了一系列通用的类和函数模板&#xff0c;包括容器、算法、迭代器等。它的设计极大地提高了代码…

AI让大龄程序员重新焕发活力

AI是在帮助开发者还是取代他们&#xff1f; 在软件开发领域&#xff0c;生成式人工智能&#xff08;AIGC&#xff09;正在改变开发者的工作方式。无论是代码生成、错误检测还是自动化测试&#xff0c;AI工具正在成为开发者的得力助手。然而&#xff0c;这也引发了对开发者职业…

Python爬虫零基础实战,简洁实用!

1.爬虫简介 简单来讲&#xff0c;爬虫就是一个探测机器&#xff0c;它的基本操作就是模拟人的行为去各个网站溜达&#xff0c;点点按钮&#xff0c;查查数据&#xff0c;或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。 你可以简单地想象&#xff1a;每个…

【SPIE独立出版】第四届智能交通系统与智慧城市国际学术会议(ITSSC 2024)

第四届智能交通系统与智慧城市国际学术会议&#xff08;ITSSC 2024&#xff09;将于2024年8月23-25日在中国西安举行。本次会议主要围绕智能交通、交通新能源、无人驾驶、智慧城市、智能家居、智能生活等研究领域展开讨论&#xff0c; 旨在为该研究领域的专家学者们提供一个分享…

文心一言最常用的20条指令及指令说明,含增强指令

下面是20条文心一言的指令及其说明&#xff0c;每条指令尽量简洁明了&#xff0c;以便在有限的字数内提供尽可能多的信息。以下是这些指令及其说明&#xff1a; 1. 查询天气 指令&#xff1a;今天北京的天气怎么样&#xff1f;说明&#xff1a;此指令用于查询特定城市&#xf…

无人机5公里WiFi低延迟图传模组,抗干扰、长距离、低延迟,飞睿智能无线通信新标杆

在科技日新月异的今天&#xff0c;我们见证了无数通信技术的飞跃。从开始的电报、电话&#xff0c;到如今的4G、5G网络&#xff0c;再到WiFi的广泛应用&#xff0c;每一次技术的革新都极大地改变了人们的生活方式。飞睿智能5公里WiFi低延迟图传模组&#xff0c;它以其独特的优势…