大模型增量训练--基于transformer制作一个大模型聊天机器人

针对夸夸闲聊数据集,利用UniLM模型进行模型训练及测试,更深入地了解预训练语言模型的使用方法,完成一个生成式闲聊机器人任务。

项目主要结构如下:

  • data 存放数据的文件夹
    • dirty_word.txt 敏感词数据
    • douban_kuakua_qa.txt 原始语料 【数据量:大概20M的样子】==》用于增量训练
    • sample.json 处理后的语料样例
  • kuakua_robot_model 已训练好的模型路径
    • config.json
    • pytorch_model.bin
    • vocab.txt
  • pretrain_model UniLm预训练文件路径
    • config.json
    • pytorch_model.bin
    • vocab.txt
  • chatbot.py 模型推理文件
  • configuration_unilm.py UniLm配置文件
  • data_helper.py 数据预处理文件
  • data_set.py 数据类文件
  • modeling_unilm.py UniLm模型文件
  • train.py 模型训练文件
  • dirty_recognize.py 敏感词检测文件

增量训练的数据样例:

1  Q: 要去打球赛了求表扬
2  A: 真棒好好打乒乓球!
3  Q: 要去打球赛了求表扬
4  A: 是篮球哈哈哈
5  Q: 要去打球赛了求表扬
6  A: 篮板王就是你!
7  Q: 要去打球赛了求表扬
8  A: 加油别把鞋踢脏喽
9  Q: 要去打球赛了求表扬
10 A: 多买点儿币!
11 Q: 要去打球赛了求表扬
12 A: 已经脏了
13 Q: 要去打球赛了求表扬
14 A: 好滴
15 Q: 要去打球赛了求表扬
16 A: 这个配色是是真心不太合我的胃口,还有为什么白鞋要配黑袜子
17 Q: 要去打球赛了求表扬
18 A: 这不是表扬组吗hhh你咋来拆台
19 Q: 要去打球赛了求表扬
20 A: 我不是,我没有,别瞎说哈
21 Q: 要去打球赛了求表扬
22 A: 全场最帅(・ัω・ั),卡胃踩脚拇指戳肋骨无毒神掌天下无敌,然后需要代打嘛
23 Q: 要去打球赛了求表扬
24 A: 你走!
25 Q: 要去打球赛了求表扬
26 A: 8要!
27 Q: 要去打球赛了求表扬
28 A: 我不,我还想问问什么鞋码,多高多重,打什么位置的

在这里插入图片描述

注意:由于GitHub不方便放模型文件,因此data文件中douban_kuakua_qa.txt文件、kuakua_robot_model文件夹和pretrain_model文件夹中的模型bin文件,请从百度云盘中下载。【bert模型大小:400MB,用于增量训练的模型,应该是来自https://huggingface.co/bert-base-chinese/tree/main下载的原始bert文件】

文件名称下载地址提取码
pretrain_model百度云7h4a
kuakua_robot_model百度云j954
data百度云3sz3

由于敏感词表中包含大量敏感词,导致百度云的data链接会失效,因此将敏感词之间放到项目的data目录下。

环境配置

模型训练或推理所需环境,请参考requirements.txt文件。

数据处理

数据预处理需要运行data_helper.py文件,会在data文件夹中生成训练集和测试集文件。

命令如下:

python3 data_helper.py

注意:如果需要修改数据生成路径或名称,请修改data_helper.py文件147-150行,自行定义。

模型训练

模型训练需要运行train.py文件,会自动生成output_dir文件夹,存放每个epoch保存的模型文件。

命令如下:

python3 train.py --device 0 \--data_dir "data/" \--src_file "train.json" \--model_name_or_path "pretrain_model/" \--max_seq_length 256 \--train_batch_size 16 \--num_train_epochs 10  

注意:当服务器资源不同或读者更换数据等时,可以在模型训练时修改响应参数,详细参数说明见代码或阅读书3.5.4小节。

模型训练示例如下:

img.png

模型训练阶段损失值变化如下: img.png

模型推理

模型训练需要运行chatbot.py文件,可以采用项目中以提供的模型,也可以采用自己训练后的模型。

命令如下:

python3 chatbot.py --device 0 --topk 3 --topp 0.95 --max_len 32

注意:如果修改模型路径,请修改–model_path参数。

模型推理示例如下: img.png

USER:工作不开心
CHAT-BOT:我也是,不过现在开始努力找工作啦!一起加油鸭~
USER:工作不开心
CHAT-BOT:那就祝福你,能找到喜欢的工作吧。
USER:工作不开心
CHAT-BOT:你也要加油鸭!
USER:工作不开心
CHAT-BOT:我也是,不过总有一天就会好起来的
样例2
USER:我分手了
CHAT-BOT:分手快乐,你会遇到更好的。
USER:我分手了
CHAT-BOT:旧的不去新的不来,你会遇见更好的
USER:我分手了
CHAT-BOT:分的好,下一个更乖
样例3
USER:好想去吃火锅,但是我在减肥
CHAT-BOT:你好棒!一定会瘦下来的!
USER:好像去吃火锅,但是我在减肥
CHAT-BOT:吃火锅是为了能更好的减肥,你真棒!我自己没有gpu,训练了一天,运行的流程如下:
D:\book\ChatGPTBook``-``main\UniLMProj 的目录``2023``-``09``-``25` `17``:``54`  `<``DIR``>     .``2023``-``09``-``25` `17``:``22`  `<``DIR``>     ..``2023``-``09``-``25` `17``:``22`       `5``,``530` `chatbot.py``2023``-``09``-``25` `17``:``22`       `2``,``153` `configuration_unilm.py``2023``-``09``-``25` `21``:``04`  `<``DIR``>     data``2023``-``09``-``25` `17``:``22`       `4``,``375` `data_helper.py``2023``-``09``-``25` `17``:``22`       `9``,``173` `data_set.py``2023``-``09``-``25` `17``:``22`       `1``,``304` `dirty_recognize.py``2023``-``09``-``25` `17``:``22`  `<``DIR``>     images``2023``-``09``-``25` `17``:``22`  `<``DIR``>     kuakua_robot_model``2023``-``09``-``25` `17``:``22`      `13``,``452` `modeling_unilm.py``2023``-``09``-``25` `17``:``22`  `<``DIR``>     pretrain_model``2023``-``09``-``25` `17``:``22`       `4``,``199` `README.md``2023``-``09``-``25` `17``:``22`        `88` `requirements.txt``2023``-``09``-``25` `17``:``22`       `8``,``337` `train.py``2023``-``09``-``25` `17``:``22`       `1``,``861` `trie.py``2023``-``09``-``25` `17``:``54`  `<``DIR``>     __pycache__``       ``10` `个文件     ``50``,``472` `字节``        ``7` `个目录 ``175``,``152``,``689``,``152` `可用字节` `D:\book\ChatGPTBook``-``main\UniLMProj>python data_helper.py``total number of data: ``121687` `D:\book\ChatGPTBook``-``main\UniLMProj>``dir` `data`` ``驱动器 D 中的卷是 Data`` ``卷的序列号是 CA99``-``555E` ` ``D:\book\ChatGPTBook``-``main\UniLMProj\data 的目录` `2023``-``09``-``25` `21``:``06`  `<``DIR``>     .``2023``-``09``-``25` `17``:``54`  `<``DIR``>     ..``2023``-``09``-``25` `17``:``22`      `245``,``546` `dirty_words.txt``2023``-``09``-``25` `17``:``56`    `21``,``620``,``763` `douban_kuakua_qa.txt``2023``-``09``-``25` `17``:``22`        `446` `sample.json``2023``-``09``-``25` `21``:``06`    `14``,``272``,``447` `train.json``        ``4` `个文件   ``36``,``139``,``202` `字节``        ``2` `个目录 ``175``,``138``,``414``,``592` `可用字节` `D:\book\ChatGPTBook``-``main\UniLMProj>python train.py``Traceback (most recent call last):`` ``File` `"D:\book\ChatGPTBook-main\UniLMProj\train.py"``, line ``18``, ``in` `<module>``  ``import` `torch``ModuleNotFoundError: No module named ``'torch'` `D:\book\ChatGPTBook``-``main\UniLMProj>pip install torch`` ` `D:\book\ChatGPTBook``-``main\UniLMProj>pip install torch`` ` `D:\book\ChatGPTBook``-``main\UniLMProj>``D:\book\ChatGPTBook``-``main\UniLMProj>python train.py``Traceback (most recent call last):`` ``File` `"D:\book\ChatGPTBook-main\UniLMProj\train.py"``, line ``20``, ``in` `<module>``  ``from` `transformers ``import` `BertTokenizer``ModuleNotFoundError: No module named ``'transformers'` `D:\book\ChatGPTBook``-``main\UniLMProj>pip install transformers`` ` `D:\book\ChatGPTBook``-``main\UniLMProj>python train.py``Traceback (most recent call last):`` ``File` `"D:\book\ChatGPTBook-main\UniLMProj\train.py"``, line ``170``, ``in` `<module>``  ``main()`` ``File` `"D:\book\ChatGPTBook-main\UniLMProj\train.py"``, line ``86``, ``in` `main``  ``model ``=` `UnilmForSeq2Seq.from_pretrained(args.model_name_or_path, config``=``config)``      ``^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^`` ``File` `"C:\Python311\Lib\site-packages\transformers\modeling_utils.py"``, line ``2740``, ``in` `from_pretrained``  ``raise` `EnvironmentError(``OSError: Error no ``file` `named pytorch_model.``bin``, tf_model.h5, model.ckpt.index ``or` `flax_model.msgpack found ``in` `directory pretrain_model``/``.` `D:\book\ChatGPTBook``-``main\UniLMProj>python train.py``Loading Train Dataset data``/``convert seq2seq example: ``108730it` `[``00``:``29``, ``3741.34it``/``s]``Load ``108730` `data``C:\Python311\Lib\site``-``packages\transformers\optimization.py:``411``: FutureWarning: This implementation of AdamW ``is` `deprecated ``and` `will be removed ``in` `a future version. Use the PyTorch implementation torch.optim.AdamW instead, ``or` `set` ``no_deprecation_warning``=``True```to disable this warning`` ``warnings.warn(``09``/``25``/``2023` `21``:``45``:``57` `-` `INFO ``-` `__main__ ``-`  `*``*``*``*``*` `CUDA.empty_cache() ``*``*``*``*``*``09``/``25``/``2023` `21``:``45``:``57` `-` `INFO ``-` `__main__ ``-`  `*``*``*``*``*` `Running training ``*``*``*``*``*``09``/``25``/``2023` `21``:``45``:``57` `-` `INFO ``-` `__main__ ``-`   `Batch size ``=` `16``09``/``25``/``2023` `21``:``45``:``57` `-` `INFO ``-` `__main__ ``-`   `Num steps ``=` `67960``Epoch:  ``0``%``|                                          | ``0``/``10` `[``00``:``00``<?, ?it``/``s]C:\Python311\Lib\site``-``packages\torch\optim\lr_scheduler.py:``265``: UserWarning: To get the last learning rate computed by the scheduler, please use `get_last_lr()`.`` ``warnings.warn(``"To get the last learning rate computed by the scheduler, "``Iter` `(loss``=``3.279``): ``100``%``|████████████████████████████████████████████████████████| ``6796``/``6796` `[``25``:``32``:``28``<``00``:``00``, ``13.53s``/``it]``09``/``26``/``2023` `23``:``18``:``26` `-` `INFO ``-` `__main__ ``-`  `*``*` `*``*` `*` `Saving fine``-``tuned model ``and` `optimizer ``*``*` `*``*` `*` `32``:``28``<``00``:``00``, ``9.24s``/``it]``Epoch: ``10``%``|██████▌                              | ``1``/``10` `[``25``:``32``:``29``<``229``:``52``:``22``, ``91949.11s``/``it]``Iter` `(loss``=``3.525``): ``31``%``|████████████████▎                  | ``2096``/``6796` `[``10``:``55``:``33``<``16``:``16``:``17``, ``12.46s``/``it]

训练了一天,最后的聊天效果:

D:\book\ChatGPTBook``-``main\UniLMProj>python chatbot.py ``-``-``topk ``3` `-``-``topp ``0.95` `-``-``max_len ``32` `-``-``model_name_or_path output_dir\checkpoint``-``6796``\``cpu``Chitchat Robot Starting``user:你好啊``chat``-``bot:这么可爱的人真的很有缘分呢,你是最棒了!``user:终于训练好了一个大模型机器人了``chat``-``bot:好厉害!我也想学,但是还是没有做到``user:哈哈哈``chat``-``bot:你真的很可爱!我也是,但不想被表扬。``user:大模型是什么呢?``chat``-``bot:我们一起努力吧!``user:你是谁?``chat``-``bot:我是你!``user:你逗我呢``chat``-``bot:你也是个可爱的小可爱,我们一起夸

我们来分析下模型源码:

import` `copy``import` `math``import` `logging``import` `torch``from` `torch ``import` `nn``import` `torch.nn.functional as F``from` `torch.nn.modules.loss ``import` `_Loss``from` `transformers.modeling_utils ``import` `PreTrainedModel``from` `configuration_unilm ``import` `UnilmConfig``from` `transformers.models.bert.modeling_bert ``import` `load_tf_weights_in_bert, BertPooler, BertIntermediate, BertOutput, \``  ``BertSelfOutput, BertOnlyMLMHead, BertEmbeddings` `logger ``=` `logging.getLogger(__name__)` `BertLayerNorm ``=` `torch.nn.LayerNorm` `class` `BertSelfAttention(nn.Module):``  ``def` `__init__(``self``, config):``    ``super``(BertSelfAttention, ``self``).__init__()``    ``if` `config.hidden_size ``%` `config.num_attention_heads !``=` `0``:``      ``raise` `ValueError(``        ``"The hidden size (%d) is not a multiple of the number of attention "``        ``"heads (%d)"` `%` `(config.hidden_size, config.num_attention_heads))``    ``self``.num_attention_heads ``=` `config.num_attention_heads``    ``self``.attention_head_size ``=` `int``(``      ``config.hidden_size ``/` `config.num_attention_heads)``    ``self``.all_head_size ``=` `self``.num_attention_heads ``*` `self``.attention_head_size` `    ``self``.query ``=` `nn.Linear(config.hidden_size, ``self``.all_head_size)``    ``self``.key ``=` `nn.Linear(config.hidden_size, ``self``.all_head_size)``    ``self``.value ``=` `nn.Linear(config.hidden_size, ``self``.all_head_size)` `    ``self``.dropout ``=` `nn.Dropout(config.attention_probs_dropout_prob)` `  ``def` `transpose_for_scores(``self``, x):``    ``sz ``=` `x.size()[:``-``1``] ``+` `(``self``.num_attention_heads,``               ``self``.attention_head_size)``    ``x ``=` `x.view(``*``sz)``    ``return` `x.permute(``0``, ``2``, ``1``, ``3``)` `  ``def` `forward(``self``, hidden_states, attention_mask, history_states``=``None``):``    ``if` `history_states ``is` `None``:``      ``mixed_query_layer ``=` `self``.query(hidden_states)``      ``mixed_key_layer ``=` `self``.key(hidden_states)``      ``mixed_value_layer ``=` `self``.value(hidden_states)``    ``else``:``      ``x_states ``=` `torch.cat((history_states, hidden_states), dim``=``1``)``      ``mixed_query_layer ``=` `self``.query(hidden_states)``      ``mixed_key_layer ``=` `self``.key(x_states)``      ``mixed_value_layer ``=` `self``.value(x_states)` `    ``query_layer ``=` `self``.transpose_for_scores(mixed_query_layer)``    ``key_layer ``=` `self``.transpose_for_scores(mixed_key_layer)``    ``value_layer ``=` `self``.transpose_for_scores(mixed_value_layer)` `    ``attention_scores ``=` `torch.matmul(``      ``query_layer ``/` `math.sqrt(``self``.attention_head_size), key_layer.transpose(``-``1``, ``-``2``))``    ``attention_scores ``=` `attention_scores ``+` `attention_mask` `    ``attention_probs ``=` `nn.Softmax(dim``=``-``1``)(attention_scores)` `    ``attention_probs ``=` `self``.dropout(attention_probs)` `    ``context_layer ``=` `torch.matmul(attention_probs, value_layer)``    ``context_layer ``=` `context_layer.permute(``0``, ``2``, ``1``, ``3``).contiguous()``    ``new_context_layer_shape ``=` `context_layer.size()[``                 ``:``-``2``] ``+` `(``self``.all_head_size,)``    ``context_layer ``=` `context_layer.view(``*``new_context_layer_shape)``    ``return` `context_layer` `class` `BertAttention(nn.Module):``  ``def` `__init__(``self``, config):``    ``super``(BertAttention, ``self``).__init__()``    ``self``.``self` `=` `BertSelfAttention(config)``    ``self``.output ``=` `BertSelfOutput(config)` `  ``def` `forward(``self``, input_tensor, attention_mask, history_states``=``None``):``    ``self_output ``=` `self``.``self``(``      ``input_tensor, attention_mask, history_states``=``history_states)``    ``attention_output ``=` `self``.output(self_output, input_tensor)``    ``return` `attention_output` `class` `BertLayer(nn.Module):``  ``def` `__init__(``self``, config):``    ``super``(BertLayer, ``self``).__init__()``    ``self``.attention ``=` `BertAttention(config)``    ``self``.intermediate ``=` `BertIntermediate(config)``    ``self``.output ``=` `BertOutput(config)` `  ``def` `forward(``self``, hidden_states, attention_mask, history_states``=``None``):``    ``attention_output ``=` `self``.attention(``      ``hidden_states, attention_mask, history_states``=``history_states)``    ``intermediate_output ``=` `self``.intermediate(attention_output)``    ``layer_output ``=` `self``.output(intermediate_output, attention_output)``    ``return` `layer_output` `class` `BertEncoder(nn.Module):``  ``def` `__init__(``self``, config):``    ``super``(BertEncoder, ``self``).__init__()``    ``layer ``=` `BertLayer(config)``    ``self``.layer ``=` `nn.ModuleList([copy.deepcopy(layer)``                  ``for` `_ ``in` `range``(config.num_hidden_layers)])` `  ``def` `forward(``self``, hidden_states, attention_mask, output_all_encoded_layers``=``True``, prev_embedding``=``None``,``        ``prev_encoded_layers``=``None``):``    ``assert` `(prev_embedding ``is` `None``) ``=``=` `(prev_encoded_layers ``is` `None``)` `    ``all_encoder_layers ``=` `[]``    ``if` `(prev_embedding ``is` `not` `None``) ``and` `(prev_encoded_layers ``is` `not` `None``):``      ``history_states ``=` `prev_embedding``      ``for` `i, layer_module ``in` `enumerate``(``self``.layer):``        ``hidden_states ``=` `layer_module(``          ``hidden_states, attention_mask, history_states``=``history_states)``        ``if` `output_all_encoded_layers:``          ``all_encoder_layers.append(hidden_states)``        ``if` `prev_encoded_layers ``is` `not` `None``:``          ``history_states ``=` `prev_encoded_layers[i]``    ``else``:``      ``for` `layer_module ``in` `self``.layer:``        ``hidden_states ``=` `layer_module(``          ``hidden_states, attention_mask)``        ``if` `output_all_encoded_layers:``          ``all_encoder_layers.append(hidden_states)``    ``if` `not` `output_all_encoded_layers:``      ``all_encoder_layers.append(hidden_states)``    ``return` `all_encoder_layers` `class` `UnilmPreTrainedModel(PreTrainedModel):``  ``config_class ``=` `UnilmConfig``  ``load_tf_weights ``=` `load_tf_weights_in_bert``  ``base_model_prefix ``=` `"unilm"` `  ``def` `_init_weights(``self``, module):``    ``if` `isinstance``(module, (nn.Linear, nn.Embedding)):``      ``module.weight.data.normal_(mean``=``0.0``, std``=``self``.config.initializer_range)``    ``elif` `isinstance``(module, BertLayerNorm):``      ``module.bias.data.zero_()``      ``module.weight.data.fill_(``1.0``)``    ``if` `isinstance``(module, nn.Linear) ``and` `module.bias ``is` `not` `None``:``      ``module.bias.data.zero_()` `class` `UnilmModel(UnilmPreTrainedModel):``  ``def` `__init__(``self``, config):``    ``super``(UnilmModel, ``self``).__init__(config)``    ``self``.embeddings ``=` `BertEmbeddings(config)``    ``self``.encoder ``=` `BertEncoder(config)``    ``self``.pooler ``=` `BertPooler(config)``    ``self``.init_weights()` `  ``def` `get_extended_attention_mask(``self``, input_ids, token_type_ids, attention_mask):``    ``if` `attention_mask ``is` `None``:``      ``attention_mask ``=` `torch.ones_like(input_ids)``    ``if` `token_type_ids ``is` `None``:``      ``token_type_ids ``=` `torch.zeros_like(input_ids)` `    ``if` `attention_mask.dim() ``=``=` `2``:``      ``extended_attention_mask ``=` `attention_mask.unsqueeze(``1``).unsqueeze(``2``)``    ``elif` `attention_mask.dim() ``=``=` `3``:``      ``extended_attention_mask ``=` `attention_mask.unsqueeze(``1``)``    ``else``:``      ``raise` `NotImplementedError``    ``extended_attention_mask ``=` `extended_attention_mask.to(``      ``dtype``=``next``(``self``.parameters()).dtype) ``# fp16 compatibility``    ``extended_attention_mask ``=` `(``1.0` `-` `extended_attention_mask) ``*` `-``10000.0``    ``return` `extended_attention_mask` `  ``def` `forward(``self``, input_ids, token_type_ids``=``None``, attention_mask``=``None``, output_all_encoded_layers``=``True``):``    ``extended_attention_mask ``=` `self``.get_extended_attention_mask(``      ``input_ids, token_type_ids, attention_mask)` `    ``embedding_output ``=` `self``.embeddings(``      ``input_ids, token_type_ids)``    ``encoded_layers ``=` `self``.encoder(embedding_output, extended_attention_mask,``                   ``output_all_encoded_layers``=``output_all_encoded_layers)``    ``sequence_output ``=` `encoded_layers[``-``1``]``    ``pooled_output ``=` `self``.pooler(sequence_output)``    ``if` `not` `output_all_encoded_layers:``      ``encoded_layers ``=` `encoded_layers[``-``1``]``    ``return` `encoded_layers, pooled_output` `class` `LabelSmoothingLoss(_Loss):``  ``def` `__init__(``self``, label_smoothing``=``0``, tgt_vocab_size``=``0``, ignore_index``=``0``, size_average``=``None``, ``reduce``=``None``,``         ``reduction``=``'mean'``):``    ``assert` `0.0` `< label_smoothing <``=` `1.0``    ``self``.ignore_index ``=` `ignore_index``    ``super``(LabelSmoothingLoss, ``self``).__init__(``      ``size_average``=``size_average, ``reduce``=``reduce``, reduction``=``reduction)` `    ``assert` `label_smoothing > ``0``    ``assert` `tgt_vocab_size > ``0` `    ``smoothing_value ``=` `label_smoothing ``/` `(tgt_vocab_size ``-` `2``)``    ``one_hot ``=` `torch.full((tgt_vocab_size,), smoothing_value)``    ``one_hot[``self``.ignore_index] ``=` `0``    ``self``.register_buffer(``'one_hot'``, one_hot.unsqueeze(``0``))``    ``self``.confidence ``=` `1.0` `-` `label_smoothing``    ``self``.tgt_vocab_size ``=` `tgt_vocab_size` `  ``def` `forward(``self``, output, target):``    ``assert` `self``.tgt_vocab_size ``=``=` `output.size(``2``)``    ``batch_size, num_pos ``=` `target.size(``0``), target.size(``1``)``    ``output ``=` `output.view(``-``1``, ``self``.tgt_vocab_size)``    ``target ``=` `target.view(``-``1``)``    ``model_prob ``=` `self``.one_hot.repeat(target.size(``0``), ``1``)``    ``model_prob.scatter_(``1``, target.unsqueeze(``1``), ``self``.confidence)``    ``model_prob.masked_fill_((target ``=``=` `self``.ignore_index).unsqueeze(``1``), ``0``)` `    ``return` `F.kl_div(output, model_prob.type_as(output), reduction``=``'none'``).view(batch_size, num_pos, ``-``1``).``sum``(``2``)` `class` `UnilmForSeq2Seq(UnilmPreTrainedModel):``  ``"""UniLM模型进行Seq2Seq的训练模型类"""` `  ``def` `__init__(``self``, config):``    ``"""模型初始化函数,定义模型训练所需的各个模块"""``    ``super``(UnilmForSeq2Seq, ``self``).__init__(config)``    ``self``.bert ``=` `UnilmModel(config)``    ``self``.``cls` `=` `BertOnlyMLMHead(config)``    ``self``.mask_lm ``=` `nn.CrossEntropyLoss(reduction``=``'none'``)``    ``if` `hasattr``(config, ``'label_smoothing'``) ``and` `config.label_smoothing:``      ``self``.mask_lm_smoothed ``=` `LabelSmoothingLoss(config.label_smoothing, config.vocab_size, ignore_index``=``0``,``                            ``reduction``=``'none'``)``    ``else``:``      ``self``.mask_lm_smoothed ``=` `None``    ``self``.init_weights()``    ``self``.tie_weights()` `  ``def` `tie_weights(``self``):``    ``"""权重加载,加载预训练模型的embeddings部分权重"""``    ``self``._tie_or_clone_weights(``self``.``cls``.predictions.decoder,``                  ``self``.bert.embeddings.word_embeddings)` `  ``def` `forward(``self``, input_ids, token_type_ids``=``None``, attention_mask``=``None``, masked_lm_labels``=``None``, masked_pos``=``None``,``        ``masked_weights``=``None``):``    ``"""模型forward,向前传递函数"""``    ``# 获取Encoder部分的序列输出,维度[bs,seq_len,hidden_size]``    ``sequence_output, __ ``=` `self``.bert(input_ids, token_type_ids, attention_mask, output_all_encoded_layers``=``False``)` `    ``def` `gather_seq_out_by_pos(seq, pos):``      ``return` `torch.gather(seq, ``1``, pos.unsqueeze(``2``).expand(``-``1``, ``-``1``, seq.size(``-``1``)))` `    ``def` `loss_mask_and_normalize(loss, mask):``      ``mask ``=` `mask.type_as(loss)``      ``loss ``=` `loss ``*` `mask``      ``denominator ``=` `torch.``sum``(mask) ``+` `1e``-``5``      ``return` `(loss ``/` `denominator).``sum``()` `    ``if` `masked_lm_labels ``is` `None``:``      ``if` `masked_pos ``is` `None``:``        ``prediction_scores ``=` `self``.``cls``(sequence_output)``      ``else``:``        ``sequence_output_masked ``=` `gather_seq_out_by_pos(sequence_output, masked_pos)``        ``prediction_scores ``=` `self``.``cls``(sequence_output_masked)``      ``return` `prediction_scores``    ``# 获取被掩码位置的向量``    ``sequence_output_masked ``=` `gather_seq_out_by_pos(sequence_output, masked_pos)``    ``prediction_scores_masked ``=` `self``.``cls``(sequence_output_masked)``    ``if` `self``.mask_lm_smoothed:``      ``masked_lm_loss ``=` `self``.mask_lm_smoothed(F.log_softmax(prediction_scores_masked.``float``(), dim``=``-``1``),``                          ``masked_lm_labels)``    ``else``:``      ``masked_lm_loss ``=` `self``.mask_lm(prediction_scores_masked.transpose(``1``, ``2``).``float``(), masked_lm_labels)``    ``# 计算[Mask]标记的损失值``    ``masked_lm_loss ``=` `loss_mask_and_normalize(masked_lm_loss.``float``(), masked_weights)` `    ``return` `masked_lm_loss` `class` `UnilmForSeq2SeqDecodeSample(UnilmPreTrainedModel):``  ``"""UniLM模型进行Seq2Seq的模型解码类"""``  ``def` `__init__(``self``, config):``    ``"""模型初始化函数,定义模型训练所需的各个模块"""``    ``super``(UnilmForSeq2SeqDecodeSample, ``self``).__init__(config)``    ``self``.bert ``=` `UnilmModel(config)``    ``self``.``cls` `=` `BertOnlyMLMHead(config)``    ``self``.init_weights()``    ``self``.tie_weights()` `  ``def` `tie_weights(``self``):``    ``"""权重加载,加载预训练模型的embeddings部分权重"""``    ``self``._tie_or_clone_weights(``self``.``cls``.predictions.decoder, ``self``.bert.embeddings.word_embeddings)` `  ``def` `forward(``self``, input_ids, token_type_ids, attention_mask):``    ``# 获取Encoder部分的序列输出,维度[bs,seq_len,hidden_size]``    ``sequence_output, __ ``=` `self``.bert(input_ids, token_type_ids, attention_mask, output_all_encoded_layers``=``False``)``    ``# 获取最优一个节点的输出``    ``last_hidden ``=` `sequence_output[:, ``-``1``:, :]``    ``# 将其映射到词表中,为后面解码提供内容``    ``prediction_scores ``=` `self``.``cls``(last_hidden)``    ``return` `prediction_scores

文件定义了一个基于UniLM(Unified Language Model)的Seq2Seq模型,主要用于序列生成任务。UniLM是一种预训练的语言模型,它在单一的语言模型架构下整合了双向和单向的语言模型。

文件中定义了以下几个主要的类:

\1. BertSelfAttention:这是一个自注意力机制的实现,用于计算输入序列中每个元素的注意力分数。

\2. BertAttention、BertLayer、BertEncoder:这些类是BERT模型的主要组成部分,用于处理输入序列并生成隐藏状态。

\3. UnilmPreTrainedModel:这是一个预训练模型的基类,定义了权重初始化和加载预训练权重的方法。

\4. UnilmModel:这是UniLM模型的主要实现,它包含了BERT的嵌入层、编码器和池化层。

\5. LabelSmoothingLoss:这是一个实现了标签平滑的损失函数,用于训练过程中减少模型对于标签的过拟合。

\6. UnilmForSeq2Seq:这是一个用于序列到序列任务的UniLM模型,它在UnilmModel的基础上添加了一个预测头,用于预测下一个词。

\7. UnilmForSeq2SeqDecodeSample:这是一个用于序列到序列任务的解码器,它使用UnilmModel生成的隐藏状态,通过预测头生成下一个词的预测。

总的来说,这个文件定义的模型结构主要用于处理序列到序列的任务,如机器翻译、文本摘要等。模型的最终目标是根据输入的序列生成一个新的序列。

【模型训练】

这个训练代码使用的模型是UnilmForSeq2Seq,这是一个基于UniLM(Unified Language Model)的序列到序列模型。这个模型主要用于处理序列生成任务,如机器翻译、文本摘要等。在代码中,模型的加载过程如下:

config = UnilmConfig.from_pretrained(args.model_name_or_path)

tokenizer = BertTokenizer.from_pretrained(args.model_name_or_path, do_lower_case=args.do_lower_case)

model = UnilmForSeq2Seq.from_pretrained(args.model_name_or_path, config=config)

model.to(device)

这段代码首先从预训练模型的路径加载UniLM的配置和BERT的分词器,然后使用这些配置和分词器从预训练模型的路径加载UnilmForSeq2Seq模型,并将模型移动到指定的设备上(如果有GPU则使用GPU,否则使用CPU)。

class` `UnilmForSeq2Seq(UnilmPreTrainedModel):``  ``"""UniLM模型进行Seq2Seq的训练模型类"""` `  ``def` `__init__(``self``, config):``    ``"""模型初始化函数,定义模型训练所需的各个模块"""``    ``super``(UnilmForSeq2Seq, ``self``).__init__(config)``    ``self``.bert ``=` `UnilmModel(config)``    ``self``.``cls` `=` `BertOnlyMLMHead(config)``    ``self``.mask_lm ``=` `nn.CrossEntropyLoss(reduction``=``'none'``)``    ``if` `hasattr``(config, ``'label_smoothing'``) ``and` `config.label_smoothing:``      ``self``.mask_lm_smoothed ``=` `LabelSmoothingLoss(config.label_smoothing, config.vocab_size, ignore_index``=``0``,``                            ``reduction``=``'none'``)``    ``else``:``      ``self``.mask_lm_smoothed ``=` `None``    ``self``.init_weights()``    ``self``.tie_weights()` `  ``def` `tie_weights(``self``):``    ``"""权重加载,加载预训练模型的embeddings部分权重"""``    ``self``._tie_or_clone_weights(``self``.``cls``.predictions.decoder,``                  ``self``.bert.embeddings.word_embeddings)` `  ``def` `forward(``self``, input_ids, token_type_ids``=``None``, attention_mask``=``None``, masked_lm_labels``=``None``, masked_pos``=``None``,``        ``masked_weights``=``None``):``    ``"""模型forward,向前传递函数"""``    ``# 获取Encoder部分的序列输出,维度[bs,seq_len,hidden_size]``    ``sequence_output, __ ``=` `self``.bert(input_ids, token_type_ids, attention_mask, output_all_encoded_layers``=``False``)` `    ``def` `gather_seq_out_by_pos(seq, pos):``      ``return` `torch.gather(seq, ``1``, pos.unsqueeze(``2``).expand(``-``1``, ``-``1``, seq.size(``-``1``)))` `    ``def` `loss_mask_and_normalize(loss, mask):``      ``mask ``=` `mask.type_as(loss)``      ``loss ``=` `loss ``*` `mask``      ``denominator ``=` `torch.``sum``(mask) ``+` `1e``-``5``      ``return` `(loss ``/` `denominator).``sum``()` `    ``if` `masked_lm_labels ``is` `None``:``      ``if` `masked_pos ``is` `None``:``        ``prediction_scores ``=` `self``.``cls``(sequence_output)``      ``else``:``        ``sequence_output_masked ``=` `gather_seq_out_by_pos(sequence_output, masked_pos)``        ``prediction_scores ``=` `self``.``cls``(sequence_output_masked)``      ``return` `prediction_scores``    ``# 获取被掩码位置的向量``    ``sequence_output_masked ``=` `gather_seq_out_by_pos(sequence_output, masked_pos)``    ``prediction_scores_masked ``=` `self``.``cls``(sequence_output_masked)``    ``if` `self``.mask_lm_smoothed:``      ``masked_lm_loss ``=` `self``.mask_lm_smoothed(F.log_softmax(prediction_scores_masked.``float``(), dim``=``-``1``),``                          ``masked_lm_labels)``    ``else``:``      ``masked_lm_loss ``=` `self``.mask_lm(prediction_scores_masked.transpose(``1``, ``2``).``float``(), masked_lm_labels)``    ``# 计算[Mask]标记的损失值``    ``masked_lm_loss ``=` `loss_mask_and_normalize(masked_lm_loss.``float``(), masked_weights)` `    ``return` `masked_lm_loss

我们重点看看这个模型类:

UnilmForSeq2Seq是一个基于UniLM模型的序列到序列模型,主要用于处理序列生成任务,如机器翻译、文本摘要等。下面是UnilmForSeq2Seq模型的主要组成部分及其功能:

  1. self.bert = UnilmModel(config):这是UniLM模型的主体部分,包括BERT的嵌入层、编码器和池化层。这部分用于处理输入序列并生成隐藏状态。

  2. self.cls = BertOnlyMLMHead(config):这是一个预测头,用于预测下一个词。它接收UnilmModel生成的隐藏状态,并输出每个词的预测分数。

  3. self.mask_lm = nn.CrossEntropyLoss(reduction=‘none’):这是一个交叉熵损失函数,用于计算预测和真实标签之间的损失。

  4. self.mask_lm_smoothed = LabelSmoothingLoss(config.label_smoothing, config.vocab_size, ignore_index=0, reduction=‘none’):这是一个实现了标签平滑的损失函数,用于训练过程中减少模型对于标签的过拟合。

  5. forward函数:这是模型的前向传播函数,它接收输入序列、注意力掩码和标签,然后通过UnilmModel和预测头计算预测分数,最后使用损失函数计算损失。

总的来说,UnilmForSeq2Seq模型的主要功能是根据输入的序列生成一个新的序列,并通过计算预测和真实标签之间的损失进行训练。


最后如果您也对AI大模型感兴趣想学习却苦于没有方向👀
小编给自己收藏整理好的学习资料分享出来给大家💖

在这里插入图片描述

👉AI大模型学习路线汇总👈

大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

👉如何学习AI大模型?👈

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
在这里插入图片描述

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
在这里插入图片描述

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
在这里插入图片描述

四、AI大模型商业化落地方案

在这里插入图片描述

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。
请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/436053.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

k8s上安装prometheus

一、下载对应的kube-prometheus源码 github地址&#xff1a;https://github.com/prometheus-operator/kube-prometheus 根据自己的Kubernetes版本下载对应的Kube-prometheus源码。 kubectl version 我的kubernetes的版本为v1.30.3固下载master分支的源码 1&#xff09;进入…

INTO:Web3世界的“价值引力场”

在Web3的宇宙中&#xff0c;一股强大的引力正在重塑整个数字世界的格局。这股引力&#xff0c;来自一个名为INTO的“超级连接器”。作为Web3社交领域的先锋&#xff0c;INTO正在用一种前所未有的方式重构整个产业链的价值体系。它不再满足于单一领域的创新&#xff0c;而是大胆…

[Uninstall] 软件彻底卸载工具的下载及详细安装使用过程(附有下载文件)

一般软件安装的有问题&#xff0c;或者想重新安装其他版本就需要将原来的版本删除干净&#xff0c;但常常删不干净&#xff0c;本文分享一个软件彻底卸载工具&#xff0c;完成彻底卸载软件的工作 下载链接在文末 下载压缩包后解压 &#xff01;&#xff01;安装路径不要有中文…

WebAssembly 为什么能提升性能,怎么使用它 ?

文章目录 简介&#xff1a;起源&#xff1a;前端性能提升历史JIT&#xff08;Just-In-Time&#xff09;编译器(即时编译) 为什么需要WebAssembly&#xff1a;WebAssembly能做什么&#xff1a;经常说WASM的性能高&#xff0c;为什么高&#xff1f;&#xff1f;使用方法:Emscript…

【unity进阶知识3】封装一个事件管理系统

前言 框架的事件系统主要负责高效的方法调用与数据传递&#xff0c;实现各功能之间的解耦&#xff0c;通常在调用某个实例的方法时&#xff0c;必须先获得这个实例的引用或者新实例化一个对象&#xff0c;低耦合度的框架结构希望程序本身不去关注被调用的方法所依托的实例对象…

ST-GCN模型实现花样滑冰动作分类

加入深度实战社区:www.zzgcz.com&#xff0c;免费学习所有深度学习实战项目。 1. 项目简介 本项目实现了A042-ST-GCN模型&#xff0c;用于对花样滑冰动作进行分类。花样滑冰作为一项融合了舞蹈与竞技的运动&#xff0c;其复杂的动作结构和多变的运动轨迹使得动作识别成为一个具…

Android入门

下载Android studio&#xff0c;创建第一个项目 模板可以选择empty views Activity 在这个界面可以修改&#xff0c;使用语言&#xff0c;项目名字&#xff0c;存储路径以及适用版本 完成后&#xff0c;得到一个最初始的Android 项目&#xff0c;红色标记的两个文件&#xf…

利用Puppeteer-Har记录与分析网页抓取中的性能数据

引言 在现代网页抓取中&#xff0c;性能数据的记录与分析是优化抓取效率和质量的重要环节。本文将介绍如何利用Puppeteer-Har工具记录与分析网页抓取中的性能数据&#xff0c;并通过实例展示如何实现这一过程。 Puppeteer-Har简介 Puppeteer是一个Node.js库&#xff0c;提供…

Xcode报错:The request was denied by service delegate (SBMainWorkspace)

Xcode报错&#xff1a;The request was denied by service delegate (SBMainWorkspace) 造成的原因: &#xff08;1&#xff09;新的M2芯片的Mac电脑 (2) 此电脑首次安装启动Xcode的应用程序 (3&#xff09;此电脑未安装Rosetta 解决方法: &#xff08;1&#xff09;打开终端…

深度学习之贝叶斯分类器

贝叶斯分类器 1 图解极大似然估计 极大似然估计的原理&#xff0c;用一张图片来说明&#xff0c;如下图所示&#xff1a; ​ 例&#xff1a;有两个外形完全相同的箱子&#xff0c;1号箱有99只白球&#xff0c;1只黑球&#xff1b;2号箱有1只白球&#xff0c;99只黑球。在一次…

9_25_对话框

QColorDialog&#xff08;调色板对话框&#xff09; void MainWindow::on_pushButton_clicked() { // //创建一个调色板对话框 // QColorDialog* dialog new QColorDialog(this); // //设置调色板对话框的初始值,不调整默认是白色 // dialog->setCurrentColor(…

华大HC32F448的FreeRTOS移植

为什么要移植FreeRTOS? 目前的程序只是前后台查询方式的架构&#xff0c;有些场合更适用FreeRTOS(免费使用)。 下载地址&#xff1a; 下载 FreeRTOS - FreeRTOS™ 相关知识入门&#xff1a; FreeRTOS™ - FreeRTOS™ &#xff08;网址&#xff09; FreeRTOSv9.0.0文件夹…

SysML图例-悬架作动器(Suspension Aactuator)

DDD领域驱动设计批评文集>> 《软件方法》强化自测题集>> 《软件方法》各章合集>>

Java 如何从图片上提取文字

生活中我们可能会遇到想从图片上直接复制上边的文字&#xff0c;该如何获取呢&#xff0c;接下来看看如何使用Java程序实现从图片中读取文字。 实现过程 1、引入Tess4J 依赖 <!--Tess4J 依赖--> <dependency><groupId>net.sourceforge.tess4j</groupId…

Java基础——十二、容器

十二、容器 在Java中&#xff0c;容器(也称为集合)是处理数据集合的核心组件。深入理解Java容器对于处理大规模数据、提高代码效率和编写高性能程序至关重要。Java中提供了许多容器类&#xff0c;这些类位于java.util包中&#xff0c;分为两类&#xff1a;Collection和Map。 …

itc保伦股份智慧高校整体解决方案推动教育强国、科技强国、人才强国建设!

党的二十大报告指出&#xff0c;要“统筹职业教育、高等教育、继续教育协同创新&#xff0c;推进职普融通、产教融合、科教融汇&#xff0c;优化职业教育类型定位”。itc积极响应高校人才培养相关政策要求&#xff0c;基于互联网、物联网、大数据、AI等技术&#xff0c;面向老师…

2024/9/30 英语每日一段

The British Academy has created three high-profile awards to sit alongside the trophies it hands out to adult television shows--going some way, it is hoped, to replace Bafta’s abandoned children’s TV awards event. “Children’s programme-making has been …

2024重生之回溯数据结构与算法系列学习(10)【无论是王道考研人还是IKUN都能包会的;不然别给我家鸽鸽丢脸好嘛?】

欢迎各位彦祖与热巴畅游本人专栏与博客 你的三连是我最大的动力 以下图片仅代表专栏特色 专栏跑道一 ➡️ MYSQL REDIS Advance operation 专栏跑道二➡️ 24 Network Security -LJS ​ ​ ​ 专栏跑道三 ➡️HCIP&#xff1b;H3C-SE;CCIP——LJS[华为、华三、思科高级网络]…

雷池 WAF 如何配置才能正确获取到源 IP

经常有大哥反馈说雷池攻击日志里显示的 IP 有问题。 这里我来讲一下为什么一些情况下雷池显示的攻击 IP 会有问题。 问题说明 默认情况下&#xff0c;雷池会通过 HTTP 连接的 Socket 套接字读取客户端 IP。在雷池作为最外层网管设备的时候这没有问题&#xff0c;雷池获取到的…

搭建高效知识库:教培机构数字教学的关键一步

在数字化时代&#xff0c;教育培训行业正经历着前所未有的变革。随着在线教育的兴起和个性化学习需求的增长&#xff0c;构建一个高效、易用的知识库已成为教培机构提升教学质量、优化学习体验、增强竞争力的关键一步。本文将深入探讨构建高效知识库的重要性&#xff0c;以及如…