Py之transformers_stream_generator:transformers_stream_generator的简介、安装、使用方法之详细攻略
目录
transformers_stream_generator的简介
1、Web Demo
T1、original
T2、stream
transformers_stream_generator的安装
transformers_stream_generator的使用方法
1、基础用法
2、进阶用法
(1)、通过gpt2运行Python脚本示例
(2)、通过gpt2运行Web示例,并在客户端示例中进行测试
transformers_stream_generator的简介
transformers_stream_generator是一种文本生成方法,它返回一个生成器,根据Huggingface/Transformers,在推理过程中以实时方式流式输出每个标记。
GitHub地址:GitHub - LowinLi/transformers-stream-generator: This is a text generation method which returns a generator, streaming out each token in real-time during inference, based on Huggingface/Transformers.
1、Web Demo
T1、original
T2、stream
transformers_stream_generator的安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers_stream_generator
transformers_stream_generator的使用方法
1、基础用法
# 只需在您的原始代码之前添加两行代码
from transformers_stream_generator import init_stream_support
init_stream_support()# 在model.generate函数中添加do_stream=True,保持do_sample=True,然后您就可以获得一个生成器
generator = model.generate(input_ids, do_stream=True, do_sample=True)
for token in generator:word = tokenizer.decode(token)print(word)
2、进阶用法
(1)、通过gpt2运行Python脚本示例
代码地址:https://github.com/LowinLi/transformers-stream-generator/blob/main/example/run.py
(2)、通过gpt2运行Web示例,并在客户端示例中进行测试
代码地址:https://github.com/LowinLi/transformers-stream-generator/blob/main/example/run_web.py