LLM推理部署（四）：一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台FastChat

       FastChat是用于对话机器人模型训练、部署、评估的开放平台。体验地址为：https://chat.lmsys.org/，该体验平台主要是为了收集人类的真实反馈，目前已经支持30多种大模型，已经收到500万的请求，收集了10万调人类对比大模型的数据，可以在排行榜（https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard）进行查看。

FastChat核心特性包括：

  • 提供了SOTA模型（比如Vicuna，FastChat-T5）的模型权重，训练代码，评估代码；
  • 分布式多模型部署系统，自带Web UI和OpenAI兼容的RESTful APIs。

一、FastChat安装

方法一：pip安装

pip3 install "fschat[model_worker,webui]"

方法二：源码安装

Step1 克隆源码并切换到对应的目录下

git clone https://github.com/lm-sys/FastChat.gitcd FastChat

如果是mac，还需要执行如下代码

brew install rust cmake

Step2 安装相关的包​​​​​​​

pip3 install --upgrade pip  # enable PEP 660 supportpip3 install -e ".[model_worker,webui]"

二、FastChat聊天应用

下面展示一下不同模型以及不同大小启用聊天功能

Vicuna模型

模型大小聊天命令Hugging Face 
7Bpython3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5lmsys/vicuna-7b-v1.5
7B-16kpython3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5-16klmsys/vicuna-7b-v1.5-16k
13Bpython3 -m fastchat.serve.cli --model-path lmsys/vicuna-13b-v1.5lmsys/vicuna-13b-v1.5
13B-16kpython3 -m fastchat.serve.cli --model-path lmsys/vicuna-13b-v1.5-16klmsys/vicuna-13b-v1.5-16k
33Bpython3 -m fastchat.serve.cli --model-path lmsys/vicuna-33b-v1.3lmsys/vicuna-33b-v1.3

PS：对于16k模型，需要transformers>=4.31。

LongChat

模型大小聊天命令Hugging Face
7Bpython3 -m fastchat.serve.cli --model-path lmsys/longchat-7b-32k-v1.5lmsys/longchat-7b-32k

FastChat-T5

模型大小聊天命令Hugging Face
3Bpython3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0lmsys/fastchat-t5-3b-v1.0

三、FastChat使用命令行进行推理

图片

PS：可以使用 --style rich 来启用富文本输出，提高某些非 ASCII 内容的文本流传输质量。在某些终端上可能无法正常工作。

支持的模型

      支持的模型有LLama 2, Vicuna, Alpaca, Baize, ChatGLM, Dolly, Falcon, FastChat-T5, GPT4ALL, Guanaco, MTP, OpenAssistant, OpenChat, RedPajama, StableLM, WizardLM等。查看支持的全部模型和如何添加新模型可以参考：https://github.com/lm-sys/FastChat/blob/main/docs/model_support.md

单GPU

       在单GPU下，执行如下命令：

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5

      对于Vicuna-7B 模型大概需要14G显存，对于Vicuna-13B模型大概需要28G显存，如果显存不够，可以参考：https://github.com/lm-sys/FastChat#not-enough-memory

多GPU

       支持多GPU并行推理，命令如下：

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --num-gpus 2

       有时候”auto“策略在huggingface/transformers不能在多GPU间平衡，因此最好增加参数”--max-gpu-memory“，该参数可以指定每个gpu用于存储模型权重的最大内存。这允许它为激活分配更多的内存，因此可以使用更长的上下文长度或更大的批处理大小。最好的命令是：

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --num-gpus 2 --max-gpu-memory 8GiB

仅CPU

      在单CPU下，执行如下命令：

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device cpu

      对于Vicuna-7B 模型大概需要30G内存，对于Vicuna-13B模型大概需要60G内存。

        如果使用AVX512_BF16/AMX加速CPU推理，命令如下：

CPU_ISA=amx python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device cpu

Metal Backend (带苹果Silicon 或AMD GPU的Mac电脑)

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device mps --load-8bit

       参数”--device mps“在torch>2.0情况下，可以加速mac GPU运算；参数”--load-8bit“可以量化为int8。Vicuna-7B在32GB内存的M1 Mac电脑 上推理时，每秒会生成1 - 2个词。

Intel XPU（Intel Data Center和Arc A-Series GPU）

    安装Intel Extension for PyTorch（https://intel.github.io/intel-extension-for-pytorch/xpu/latest/tutorials/installation.html）。设置OneAPI环境变量：

source /opt/intel/oneapi/setvars.sh

使用 --device xpu 启用XPU/GPU加速。

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.3 --device xpu

Vicuna-7B 可以在Intel Arc A770 16GB上运行。

显存不足

       对于显存不够的情况，可以参考量化或者offload策略来部分解决，比如在命令行加入参数”--load-8bit“或者”--cpu-offloading“

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --load-8bit

四、FastChat使用WEB GUI进行推理

图片

       使用web UI提供服务，需要三个主要组件：与用户接口的web服务器、托管一个或多个模型的模型worker，以及协调web服务器和模型worker的controller。更多信息可以参考：https://github.com/lm-sys/FastChat/blob/main/docs/server_arch.md

启动controller

python3 -m fastchat.serve.controller

启动模型worker

python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.5

       启动成功后，会看到"Uvicorn running on ..."，也可以通过如下命令来测试模型worker是否正确连接controller

python3 -m fastchat.serve.test_message --model-name vicuna-7b-v1.5

启动Gradio Web服务器

python3 -m fastchat.serve.gradio_web_server

五、FastChat模型评估

      FastChat使用多轮开放式问题来评估模型。为了实现评估过程的自动化，建议采用像GPT-4这样的强大LLM评估模型的回复（https://github.com/lm-sys/FastChat/blob/main/fastchat/llm_judge）。

具体步骤如下：

  1. 从不同的模型生成回答：使用 qa_baseline_gpt35.py 获取ChatGPT的回答，或者指定模型检查点并运行 get_model_answer.py 获取 Vicuna 和其他模型的回答；

  2. 使用 GPT-4 生成评论：使用 GPT-4 自动生成评论。如果您无法使用 GPT-4 API，则可以手动执行此步骤；

  3. 生成可视化数据：运行 generate_webpage_data_from_table.py 生成静态网站的数据，以便您可以可视化评估数据；

  4. 可视化数据：在 webpage 目录下提供一个静态网站。您可以使用 python3 -m http.server 在本地提供网站服务。

数据格式和贡献

      采用JSON Lines 编码的数据格式进行评估，该格式包括有关模型、提示、评论者、问题、回答和评论的信息。

六、FastChat模型微调

6.1 数据

       Vicuna 是通过使用从 ShareGPT.com 上收集的约 7 万个用户共享对话使用 LLaMA 基础模型进行微调而创建的，使用了公共的 API。为了确保数据质量，将 HTML 转换回 Markdown，并过滤掉一些不适当或低质量的样本。此外，将较长的对话分割成适合模型最大上下文长度的较小段落（https://github.com/lm-sys/FastChat/blob/main/docs/commands/data_cleaning.md）。

      目前可能不会发布 ShareGPT 数据集，如果想尝试微调代码，可以使用 dummy_conversation.json（https://github.com/lm-sys/FastChat/blob/main/data/dummy_conversation.json）中的一些虚拟对话来运行它，可以按照相同的格式插入自己的数据。

6.2 代码和超参数

HyperparameterGlobal Batch SizeLearning rateEpochsMax lengthWeight decay
Vicuna-13B1282e-5320480

6.3 使用本地GPU微调Vicuna-7B模型

pip3 install -e ".[train]"

使用以下命令使用 4 个 A100 (40GB) 对 Vicuna-7B 进行训练​​​​​​​

torchrun --nproc_per_node=4 --master_port=20001 fastchat/train/train_mem.py \    --model_name_or_path meta-llama/Llama-2-7b-hf \    --data_path data/dummy_conversation.json \    --bf16 True \    --output_dir output_vicuna \    --num_train_epochs 3 \    --per_device_train_batch_size 2 \    --per_device_eval_batch_size 2 \    --gradient_accumulation_steps 16 \    --evaluation_strategy "no" \    --save_strategy "steps" \    --save_steps 1200 \    --save_total_limit 10 \    --learning_rate 2e-5 \    --weight_decay 0. \    --warmup_ratio 0.03 \    --lr_scheduler_type "cosine" \    --logging_steps 1 \    --fsdp "full_shard auto_wrap" \    --fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \    --tf32 True \    --model_max_length 2048 \    --gradient_checkpointing True \    --lazy_preprocess True

参考文献：

[1] https://github.com/lm-sys/FastChat

[2] https://github.com/lm-sys/FastChat/blob/main/docs/openai_api.md

[3] https://github.com/lm-sys/FastChat/blob/main/fastchat/serve/huggingface_api.py

[4] https://github.com/lm-sys/FastChat/blob/main/docs/langchain_integration.md

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/211240.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

力扣题:字符的统计-12.2

力扣题:字符的统计-12.2

力扣题-12.2 [力扣刷题攻略] Re：从零开始的力扣刷题生活 力扣题1：423. 从英文中重建数字 解题思想：有的单词通过一个字母就可以确定，依次确定即可 class Solution(object):def originalDigits(self, s):""":typ…
阅读更多...
Linux部署HDFS集群

Linux部署HDFS集群

（一）VMware虚拟机中部署 ps、其中node1、node2、node3替换为自己相应节点的IP地址，或者host文件中配置过的主机名，或者看前置准备 或者查看前置准备：Linux部署HDFS集群前置准备 1.下载压缩包 https://www.apache.or…
阅读更多...
STM32L051使用HAL库操作实例（13）- 读取IAQ-CORE-C传感器实例

STM32L051使用HAL库操作实例（13）- 读取IAQ-CORE-C传感器实例

目录 一、前言 二、传感器参数 三、STM32CubeMX配置（本文使用的STM32CubeMX版本为6.1.2）例程使用模拟I2C进行数据读取 1.MCU选型 2.使能时钟 3.时钟配置 4.GPIO口配置 四、配置STM32CubeMX生成工程文件 五、点击GENERATE CODE生成工程文件 六、…
阅读更多...
IT外包服务内容有哪些？

IT外包服务内容有哪些？

在信息技术迅猛发展的今天，越来越多的企业为了提高效率、降低成本以及更专注于核心业务，选择将信息技术工作外包给专业的IT服务公司。IT外包包含很多不同的服务，以下是对主要服务内容的简要概述。 1. 网络建设与维护 网络是现代企业信息系统…
阅读更多...
同调群的维度 和 同调群的秩

同调群的维度 和 同调群的秩

同调群的维度是指同调群中非零元素的最小阶数。与线性代数中对向量空间的维度的理解类似。对同调群，k维同调群的维度是k。 同调群的秩是指同调群中的自由部分的维度。同调群通常包含自由部分和挠部分。同调群的秩是指同调群中自由部分的维度。对同调群，…
阅读更多...
Hadoop学习笔记（HDP）-Part.14 安装YARN+MR

Hadoop学习笔记（HDP）-Part.14 安装YARN+MR

目录 Part.01 关于HDP Part.02 核心组件原理 Part.03 资源规划 Part.04 基础环境配置 Part.05 Yum源配置 Part.06 安装OracleJDK Part.07 安装MySQL Part.08 部署Ambari集群 Part.09 安装OpenLDAP Part.10 创建集群 Part.11 安装Kerberos Part.12 安装HDFS Part.13 安装Ranger …
阅读更多...
【SpringCloud系列】@FeignClient微服务轻舞者

【SpringCloud系列】@FeignClient微服务轻舞者

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…
阅读更多...
RocketMQ-核心编程模型

RocketMQ-核心编程模型

RocketMQ的消息模型 深入理解RocketMQ的消息模型 RocketMQ客户端基本流程 RocketMQ基于Maven提供了客户端的核心依赖&#xff1a; <dependency><groupId>org.apache.rocketmq</groupId><artifactId>rocketmq-client</artifactId><version&…
阅读更多...
unity学习笔记19

unity学习笔记19

一、角色动画的使用练习 从资源商店导入的动画资源&#xff08;Character Pack: Free Sample&#xff09;中将资源中的角色创建在场景里&#xff0c;现在场景里存在的角色并没有任何动画。 在资源中找到Animations文件夹&#xff0c;在这个文件有很多模型文件&#xff08;.FBX…
阅读更多...
什么牌子的开放式耳机好？开放式耳机选购指南来了!

什么牌子的开放式耳机好？开放式耳机选购指南来了!

在当今音频科技不断演进的时代&#xff0c;开放式耳机作为一种受欢迎的音频设备&#xff0c;吸引着越来越多的消费者&#xff0c;与封闭式耳机相比&#xff0c;开放式耳机在音质表现和舒适度上都具有独特的优势&#xff0c;在众多品牌和型号中选择一款满足个人需求的开放式耳机…
阅读更多...
【UGUI】Unity为下拉菜单添加选项（DropDown）

【UGUI】Unity为下拉菜单添加选项（DropDown）

要想控制谁就把谁拿到代码里-获取组件-修改组件参数&#xff08;变量或者方法&#xff09; 代码示例&#xff1a; using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.UI; using TMPro;public class UIcontrol : MonoBehavi…
阅读更多...
Leetcod面试经典150题刷题记录——数组 / 字符串篇

Leetcod面试经典150题刷题记录——数组 / 字符串篇

数组 / 字符串篇 1. 合并两个有序数组Python3排序法双指针法 2. 移除元素Python3 3. 删除有序数组中的重复元素Python3 7. 买卖股票的最佳时机Python3 8. 买卖股票的最佳时机ⅡPython3贪心法动态规划法 11. H 指数Python3排序法计数排序法二分查找 有个技巧&#xff0c;若想熟悉…
阅读更多...
linux磁盘挂载

linux磁盘挂载

一、磁盘查看与分区挂载 查看未挂载的磁盘 sudo fdisk -l对上述未挂载的磁盘进行分区和格式化 sudo fdisk /dev/sdd输入g生成分区表&#xff0c; mklabel gpt (创建分区表) #与上一步重复了&#xff0c;可以省略 mkpart primary 1 -1 p (输出结果) q (离开菜单)分好区之后可…
阅读更多...
MySQL-视图

MySQL-视图

一、&#xff1f;看一个需求 emp表的列信息很多&#xff0c;有些信息是个人重要信息(比如 sal,comm,mgr,hiredate),如果我们希望某个用户只能查询emp表的(empno、ename,job和deptno)信息,有什么办法? 》视图 二、基本概念 视图 视图是一个虚拟表&#xff0c;其内容由查…
阅读更多...
网络安全缓冲区溢出实验

网络安全缓冲区溢出实验

实验要求实验步骤函数 f00()函数 f01()函数 f02() 实验要求 C 程序 homework08.c 的主函数如下&#xff1a; int main(int argc, char * argv[]) { init_buf(Lbuffer, LEN);switch(argc) {case 1: f00(); break;case 2: f01(); break;case 3: f02(); break; default: f00(); …
阅读更多...
CompletableFuture异步执行

CompletableFuture异步执行

CompletableFuture异步执行 概念 Java 8引入了一个强大的类：CompletableFuture，它在java.util.concurrent包中。CompletableFuture是Future的增强版本，主要用于实现异步编程。 首先，我们要理解什么是Future。Future是Java5引入的一个接口，代表一个异步计算的结果。你可…
阅读更多...
华清远见嵌入式学习——C++——作业6

华清远见嵌入式学习——C++——作业6

作业要求&#xff1a; 代码&#xff1a; #include <iostream>using namespace std;class Animal { public:virtual void perform() 0;};class Lion:public Animal { private:string foods;string feature; public:Lion(){}Lion(string foods,string feature):foods(foo…
阅读更多...
软件设计模式原则（三）单一职责原则

软件设计模式原则（三）单一职责原则

单一职责原则&#xff08;SRP&#xff09;又称单一功能原则。它规定一个类应该只有一个发生变化的原因。所谓职责是指类变化的原因。如果一个类有多于一个的动机被改变&#xff0c;那么这个类就具有多于一个的职责。而单一职责原则就是指一个类或者模块应该有且只有一个改变的原…
阅读更多...
【MySQL】聚合函数和分组（查找）

【MySQL】聚合函数和分组（查找）

聚合函数分组分组聚合如何显示每个部门的平均工资和最高工资显示每个部门的每种岗位的平均工资和最低工资显示平均工资低于2000的部门和它的平均工资(SMITH员工不参与)where 和 having 的区别 聚合函数 函数说明COUNT([DISTINCT] expr)返回查询到的数据的 数量SUM([DISTINCT] …
阅读更多...
三、DVP摄像头调试笔记（图片成像质量微调整，非ISP）

三、DVP摄像头调试笔记（图片成像质量微调整，非ISP）

说明&#xff1a;当前调试仅仅用来测试和熟悉部分摄像头寄存器模式 一、图片成像方向控制&#xff0c;基本每个摄像头都会有上下左右翻转寄存器 正向图片 反向图片 二、设置成像数据成各种颜色&#xff0c;&#xff08;黑白/原彩/黄色等等&#xff09; 在寄存器书册描述中…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023