【ChatGLM3】第三代大语言模型多GPU部署指南

关于ChatGLM3

ChatGLM3是智谱AI与清华大学KEG实验室联合发布的新一代对话预训练模型。在第二代ChatGLM的基础之上，

  • 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。
  • 更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
  • 更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

关于部署前的准备

  • 可以参考两篇文章
    • 如果有GPU资源，可以参考【ChatGLM2-6B】从0到1部署GPU版本
    • 如果只有CPU服务器，可以参考【ChatGLM2-6B】在只有CPU的Linux服务器上进行部署
  • 本文主要针对ChatGLM第三代模型ChatGLM3-6B进行部署，假设你已经成功部署过ChatGLM系列其它版本

ChatGLM3模型开源列表

模型介绍上下文token数
ChatGLM3-6B第三代 ChatGLM 对话模型。ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。8K
ChatGLM3-6B-base第三代ChatGLM基座模型。ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。8K
ChatGLM3-6B-32k第三代ChatGLM长上下文对话模型。在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。32K

本文以ChatGLM3-6B-base为例进行部署，因为作者想体验长文本处理的效果

创建Python虚拟环境

  • conda创建虚拟环境: conda create --name ChatGLM3 python=3.10.6 -y
  • –name 后面ChatGLM3为创建的虚拟环境名称
  • python=之后输入自己想要的python版本
  • -y表示后面的请求全部为yes，这样就不用自己每次手动输入yes了。
  • 激活虚拟环境: conda activate ChatGLM3

下载ChatGLM3代码仓库

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
# 使用 pip 安装依赖
pip install -r requirements.txt

下载模型

使用git命令下载

# 在ChatGLM3目录下创建THUDM，把模型文件放在THUDM目录里面
mkdir THUDM
cd THUDM
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b-32k.git
# 也可以根据自己的需要下载其它模型
#git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b-base.git
#git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

主要是其中的7个模型文件，比较大，下载时间稍长，约12G

  1.4K Dec  6 15:36 config.json2.4K Dec  6 15:36 configuration_chatglm.py40 Dec  6 15:36 configuration.json55K Dec  6 15:36 modeling_chatglm.py4.1K Dec  6 15:36 MODEL_LICENSE1.8G Dec  6 15:38 pytorch_model-00001-of-00007.bin1.9G Dec  6 15:41 pytorch_model-00002-of-00007.bin1.8G Dec  6 15:44 pytorch_model-00003-of-00007.bin1.7G Dec  6 15:47 pytorch_model-00004-of-00007.bin1.9G Dec  6 15:50 pytorch_model-00005-of-00007.bin1.8G Dec  6 15:52 pytorch_model-00006-of-00007.bin1005M Dec  6 15:54 pytorch_model-00007-of-00007.bin20K Dec  6 15:54 pytorch_model.bin.index.json15K Dec  6 15:54 quantization.py5.0K Dec  6 15:36 README.md12K Dec  6 15:54 tokenization_chatglm.py244 Dec  6 15:54 tokenizer_config.json995K Dec  6 15:54 tokenizer.model

修改脚本

分别以web端浏览器访问和API访问两种最常用的场景进行脚本修改

浏览器访问脚本修改

  • 复制一份web_demo2.py到ChatGLM3目录
cp basic_demo/web_demo2.py ./web_demo2_32k.py
  • 修改MODEL_PATH路径
# 尽量使用绝对路径，这样可以避从Huggingface下载模型
MODEL_PATH = os.environ.get('MODEL_PATH', '/ChatGLM3/THUDM/chatglm3-6b-32k')
  • 使用2个GPU加载模型
@st.cache_resource
def get_model():tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True)# if 'cuda' in DEVICE:  # AMD, NVIDIA GPU can use Half Precision#     model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True).to(DEVICE).eval()# else:  # CPU, Intel GPU and other GPU can use Float16 Precision Only#     model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True).float().to(DEVICE).eval()# 多显卡支持,使用下面两行代替上面一行,将num_gpus改为你实际的显卡数量import syssys.path.append('./openai_api_demo')from utils import load_model_on_gpusmodel = load_model_on_gpus(MODEL_PATH, num_gpus=2)return tokenizer, model
  • 修改默认最大token数
# 设置max_length、top_p和temperature
max_length = st.sidebar.slider("max_length", 0, 32768, 32768, step=1)
  • 启动大模型服务
# 后台方式运行，退出终端后服务不会停止运行
nohup streamlit run web_demo2_32k.py &
  • 浏览器访问效果截图
    在这里插入图片描述

在这里插入图片描述

API访问脚本修改

  • 复制一份openai_api_demo/openai_api.py到ChatGLM3目录
cp openai_api_demo/openai_api.py ./openai_api_32k.py
  • 修改导入包路径
import sys
sys.path.append('./openai_api_demo')
from utils import process_response, generate_chatglm3, generate_stream_chatglm3
  • 修改MODEL_PATH路径
# 尽量使用绝对路径，这样可以避从Huggingface下载模型
MODEL_PATH = os.environ.get('MODEL_PATH', '/ChatGLM3/THUDM/chatglm3-6b-32k')
  • 使用2个GPU加载模型
if __name__ == "__main__":tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True)if 'cuda' in DEVICE:  # AMD, NVIDIA GPU can use Half Precision#model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True).to(DEVICE).eval()# Multi-GPU support, use the following two lines instead of the above line, num gpus to your actual number of graphics cardsimport syssys.path.append('./openai_api_demo')from utils import load_model_on_gpusmodel = load_model_on_gpus(MODEL_PATH, num_gpus=2)else:  # CPU, Intel GPU and other GPU can use Float16 Precision Onlymodel = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True).float().to(DEVICE).eval()uvicorn.run(app, host='0.0.0.0', port=8000, workers=1)
  • 启动大模型服务
# 后台方式运行，退出终端后服务不会停止运行
nohup python openai_api_32k.py &
  • API访问测试
curl -X POST "http://127.0.0.1:8000/v1/chat/completions" \
-H "Content-Type: application/json" \
-d "{\"model\": \"chatglm3-6b\", \"messages\": [{\"role\": \"system\", \"content\": \"You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user's instructions carefully. Respond using markdown.\"}, {\"role\": \"user\", \"content\": \"你好，给我讲一个故事，大概100字\"}], \"stream\": false, \"max_tokens\": 100, \"temperature\": 0.8, \"top_p\": 0.8}"

大模型响应示例

{"model":"chatglm3-6b","object":"chat.completion","choices":[{"index":0,"message":{"role":"assistant","content":"有一天，在一个遥远的王国里，有一个勇敢的年轻人名叫杰克。他听说王国里有一座神秘的城堡，里面藏着传说中的宝藏。于是，杰克带着他的忠实伙伴——一只忠诚的狗一起踏上了寻找宝藏的旅程。\n\n他们跋山涉水，历经千辛万苦，终于来到了那座城堡。城堡的大门紧闭，门前还有一条恶龙在守护着。杰克并没有退缩，他知道这是他实现梦想的机会。","name":null,"function_call":null},"finish_reason":"stop"}],"created":1702003224,"usage":{"prompt_tokens":54,"total_tokens":154,"completion_tokens":100}}

总结

  • 经过测试对比，ChatGLM3比ChatGLM2强大了很多很多，可以在一定程度上满足商用
  • ChatGLM系列大模型的迭代速度还是比较快的，可以感受到研究人员的努力
  • 一款优秀的具有自主知识产权的国产大模型，数据安全有保障，有活跃的社区，有越来越丰富的文档资料
  • 希望ChatGLM可以早日超越ChatGPT

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/217979.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

深拷贝、浅拷贝 react的“不可变值”

深拷贝、浅拷贝 react的“不可变值”

知识获取源–晨哥（现实中的人 嘿嘿） react中如果你想让一个值始终不变 或者说其他操作不影响该值 它只是作用初始化的时候 使用了浅拷贝–改变了初始值 会改变初始值(selectList1) 因为使用浅拷贝都指向同一个地址 const selectList1 { title: 大大, …
阅读更多...
SpringBoot之JSON参数,路径参数的详细解析

SpringBoot之JSON参数,路径参数的详细解析

1.6 JSON参数 在学习前端技术时，我们有讲到过JSON，而在前后端进行交互时，如果是比较复杂的参数，前后端通过会使用JSON格式的数据进行传输。 （JSON是开发中最常用的前后端数据交互方式） 我们学习JSON格式参…
阅读更多...
Linux内核介绍

Linux内核介绍

文章目录 Linux内核介绍1. Linux内核的起源和发展历程1.1 起源1.2 发展历程 2. Linux内核的主要特性2.1 多任务处理2.2 多用户2.3 内存管理2.4 网络功能 3. Linux内核的架构3.1 用户空间与内核空间3.2 内核模块 4. Linux内核的疑难技术点解析4.1 进程调度4.2 内存管理 5. Linux…
阅读更多...
YB1161是一款高效同步升压转换器低至1pA的超低静态电流。

YB1161是一款高效同步升压转换器低至1pA的超低静态电流。

简介： YB1161是一款高效同步升压转换器低至1pA的超低静态电流。它能够从低电压源输送至少2W的功率，即。5V输出时为0.4A。它还具有真正的关闭功能在关闭和输出期间断开输入和输出短路条件。这消除了对外部MOSFET及其控制电路，用于断开输入输出…
阅读更多...
HarmonyOS 设备管理开发：USB 服务开发指导

HarmonyOS 设备管理开发：USB 服务开发指导

基本概念 USB 服务是应用访问底层的一种设备抽象概念。开发者根据提供的 USB API，可以获取设备列表、控制设备访问权限、以及与连接的设备进行数据传输、控制命令传输等。 运作机制 USB 服务系统包含 USB API、USB Service、USB HAL。 **图 1 **USB 服务运作机制…
阅读更多...
Java医院信息化建设云HIS系统源码

Java医院信息化建设云HIS系统源码

云HIS提供标准化、信息化、可共享的医疗信息管理系统，实现医患事务管理和临床诊疗管理等标准医疗管理信息系统的功能。优化就医、管理流程，提升患者满意度、基层首诊率，通过信息共享、辅助诊疗等手段，提高基层医生的服务能力构建和…
阅读更多...
基于DICOM标准的医学影像PACS系统源码

基于DICOM标准的医学影像PACS系统源码

基于 DICOM 的 PACS是医学图像归档与通信系统，是实现医学图像自动获取、显示、图像 后处理、传输、存储、查询、检索、写诊断报告、查看成像设备运行状态等功能复合型医学 图像管理系统。 PACS可以为医院其他系统提供医学图像，并能够形成图文并茂的诊断报…
阅读更多...
或许是全网最全的延迟队列

或许是全网最全的延迟队列

什么是延迟队列 作用：用来存储延迟消息延迟消息：生产者发送一个消息给mq，然后mq会经过一段时间（延迟时间），然后在把这个消息发送给消费者 应用场景 预定会议后，需要在预定的时间点前十分钟通…
阅读更多...
什么是数据可视化？数据可视化的优势、方法及示例

什么是数据可视化？数据可视化的优势、方法及示例

前言 在当今的数字时代，数据是企业和组织的命脉，生成的数据量呈指数级增长。这种被称为大数据的海量数据在洞察力和决策方面具有巨大的潜力。然而，如果没有一种有效的方法来分析和理解这些数据，它就会变得毫无意义和难以管理。这就…
阅读更多...
MyBatis--07--启动过程分析、SqlSession安全问题、拦截器

MyBatis--07--启动过程分析、SqlSession安全问题、拦截器

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 谈谈MyBatis的启动过程具体的操作过程如下：实现测试类,并测试SqlSessionFactorySqlSession SqlSession有数据安全问题?在MyBatis中，SqlSess…
阅读更多...
BERT大模型：英语NLP的里程碑

BERT大模型：英语NLP的里程碑

BERT的诞生与重要性 BERT（Bidirectional Encoder Representations from Transformers）大模型标志着自然语言处理（NLP）领域的一个重要转折点。作为首个利用掩蔽语言模型（MLM）在英语语言上进行预训练的模型&…
阅读更多...
深入分析ClassLocader工作机制

深入分析ClassLocader工作机制

文章目录 一、ClassLoader简介1. 概念2. ClassLoader类结构分析 二、ClassLoader的双亲委派机制三、Class文件的加载流程1. 简介2. 加载字节码到内存3. 验证与解析4. 初始化Class对象 四、常见加载类错误分析1. ClassNotFoundException2. NoClassDefFoundError3. UnsatisfiledL…
阅读更多...
RK3568/RV1126/RV1109/RV1106 ISP调试方案

RK3568/RV1126/RV1109/RV1106 ISP调试方案

最近一直在做瑞芯微rv1126的开发，由于项目性质，与camera打的交道比较多，包括图像的采集，ISP处理，图像处理，H.264/H.265编解码等各个方面吧。学到了不少，在学习的过程中，也得到了不少…
阅读更多...
人工智能中的顺序学习：概念、应用和未来方向

人工智能中的顺序学习：概念、应用和未来方向

一、介绍 人工智能 （AI） 中的顺序学习是一个关键研究领域，近年来引起了人们的极大兴趣。它指的是人工智能系统从数据序列中学习的能力，其中数据点的顺序至关重要。本文将探讨人工智能中顺序学习的概念、其重要性、应用、方法、挑战…
阅读更多...
el-table 表格多选(后端接口搜索分页)实现已选中的记忆功能。实现表格数据和已选数据（前端分页）动态同步更新。

el-table 表格多选(后端接口搜索分页)实现已选中的记忆功能。实现表格数据和已选数据（前端分页）动态同步更新。

实现效果：（可拉代码下来看：vue-demo: vueDemo） 左侧表格为点击查询调用接口查询出来的数据，右侧表格为左侧表格所有选择的数据，由前端实现分页。 两个el-table勾选数据联动更新 实现逻辑： el-…
阅读更多...
IDEA 出现问题：Idea-操作多次commit，如何合并为一个并push解决方案

IDEA 出现问题：Idea-操作多次commit，如何合并为一个并push解决方案

❤️作者主页：小虚竹 ❤️作者简介：大家好,我是小虚竹。2022年度博客之星评选TOP 10🏆，Java领域优质创作者🏆，CSDN博客专家🏆，华为云享专家🏆，掘金年度人气作…
阅读更多...
为什么需要分库分表，如何实现？

为什么需要分库分表，如何实现？

本文我们主要讲解“为什么需要分库分表，如何实现”。 在前文中讲到了读写分离，读写分离优化了互联网读多写少场景下的性能问题，考虑一个业务场景，如果读库的数据规模非常大，除了增加多个从库之外，还有其他…
阅读更多...
RabbitMQ插件详解：rabbitmq_web_stomp【RabbitMQ 六】

RabbitMQ插件详解：rabbitmq_web_stomp【RabbitMQ 六】

欢迎来到我的博客，代码的世界里，每一行都是一个故事 《RabbitMQ Web STOMP：打破界限的消息传递之舞》 前言STOMP协议简介STOMP（Simple Text Oriented Messaging Protocol）协议简介STOMP与WebSocket的关系 WebSocket和R…
阅读更多...
学习JVM

学习JVM

java虚拟机 流程：helloworld.java----(javac编译)----helloworld.class-------(java运行)——JVM——机器码JVM功能 *解释和运行 *内存管理 *即时编译（跨平台-慢一点）jit （反复用到的代码 解释保存再内存里面）…
阅读更多...
anolisos8.8安装显卡+CUDA工具+容器运行时支持（containerd/docker）+k8s部署GPU插件

anolisos8.8安装显卡+CUDA工具+容器运行时支持（containerd/docker）+k8s部署GPU插件

anolisos8.8安装显卡及cuda工具 一、目录 1、测试环境 2、安装显卡驱动 3、安装cuda工具 4、配置容器运行时 5、K8S集群安装nvidia插件 二、测试环境 操作系统：Anolis OS 8.8 内核版本：5.10.134-13.an8.x86_64 显卡安装版本：525.147.05 c…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023