ChatGLM模型部署分享

 

 

 

ChatGPT云炬学长

​关注

先看结果:

v2-c9edf1c20e7503a5dd086abbeb577b04_1440w.webp

 

部署问题:显卡太小无法加载使用,期间也换了N个显卡,太穷了!>-<

模型描述:

清华开源项目ChatGLM-6B发布。这一项目可以直接部署在本地计算机上,无需联网即可让你体会AI聊天的乐趣。

据官方介绍,ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGLM 相同的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

过程如下:

第一步:安装Python

此步骤就不细谈了,具体安装步骤请看如下文章

初入Python,不得不做的事

第二步:下载chatglm模型包

下载地址:huggingface.co/THUDM/chatglm-6b/tree/main

将所有文件下载到本地,超过1GB的模型文件如果觉得下的慢可以访问cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/,将所有下载的文件放在 chatglm-6b 目录下。

第三步:下载程序包

下载地址:github.com/THUDM/ChatGLM-6B

将第二步下载的模型包放在 ChatGLM-6B-main 目录下

第四步:下载依赖模块

进入 ChatGLM-6B-main 目录,在上方地址栏输入cmd,打开控制台命令行,分别输入以下命令 pip install -r requirements.txt 和 pip install gradio 安装所有需要的依赖包,安装完成后运行web_demo.py,然后复制图中红框中的内容到浏览器即可使用

注意

1、如果出现报错 Could not find module 'nvcuda.dll' 或者 RuntimeError: Unknown platform: darwin (MacOS) ,请打开并编辑 web_demo.py 文件,将所有的 THUDM/chatglm-6b 替换成 chatglm-6b。

2、该项目默认使用显卡FP16模式运行,此模式需要12G以上的显卡才能正常运行,所以需要手动修改其中的代码

编辑于 2023-05-21 19:56・IP 属地辽宁

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/55409.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

UE5引擎入门,第一周总结:简单的旋转魔方小项目

基础知识总结 蓝图节点 1.蓝图中的节点是封装好的函数。这些函数功能强大&#xff0c;但由于数目繁多且内部实现不明&#xff08;注&#xff1a;可能是开发环境问题&#xff0c;转到C代码这一步永远无法执行&#xff09;&#xff0c;总会出现一些不明所以的bug&#xff08;比…

PS学习记录-矢量图和位图

目录 概念说明 矢量图 位图 常见的格式类型 矢量图文件格式举例&#xff1a; 位图&#xff08;标量图&#xff09;文件格式举例&#xff1a; 两种图片的适用范围 两种图片的核心差异 1、缩放保真 2、色彩不同 3、格式 4、常用绘图工具 5、占用空间 6、转化 概念说…

Unity中使用矢量图SVG

1.打开PackageManager 2.点击左上角的号&#xff0c;Add package from git URL 3.输入&#xff1a;com.unity.vectorgraphics 免费下SVG测试地址&#xff1a;https://undraw.co/illustrations

ArcMap将png图像矢量化

一、将png图像转成灰度图 图像为语义分割模型生成的二值索引图像&#xff0c;直接用cv2的灰度读取图像模式&#xff0c;然后再另存。 二、配准 首先在ArcGis中加载带有空间坐标的图像&#xff0c;这里选择的是测试图像对应的。&#xff08;加载图像可以直接拉着拖进来&#…

Android开发中使用矢量图

本文我们将介绍一些关于Android矢量图的相关知识点。最新的项目中要求以矢量图替代传统的.png资源文件&#xff0c;所以特意学习了一下Android中的矢量图相关概念&#xff0c;不得不说矢量图还是一个比较好的适配方案。Android从Android5.0开始引入了对矢量图的支持&#xff0c…

Android使用svg矢量图

可缩放矢量图形,SVG不会像位图一样因为缩放而让图片质量下降。 优点&#xff1a;节约空间与内存&#xff0c;常用于简单小图标 SVG 使用 XML 格式定义图形&#xff0c;标准svg根节点为<svg> 在Android中通过Vector实现对svg的支持&#xff0c;根节点为<vector>。 …

位图和矢量图转换工具推荐

相信做平面设计的大家&#xff0c;都遇到过素材是位图放大后不清晰的情况&#xff0c;十分影响设计的美观。而矢量图是根据几何特性来绘制图形&#xff0c;放大后图像不会失真。所以这篇文章教大家位图转矢量图。 一、使用CorelDRAW CorelDRAW是一款专业的平面设计软件,专注于…

将图片快速转换为矢量地图-半自动地图矢量化工具raster_tracer的使用方法

最近需要根据一幅jpeg地图绘制矢量地图&#xff0c;如果一点一点绘制太麻烦&#xff0c;又不想装庞大的arcgis用arcscan处理&#xff0c;查了些资料&#xff0c;发现深度学习在这方面也没啥进展。最后查到了QGIS有一款半自动地图矢量化工具raster_tracer可以解决这个问题&#…

关于 draw.io 矢量图 SVG 导出的研究

draw.io 是一个简单易用的图表 (diagram) 绘制工具 1, 可以用作一个简单的矢量图绘制工具, 画一些简单的图标或者流程图等等都很适合. 虽然好用, 但是在导出 *.drawio 文件为其他格式时, 大多数时候都需要额外注意. 导出设计时会遇到的问题及原因 对于 PNG 导出, 默认的设置…

【GlobalMapper精品教程】043:图片自动矢量化

本文讲解Globalmapper自动矢量化教程,配套案例数据。 参考教程:ArcGIS实验教程——实验三十三:ArcScan自动矢量化完整案例教程 文章目录 一、加载实验数据二、启动矢量化工具三、矢量化栅格四、矢量化结果五、注意事项一、加载实验数据 打开配套实验数据包中的data043.rar…

C#代码实现矢量画图

要实现C#代码画矢量图&#xff0c;其基本原理是先创建一个容器作为画板&#xff0c;然后创建Line(直线)、PolyLine(多段线)、Rectangle(矩形)或者Ellipse(椭圆)基本绘图对象生成各种矢量图形&#xff0c;最后把这些图形对象添加到画板中即可&#xff0c;一般用Canvas容器作为画…

matplotlib绘图并导出eps矢量图和svg矢量图

matplotlib导出矢量图并解决中文无法正常显示问题 做仿真经常需要输出各种矢量图用于论文插图&#xff0c;下面展示了导出eps矢量图和svg矢量图的方法&#xff1a; import numpy as np import matplotlib.pyplot as pltplt.rcParams[font.sans-serif] [SimHei] # 用来正常显…

知识库AI机器人客服(基于ChatGPT3.5)对接-唯一客服系统文档中心

此功能是利用chatgpt训练企业知识开发个性化客服系统&#xff0c;可以上传自有数据&#xff0c;基于向量数据库与OpenAI Embedding&#xff0c;以及OpenAI chat/completions接口&#xff0c;实现的基于自建知识库的ChatGPT AI客服功能 管理员创建集合 向量数据库集合&#xff0…

Lazada跨境卖家必备的精细化运营工具Ushop BI的智能化选品功能

东南亚跨境电商市场的不断发展壮大&#xff0c;使得东南亚市场成为了许多跨境商家的掘金圣地&#xff0c;而Lazada作为东南亚市场的两大跨境电商平台之一&#xff0c;其发展潜力是不容小觑的&#xff0c;许多商家入驻Lazada平台是希望可以在这里将店铺做大做好&#xff0c;那俗…

跨境电商选品重要吗?

选品很重要&#xff01; 跨境电子商务选择的核心要求&#xff1a;优质商品&#xff0c;价格优势&#xff0c;符合跨境销售特点&#xff0c;满足目标海外市场需求&#xff0c;突出自身特色竞争优势。 跨境电商是如何选择产品的&#xff1f; 这个问题也很流行&#xff0c;应该考虑…

注册kaggle帐号及kaggle绑定手机收不到验证码的问题

由于自己在这上面折腾了不少时间&#xff0c;故写下这篇博客&#xff0c;希望对大家有用。 一、注册kaggle帐号 点击进入kaggle网站 kaggle网站 1.点击sign in 2.如果有雅虎、google、facebook账户的话&#xff0c;是可以直接登录的。如果没有这些账户&#xff0c;就点击Reg…

解决新用户注册Kaggle无法显示验证码的问题

解决新用户注册Kaggle无法显示验证码的问题 老板近期要求做一个比赛&#xff0c;需要注册Kaggle账户&#xff0c;但是在注册界面会无法出现人机验证&#xff0c;在这里记录一下解决的过程&#xff1a; 1.注册无法验证 2.尝试插件解决 为了解决这个问题&#xff0c;我参考了很…

手机验证码接收注册新账户

在写注册的时候想使用手机号进行验证&#xff0c;用来保证用户的安全性操作&#xff0c;因为以前使用的是邮箱验证&#xff0c;太麻烦了。所以在网上找到了一个比较好的第三方提供短信送达服务&#xff0c;有的还需要企业用户认证&#xff0c;这里我选择的是网易云的短信服务。…

我看CHATGPT: 为啥谷歌掉了千亿美金

两个月前&#xff0c;我试着想用 ChatGPT 帮我写篇文章《eBPF 介绍》&#xff0c;结果错误百出&#xff0c;导致我又要从头改一遍&#xff0c;从那天我觉得 ChatGPT 生成的内容完全不靠谱&#xff0c;所以&#xff0c;从那天开始我说我不会再用 ChatGPT 来写文章&#xff08;这…

chat聊天程序

服务端: package cs;import javax.swing.*; import java.awt.*; import java.awt.event.ActionEvent; import java.awt.event.ActionListener; import java.awt.event.KeyEvent; import java.awt.event.KeyListener; import java.io.*; import java.net.ServerSocket; import …