【ChatGPT本地部署-- ChatGLM】

这里写自定义目录标题

  • ChatGPT本地部署--- ChatGLM(转载)
    • 一、什么是ChatGLM?
    • 二、本地部署
    • 三、模型与ChatGPT和GPT4AII 效果对比

ChatGPT本地部署— ChatGLM(转载)

目录

一、什么是ChatGLM?

二、本地部署

2.1 模型下载

2.2 模型部署

2.3 模型运行

2.3.1 直接在命令行中输入进行问答

2.3.2 利用 gradio 库生成问答网页

三、模型与ChatGPT和GPT4AII 效果对比

3.1 ChatGLM

3.2 ChatGPT

3.3 GPT4AII

四、总结

一、什么是ChatGLM?

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

二、本地部署

2.1 模型下载
Demo下载地址:

GitHub - ZhangErling/ChatGLM-6B: 提供Windows部署文档的版本 | ChatGLM-6B:开源双语对话语言模型 | An Open Bilingual Dialogue Language Model

2.2 模型部署

  1. 用Pycharm打开项目文件;

  2. 使用 pip 安装依赖:pip install -r requirements.txt,其中 transformers 库版本推荐为 4.27.1,但理论上不低于 4.23.1 即可;

2.3 模型运行
在 …/ChatGLM/ 目录下有两个 demo 代码:

2.3.1 直接在命令行中输入进行问答
(1)修改模型路径。编辑 cli_demo.py 代码,修改 5、6 行的模型文件夹路径,将原始的 “THUDM/ChatGLM-6B” 替换为 “model” 即可。

(2)修改量化版本。如果你的显存大于 14G,则无需量化可以跳过此步骤。如果你的显存只有 6G 或 10G,则需要在第 6 行代码上添加 quantize(4) 或 quantize(8) ,如下:

#6G 显存可以 4 bit 量化
model = AutoModel.from_pretrained(“model”, trust_remote_code=True).half().quantize(4).cuda()# 10G 显存可以 8 bit 量化
model = AutoModel.from_pretrained(“model”, trust_remote_code=True).half().quantize(8).cuda()
(3)运行 cli_demo.py

2.3.2 利用 gradio 库生成问答网页
利用 gradio 库生成问答网页(效果如三中所示)。

(1)安装gradio 库:

pip install gradio
(2)修改模型路径。编辑 cli_demo.py 代码,修改 5、6 行的模型文件夹路径,将原始的 “THUDM/ChatGLM-6B” 替换为 “model” 即可。

(3)修改量化版本。如果你的显存大于 14G,则无需量化可以跳过此步骤。如果你的显存只有 6G 或 10G,则需要在第 5 行代码上添加 quantize(4) 或 quantize(8) ,如下:

6G 显存可以 4 bit 量化
model = AutoModel.from_pretrained(“model”, trust_remote_code=True).half().quantize(4).cuda()# 10G 显存可以 8 bit 量化
model = AutoModel.from_pretrained(“model”, trust_remote_code=True).half().quantize(8).cuda()
(4)运行 web_demo.py

模型加载过程如下图:
在这里插入图片描述

三、模型与ChatGPT和GPT4AII 效果对比

运行完 web_demo.py 结束会自动打开浏览器,显示如下界面,可以进行正常对话,且相应速度非常快。

3.1 ChatGLM
向 ChatGLM 提问:“蒸1个包子需要10分钟,蒸10个包子需要多久?”,回答非常合理。
在这里插入图片描述
3.2 Chatgpt
在这里插入图片描述

3.3 GPT4AII
上一篇博文我们介绍了GPT4ALL,它只能实现英文的对话,用英文提问相关的问题,发现效果不如 ChatGLM 和 ChatGPT 。

四、总结
ChatGLM 方便部署,且对中文的理解能力很好,它的优点是部署完不用联网,不需要账号登录,非常安全,它的缺点是无法增量学习互联网上最新的信息,知识库扩展需要额外增加训练样本。

文章转载自: https://www.rstk.cn/chatgpt/2993.html?action=onClick
后续我也会尝试按照原博主操作进行体验

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/2045.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

跟AI唠嗑,年入33万美金!ChatGPT时代的必备新技能

编|好困 Aeneas源|新智元 AI在我们的生活中,越来越不可或缺。显然,谁能更好地掌握提示工程,就能比别人多掌握一个强大的利器。 ChatGPT的爆火,也让提示工程师的薪水水涨船高。 现在,已经有人拿到…

如何利用ChatGPT搞科研?

这位研究僧,GPT-4都发布了,你还在纯人工搞科研吗? 已经有人实测: ChatGPT科研全流程都能用,尤其是对于 英语非母语的科研人员,可以极大地提高日常科研工作效率。 连写给导师的请假信,都能编得有…

你应该知道的ChatGPT提示语

ChatGPT 自上线以来,凭借其优异的自然语言理解和输出能力,仅花 5天就成为了活跃用户过百万的现象级产品。而上一个现象级产品 instagram 花了 2 个半月。到目前为止 ChatGPT 在全球累计用户数量已经过亿,相信现在也有很多人在跟 ChatGPT 聊过…

真诡异,ChatGPT 竟让知乎股价暴涨

大家好,我是校长。 今天一大早,看到一条新闻:2 月 8 日,知乎涨幅扩大至超 50%,股价创新高,报 34.8 港元。 根据中银国际发表的研究报告所说,ChatGPT 注册用户激增,AIGC 潜力巨大&…

刷榜GitHub!中科院学术科研专用版 ChatGPT开源了!斩获24K star。。论文润色、语法检查,一键搞定!...

最近,一位开发者在GitHub上开源的「科研工作专用ChatGPT」项目大受好评。论文润色、语法检查、中英互译、代码解释等等一键搞定。这个项目就是「中科院学术专业版 ChatGPT」。 自从ChatGPT发布之后,各路大神都开始研究如何把它加入到自己的「科研工作流」…

【ChatGPT进阶】如何使用ChatGPT做知乎好物?

如果你想通过知乎赚钱,知乎好物是一个不错的选择,门槛很低,而且是一个可以长期“躺赚”的项目,如果你会ChatGPT的话,可以去卷同行。 知乎好物是什么? 知乎好物是一种在知乎平台上创作内容或回答问题时&am…

干货|如何更好地使用ChatGPT,请从与它的第一句对话开始

ChatGPT是一个强大的人工智能助手,它可以提供各种问题的解答和建议。因此,在使用ChatGPT时,了解如何向它提问、如何与它互动以及如何获得最有价值的回答变得尤为重要。本文旨在为您介绍如何较好地开启与它的第一句对话,以更好地探…

ChatGPT帮我写了个方案

文章目录 ChatGPT会不会导致程序员失业2023年做什么生意赚钱Java开发面试自我介绍 废话不多说,先看录屏 体验后我惊呆了,一时不知如何形容这该死的功能 然后我又问了大家都在讨论的的问题 ChatGPT会不会导致程序员失业 失业倒不至于,但是像…

知乎精选 | ChatGPT与数学优化

来源:运筹or帷幄‍‍‍ 本文约2200字,建议阅读9分钟 ChatGPT的准确性和速度以及处理复杂任务的能力使其成为一种非常有用的工具。 作者信息:宋志刚,中国科学院大学物理学博士 一、引言 ChatGPT是一个由OpenAI训练的大型语言生成模…

小孩都能学明白ChatGPT的AI读物,给你们看一眼,就一眼

衡宇 发自 凹非寺量子位 | 公众号 QbitAI 小区底层面馆旁新开了家幼儿ChatGPT培训班。ChatGPT的火热,又拱起了一波关于AI学习的焦虑。 AI 2.0时代,不想掉队的人,不只自己狠狠恶补,还从AI Native的娃娃开始抓起。 不妨一起以小见大…

ChatGPT专业应用:批量生成知乎回答

正文共 930字,阅读大约需要 7 分钟 数字/内容营销市场人群必备技巧,您将在7分钟后获得以下超能力: 1.批量生成知乎答案 2.多元化产出内容 Beezy评级 :B级 *经过简单的寻找, 大部分人能立刻掌握。主要节省时间。 推荐…

如何让ChatGPT写出更符合知乎调性的文章

文 / 韩彬(微信公众号:量子论) 很多朋友疑问,怎么起的”量子论”这个不伦不类的名字。 这背后的故事,有必要做个解释。 最早时候,我们想起个与ChatGPT有关的名字,比如“ChatGPT学习指南”、“Ch…

作为NLP算法,最近被ChatGPT刷屏后的心路历程

Datawhale干货 作者:刘聪NLP,中国药科大学,来源:李rumor 作者:刘聪NLP(知乎同名)原文链接:https://zhuanlan.zhihu.com/p/605331104 卷友们好,我是刘聪。 作为一个NLP工…

ChatGPT助力校招----面试问题分享(五)

1 ChatGPT每日一题:简述SPI通信协议 问题:简述SPI通信协议 ChatGPT:SPI通信协议是一种同步的串行通信协议,主要用于在微控制器、传感器、存储器等器件之间进行数据传输。SPI通信协议的基本结构包括一个主设备和一个或多个从设备…

ChatGPT助力校招----面试问题分享(二)

1 ChatGPT每日一题:DC-DC与LDO的区别 问题:介绍一下DC-DC与LDO的区别 ChatGPT:DC-DC和LDO都是电源管理电路,它们的主要作用是将输入电压转换为所需的输出电压,以供电子设备使用。但是,它们之间存在一些重…

当我把chatGPT作为Java面试官,它问了我这些问题

向chatGPT提问 面试官:你好,欢迎参加我们的Java面试。请先自我介绍一下。 面试者:非常感谢,我是一名资深Java开发工程师,具有丰富的Java开发经验。我在过去的五年里,主要从事了企业级Java应用的设计、开发…

当我用ChatGPT面试项目经理,真有趣

早上好,我是老原。 上周chatGPT4正式发布,又掀起了一股热潮。 百度也不甘落后,文心一言紧随其后,虽然并没有激起太大的浪花,但不妨碍打工人们的“饭碗焦虑“也变得越来越大。 尤其是当越来越多的人亲自体验了GPT后&…

我让chatGPT给出一份SAP面试题,看完面试题后,我要求chatGPT给出面试题的答案

序言 ChatGPT是由OpenAI开发的一个人工智能聊天机器人程序,于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。与其他多数聊天机器人不同的是,ChatGPT能够记住与用户之前的对话内容和给它的提示。 这些时日&#xff0…

我面试了 ChatGPT 的 PM (产品经理)岗位,它几乎得到了这份工作!!!

如何检测人工智能自信但肤浅的答案? How to detect the AI’s confident but shallow answers? 我面试过很多产品经理候选人,其中一种常规面试形式(在 PM 面试循环中非常标准)是产品Sense面试。受到最近推出的 ChatGPT 和 Jackie Bavaro 的以下推文的启发,我决定面试 Cha…

马上要面试了,还有八股文没理解?让ChatGPT来给你讲讲吧——如何更好使用ChatGPT?

最近这段时间 ChatGPT 掀起了一阵 AI 热潮,目前来看网上大部分内容都是在调戏 AI,很少有人写如何用 ChatGPT 做正事儿。 作为一个大部分知识都是从搜索引擎和 GitHub 学来的程序员,第一次和 ChatGPT 促膝长谈后,基本认定了一个事…