模型训练系列:1、用清华ChatGLM-6B模型部署自己的本地AI助手

最近清华大学开源的ChatGLM-6B语言模型在国际上大出风头,仅仅62亿参数的小模型,能力却很强。很期待他们后续1300亿参数模型130B的发布。

为什么一些能力较弱的小模型,这么受追捧?因为ChatGPT、GPT-4虽好,毕竟被国外封锁,而且还要付费,更重要的是,LLM要在各行业提高生产力,很多企业接下来肯定是要自己部署语言模型的,毕竟谁也不敢泄漏自己商业数据给别人的AI去训练,为他人做嫁衣,最后砸了自己的饭碗。

这里根据我的实操经验,分享一下如何自己搭建一个语言模型服务器。最后效果如下:

首先需要搞一台GPU较强的机器,推荐先租一台腾讯云、阿里云等AI训练的机器,T4显卡就行,一般价格是按量付费几毛钱一个小时。我是抢到了腾讯云秒杀活动的主机,60块钱半个月,白菜价。土豪可以自己去装机长期玩。

能干这个活的都是码农吧,那就不废话了,直接上sh命令(:

#我的主机环境是	Ubuntu Server 18.04 LTS 64位,预装了	
# Pytorch 1.9.1 Ubuntu 18.04 GPU基础镜像(预装460驱动)
#以下命令从 /root 目录位置开始进行操作的#更新Ubuntu软件源
apt-get update
#创建目录用于存放ChatGLM源代码
mkdir ChatGLM
cd ChatGLM/
#克隆ChatGLM-6B程序源代码
git clone https://github.com/THUDM/ChatGLM-6B.git
#创建目录用于存放ChatGLM6B-int4量化模型
mkdir model
cd model/
#安装git-lfs便于文件管理
apt install git-lfs
#当前目录初始化为git仓库、安装lfs
git init
git lfs install
#克隆ChatGLM-6B的int4量化模型
git clone https://huggingface.co/THUDM/chatglm-6b-int4
#安装python调用cuda的工具包
apt install nvidia-cuda-toolkitcd ChatGLM-6B/
#添加三行依赖:
vim requirements.txt chardetstreamlitstreamlit-chat
#安装所需的python依赖库	
pip install -r requirements.txt 
#代码中2处修改为模型绝对路径:
vim web_demo2.py /root/ChatGLM/model/chatglm-6b-int4#运行ChatGLM6B 的web版聊天程序,即可访问http://主机IP:8080进行聊天
python3 -m streamlit run ./web_demo2.py --server.port 8080

本文来自知识星球:ConnectGPT ,一个致力于探索AI、语言模型的应用技术的小圈子。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/70389.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

腾讯云服务器小白保姆级教程

现在都是上云服务器,小白拿到一个云服务器怎么办? 1、选择 这里选择的是腾讯云轻量服务器,主要是便宜,另外自己主要是自己练习,对性能什么的也就没有啥要求了。 购买云服务器之前要进行实名验证。实名的微信可以和注…

文科生学大数据分析吃力吗

前段时间来咨询的学员,0基础想报名大大数据分析培训班,但由于自己是文科生,做的是人力资源的工作,所以一直在犹豫该不该转行从事大数据分析行业。文科生可以学大数据分析吗?今天就针对文科生的问题详细的分析一下。 在选择大数据…

文科生比不过理科生,转码IT互联网将成趋势?

今天看到“文科生转码或成趋势”的话题,觉得还是非常有意思哈,所以来聊聊看~ 值得一提的是,虽然现在高中考试改制后,已不再区分文理科生(理化生史地政6选3),但是大学本科及研究生以上&#xff…

文科妹子都会用 GitHub,你这个工科生还等什么

在某乎上刷到一条关于 GitHub 的留言,如下: 点赞人数还不少,这说明还真有不少工科生不会用 GitHub,你看大小写都没有区分(手动狗头)。所以我就想写篇文章科普下,“新手如何使用 GitHub&#xff…

文科生“转码农“风继续 理科生慌吗?Phyon最热

程序员是一个很热门的职业,至少对于文科生而言,这两年持续“转码农”风在继续,这会不会给理科生们带来压力呢? 其实,“转码”,即转行成为程序员,由于其高就业率、高薪资而在求职市场上大受欢迎&…

chatgpt赋能python:Python操作数据库:连接、查询和更新

Python操作数据库:连接、查询和更新 在开发Web应用或者处理数据时,操作数据库是必不可少的步骤。Python提供了许多标准库和第三方库来连接和操作数据库,如sqlite3、MySQLdb、psycopg2等。在本文中,我们将介绍如何使用Python连接、…

AI算力碎片化:矩阵乘法的启示

尽管AI的发展取得了巨大进步,但编译器LLVM之父Chris Lattner认为,AI技术应用并不深入,远远没有发挥出已有机器学习研究的所有潜力。而AI系统和工具的单一化和碎片化正是造成这一问题的根源。 为了让AI发挥其真正的潜力,计算碎片化…

APP后台以及用户数据被泄露 该如何防护

近期我们接到许多DK平台反馈APP里的用户信息数据被泄露,导致用户经常受到境外香港电话推广骚扰,有些用户甚至被网络诈骗,而且用户当天申请填写表单里的手机号,没过多久就泄露了,紧接着香港电话就会打过来,询…

ap计算机科学5分率,AP考试5分率及难度分析

2019年的AP报名窗口已经开启,AP选考究竟要注意些什么?如何结合科目难度和自身情况,申请的时候尽可能地凸显的优势呢?今天老师从AP各科的难度和5分率进行分析,让大家了解过往战况,好好制定最适合的选考策略。…

ALEVEL数学、物理、化学、生物与国内考试的区别

A-Level考试中数学、物理、化学、生物是常考热门科目,这些科目在国内高考中也有对应的科目,那么,两者之间有什么区别呢? 1、A-Level物理与国内高考物理 从知识范围广度来看,A-Level物理更胜一筹,涉及的知识…

PTA L2-046 天梯赛的赛场安排 (25 分)

天梯赛使用 OMS 监考系统,需要将参赛队员安排到系统中的虚拟赛场里,并为每个赛场分配一位监考老师。每位监考老师需要联系自己赛场内队员对应的教练们,以便发放比赛账号。为了尽可能减少教练和监考的沟通负担,我们要求赛场的安排满…

分析数学成绩,尽然我考了0分

编程语言:Python 简单的数据分析 导入 pygal 废话不多说直接上代码! import pygal radar_chart pygal.Radar() radar_chart.title 数学考试成绩分析 radar_chart.x_labels [班长, 学委, 体育委员, 学渣, 学霸,我] radar_chart.add(高三(5)班, [86, 96, 69, 49, …

T06 成绩排序

查找和排序 题目:输入任意(用户,成绩)序列,可以获得成绩从高到低或从低到高的排列,相同成绩 都按先录入排列在前的规则处理。 示例: jack 70 peter 96 Tom 70 smith 67 从高到低 成…

Quick Request使用教程

一、基本介绍 Quick Request作为IntelliJ IDEA的插件,提供给开发人员更好的调试体验,当前可支持Spring Mvc、Dubbo框架的所有请求,具有简单易用、自动生成请求参数、项目环境管理、历史请求记录、保存请求及快速搜索的特点,下面给…

python爬虫二十四:js逆向破解(一)

1、环境搭建 通过python代码模拟js去生成加密数据完成数据破解,需要用到PyExecJS模块 ①安装模块pip install pyexecjs通过模块的方法来读取js代码,也可以用js2py(不更新维护了)、selenium(driver.wxecute_script(js代码))去执行js文件,这里…

关于ref哪怕在$nextTick()中有时候获取不到节点元素的问题。(较为诡异的bug)

我的需求是用element-ui的messagebox,来实现验证码接受的功能。并将cancel按钮换成刷新功能,在beforeClose中实现验证码刷新。元素都是在$msgbox中生成的,下面是最开始出错的核心代码。 let result await this.$API.reqCaptchaImg();this.ca…

微信小程序实现分页加载,触底加载下一页,滚动加载

这里我就不写wxml了,就是一个列表循环,直接看js代码逻辑,注释都写在代码后面了,这个方法可以实现无限滚动加载,直到加载完最后一条数据,也可以实现触底没数据后,二次触底可以从新加载刷新&#…

某地刑侦大队对涉及6个嫌疑人的一桩疑案进行分析

(1)A、B 至少有一人作案; (2)A、E、F 三人中至少有两人参与作案; (3)A、D 不可能是同案犯; (4)B、C 或同时作案,或与本案无关&#xf…

今天,微软重新发明搜索引擎:首款ChatGPT搜索来了

从现在起,比 ChatGPT 更强大的语言模型直接进入了你的浏览器。 一夜之间,全球最大的科技公司仿佛都回到了自己年轻时的样子。 在谷歌宣布「实验性对话式人工智能服务」Bard 之后仅 24 小时,北京时间 2 月 8 日凌晨两点,微软发布了…

嵌入式工程师的入门须知----亲测

嵌入式工程师的学习路线----亲测 本文概述入门之前必做竭尽所能了解嵌入式技术与职业规划正确认识自己 我眼中的嵌入式技术我眼中的职业规划我的入门之路总结 本文概述 这是一篇关于想要踏进嵌入式技术之路与相关职业规划的建议性文档,文中观点仅限于个人对于嵌入式…