【Linux】ChatGLM-4-9B模型之All Tools

一、摘要

最近在研究GLM4模型,发现自带的All Tools比较感兴趣,它具有完整工具调用能力的对话模式,原生支持网页浏览、代码执行、图表生成、图片生成,并支持自定义工具。它能够满足大模型私有化部署的个性定制,因此记录在Linux环境下搭建GLM4的All Tools的网页版。

二、硬件环境

服务器环境:Linux

操作系统:ubuntu 22.04

架构:x86_64

实例规格:GPU A10 24G显存

三、GLM4模型和源代码

1. 拉取源代码

源代码Github地址:https://github.com/THUDM/GLM-4/tree/main

git clone https://github.com/THUDM/GLM-4.git

2. 下载GLM4模型

说明:如果硬件环境配置充足,可以选择下载GLM4的其他更强版。

抱脸:GLM4模型地址:https://huggingface.co/THUDM/glm-4-9b/tree/main

(1)手动下载

如果不能直接通过服务器上下载,可以通过windows上挂载代理软件访问抱脸地址:https://huggingface.co/THUDM/glm-4-9b/tree/main 把Files and versions 下文件全部下载,模型下载时间比较长,耐心等待。下载完成上传服务器,再在模型源码目录新建一个目录用于存放模型。

(2)命令下载

魔塔社区:GLM4模型地址:glm-4-9b · 模型库

通过git下载 ,耐心等待下载。

git lfs installgit clone https://www.modelscope.cn/ZhipuAI/glm-4-9b.git

 四、部署GLM4适配All Tools

1. 安装Anaconda软件

注意:Anaconda无版本要求,主要和Linux的架构保持一致。

可参考博客:Linux环境安装Anaconda(详细图文)_linux安装anaconda-CSDN博客

2. 创建GLM4需要的python环境并激活

# 切换到下载好的GLM4的源码目录
cd /data/GLM-4/composite_demo
# 创建独立python环境
conda create -n glm-4-demo python=3.12
# 激活环境
conda activate glm-4-demo
# 下载依赖
pip install -r requirements.txt

3. 安装Jupyter 内核(可选)

使用 Code Interpreter (代码解释器)还需要安装 Jupyter 内核,建议安装,可以实现代码画图。

ipython kernel install --name glm-4-demo --user

4. 安装Node.js和PNPM(可选)

若要使用浏览器和搜索功能,还需要启动浏览器后端。

(1)根据 Node.js 官网的指示安装 Node.js

# installs fnm (Fast Node Manager)
curl -fsSL https://fnm.vercel.app/install | bash# activate fnm
source ~/.bashrc# download and install Node.js
fnm use --install-if-missing 22# verifies the right Node.js version is in the environment
node -v # should print `v22.12.0`# verifies the right npm version is in the environment
npm -v # should print `10.9.0`

如果报错:访问地址 fnm.vercel.app 超时。

解决方案:在windows上访问:https://fnm.vercel.app/install 手动下载fnm的安装脚本并上传到服务器。

(2)安装包管理器 PNPM 之后安装浏览器服务的依赖:

cd browser
npm install -g pnpm
pnpm install

在执行命令:pnpm install 时报错连接超时。

解决方案:设置npm为国内能够访问的镜像,再重新运行命令即可解决。

# 设置为淘宝的镜像npm config set registry http://registry.npmmirror.com
```bash
淘宝镜像:http://registry.npmmirror.com
阿里云镜像:https://npm.aliyun.com
腾讯云镜像:https://mirrors.cloud.tencent.com/npm/
华为镜像:https://mirrors.huaweicloud.com/repository/npm/
设置完成之后,重新执行npm即可
# 查看npm镜像地址
npm config get registry

五、运行

1. 使用浏览器的搜索功能(可选)

修改 browser/src/config.ts 中的 BING_SEARCH_API_KEY 配置浏览器服务需要使用的 Bing 搜索 API Key:

export default {BROWSER_TIMEOUT: 10000,BING_SEARCH_API_URL: 'https://api.bing.microsoft.com/v7.0',BING_SEARCH_API_KEY: '<PUT_YOUR_BING_SEARCH_KEY_HERE>',HOST: 'localhost',PORT: 3000,
};

如果注册的是Bing Customer Search的API,可以修改配置文件为如下,并且填写Custom Configuration ID:

export default {LOG_LEVEL: 'debug',BROWSER_TIMEOUT: 10000,BING_SEARCH_API_URL: 'https://api.bing.microsoft.com/v7.0/custom/',BING_SEARCH_API_KEY: 'YOUR_BING_SEARCH_API_KEY',CUSTOM_CONFIG_ID :  'YOUR_CUSTOM_CONFIG_ID', //将您的Custom Configuration ID放在此处HOST: 'localhost',PORT: 3000,
};

说明:在使用微软的搜索 Bing 引擎,需要绑定信用卡,并且有次数限制。

2. 启动浏览器后端,在单独的 shell 中:(可选)

说明:如果你选择使用了浏览器的搜索,则这一步是必须的。

cd browser
pnpm start

3. 运行以下命令在本地加载模型并启动 demo

注意:先修改加载的模型路径。我这里重新下载了一个模型。

streamlit run src/main.py

启动成功,注意要在公网访问记得开通端口。

4. 成果展示

选择All Tools调用模型自带的天气查询工具。

六、遇到的问题

报错1:ModuleNotFoundError: No module named 'torch'

解决方法:conda install pytorch torchvision torchaudio -c pytorch

报错2:ModuleNotFoundError: No module named 'transformers'

解决方法:pip install transformers

报错3:ImportError: This modeling file requires the following packages that were not found in your environment: tiktoken. Run `pip install tiktoken`

解决方法:pip install tiktoken 

报错4:ImportError: Using `low_cpu_mem_usage=True` or a `device_map` requires Accelerate: `pip install 'accelerate>=0.26.0'`

解决方法:pip install 'accelerate>=0.26.0'
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/495290.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue零基础必学教程(16) 计算属性

往期内容&#xff1a; Vue零基础必学教程&#xff08;5&#xff09;挂载 Vue零基础必学教程&#xff08;6&#xff09;基本选项 Vue零基础必学教程&#xff08;7&#xff09;模板 Vue零基础必学教程&#xff08;8&#xff09;模板语法 Vue零基础必学教程&#xff08;9&…

14:30面试,14:08就出来了,面试问的有点变态呀。。。

从小厂出来&#xff0c;没想到在另一家公司又寄了。 到这家公司开始上班&#xff0c;加班是每天必不可少的&#xff0c;看在钱给的比较多的份上&#xff0c;就不太计较了。没想到一纸通知&#xff0c;所有人不准加班&#xff0c;加班费不仅没有了&#xff0c;薪资还要降40%,这…

【Leetcode】1705. 吃苹果的最大数目

文章目录 题目思路代码复杂度分析时间复杂度空间复杂度 结果总结 题目 题目链接&#x1f517; 有一棵特殊的苹果树&#xff0c;一连 n n n 天&#xff0c;每天都可以长出若干个苹果。在第 i i i 天&#xff0c;树上会长出 a p p l e s [ i ] apples[i] apples[i] 个苹果&a…

kimi搜索AI多线程批量生成txt原创文章软件-不需要账号及key

kimi搜索AI多线程批量生成txt原创文章软件介绍&#xff1a; 软件可以设置三种模型写文章&#xff1a;kimi&#xff1a;默认AI模型&#xff0c;kimi-search&#xff1a;联网检索模型 &#xff0c;kimi-research&#xff1a;探索版搜索聚合模型 1、可以设置写联网搜索文章&#…

游戏引擎学习第58天

发现一个vscode Log 断点的用法 回顾 我们正在继续推进工作&#xff0c;之前做了一些测试和清理工作&#xff0c;但还有一件事没有完成&#xff0c;因此我们还没有完全回到功能平衡的状态。昨天我们已经为实体做了空间划分&#xff0c;所以接下来的目标是继续完成这部分工作&a…

day14-16系统服务管理和ntp和防火墙

一、自有服务概述 服务是一些特定的进程&#xff0c;自有服务就是系统开机后就自动运行的一些进程&#xff0c;一旦客户发出请求&#xff0c;这些进程就自动为他们提供服务&#xff0c;windows系统中&#xff0c;把这些自动运行的进程&#xff0c;称为"服务" window…

Idea导入Springboot项目,无法正确加载yml文件,且不为绿色图标的解决办法

一、出现问题的环境 将项目复制新的环境后&#xff0c;.yml 文件不能显示为绿色&#xff0c;导致无法配置数据库。 二、解决办法。 在网上找了多种办法&#xff0c;并不适用&#xff0c;发现resources的显示也有问题&#xff0c;右击resources->Mark->Directory as -&g…

以太网通信--读取物理层PHY芯片的状态

PHY芯片通过MDIO接口进行读写&#xff0c;框图如下所示&#xff1a; 原理很简单&#xff0c;就是按照时序将PHY芯片的指定寄存器信息读出或者写入。 MDC时钟需要输出到PHY芯片&#xff0c;一般不低于80MHz。 MDIO是双向接口&#xff0c;FPGA读出状态信息时为输入&#xff0c;FP…

Doris Tablet 损坏如何应对?能恢复数据吗?

开门见山&#xff0c;能不能修&#xff1f; Doris 的 Tablet 损坏了&#xff0c;到底能不能修呢&#xff1f;数据会不会丢&#xff1f; 这玩意还真不好说&#xff1f; 哎&#xff0c;怎么又不好说了呢&#xff1f; 这个主要是因为下面的原因&#xff1a; Doris 数据的高可…

【Linux】查询磁盘空间被谁占用了

查询磁盘空间被谁占用了 先说下常见的几种原因&#xff1a; 1、删除的文件未释放空间 2、日志或过期文件未及时清理 3、inode导致 4、隐藏文件夹或者目录 6、磁盘碎片 最后一种单独介绍。 环境&#xff1a;情况是根分区&#xff08;/&#xff09;的总容量为44GB&#xf…

Scala课堂小结

(一)数组&#xff1a; 1.不可变数组 2创建数组

GitPuk安装配置指南

GitPuk是一款开源免费的代码管理工具&#xff0c;上篇文章已经介绍了Gitpuk的功能与优势&#xff0c;这篇文章将为大家讲解如何快速安装和配置GitPuk&#xff0c;助力你快速的启动GitPuk管理代码 1. 安装 支持 Windows、Mac、Linux、docker 等操作系统。 1.1 Windows安装 下载…

大恒相机开发(2)—Python软触发调用采集图像

大恒相机开发&#xff08;2&#xff09;—Python软触发调用采集图像 完整代码详细解读和功能说明扩展学习 这段代码是一个Python程序&#xff0c;用于从大恒相机采集图像&#xff0c;通过软件触发来采集图像。 完整代码 咱们直接上python的完整代码&#xff1a; # version:…

本科阶段最后一次竞赛Vlog——2024年智能车大赛智慧医疗组准备全过程——12使用YOLO-Bin

本科阶段最后一次竞赛Vlog——2024年智能车大赛智慧医疗组准备全过程——12使用YOLO-Bin ​ 根据前面内容&#xff0c;所有的子任务已经基本结束&#xff0c;接下来就是调用转化的bin模型进行最后的逻辑控制了 1 .YOLO的bin使用 ​ 对于yolo其实有个简单的办法&#xff0c;也…

Golang的容器化技术实践总结

Golang的容器化技术实践总结 一、容器化技术概述 什么是容器化技术 容器化技术是一种轻量级、可移植的虚拟化解决方案&#xff0c;它将应用程序、运行环境和依赖项打包到一个被称为容器的独立单元中。容器可以在不同的操作系统中运行&#xff0c;具有更高的资源利用率和更快的部…

修改el-select下拉框高度;更新:支持动态修改

文章目录 效果动态修改&#xff1a;效果代码固定高度版本动态修改高度版本&#xff08;2024-12-25 更新&#xff1a; 支持动态修改下拉框高度&#xff09; 效果 动态修改&#xff1a;效果 代码 固定高度版本 注意点&#xff1a; popper-class 尽量独一无二&#xff0c;防止影…

运动控制卡网络通讯的心跳检测之C#上位机编程

本文导读 今天&#xff0c;正运动小助手给大家分享一下如何使用C#上位机编程实现运动控制卡网络通讯的心跳检测功能。 01 ECI2618B硬件介绍 ECI2618B经济型多轴运动控制卡是一款脉冲型、模块化的网络型运动控制卡。控制卡本身最多支持6轴&#xff0c;可扩展至12轴的运动控制…

自动控制系统综合与LabVIEW实现

自动控制系统综合是为了优化系统性能&#xff0c;确保其可靠性、稳定性和灵活性。常用方法包括动态性能优化、稳态误差分析、鲁棒性设计等。结合LabVIEW&#xff0c;可以通过图形化编程、高效数据采集与处理来实现系统综合。本文将阐述具体方法&#xff0c;并结合硬件选型提供实…

lxml提取某个外层标签里的所有文本

html如下 <div data-v-1cf6f280"" class"analysis-content">选项D错误&#xff1a;<strong>在衡量通货膨胀时&#xff0c;</strong><strong>消费者物价指数使用得最多、最普遍</strong>。 </div> 解析html文本 fro…

学习因子异步化的粒子群优化算法(AsyLnCPSO)——源码

目录 1. 学习因子异步化的概念 2. 算法步骤 2.1 初始化 2.2 迭代过程 3.优势 4. 与传统粒子群算法的区别 5.代码下载&#xff1a; 学习因子异步化的粒子群优化算法&#xff08;AsyLnCPSO&#xff09;是一种改进的粒子群优化&#xff08;PSO&#xff09;算法&#xff0c;…