基于OneAPI+ChatGLM3-6B+FastGPT搭建LLM大语言模型知识库问答系统

搭建大语言模型知识库问答系统

    • 部署OneAPI
    • 部署一个LLM模型
    • 部署嵌入模型
    • 部署FastGPT
    • 新建FastGPT对话应用
    • 新建 FastGPT 知识库应用

部署OneAPI

拉取镜像

docker pull justsong/one-api

创建挂载目录

mkdir -p /usr/local/docker/oneapi

启动容器

docker run --name one-api -d --restart always -p 3001:3000 -e TZ=Asia/Shanghai -v /usr/local/docker/oneapi:/data justsong/one-api

访问IP:3001
在这里插入图片描述
注意：

用户默认root 密码默认123456，首次登录后务必修改密码

在这里插入图片描述
创建接口令牌API Key备用

根据需要配置，这里点击“永不过期”+“设为无限额度”

在这里插入图片描述

项目地址: One API

部署一个LLM模型

下载ChatGLM3项目

git clone https://github.com/THUDM/ChatGLM3

创建conda环境

cd /work/ChatGLM3conda create -n ChatGLM3 python=3.10conda activate ChatGLM3

编辑ChatGLM3/openai_api_demo/api_server.py文件，指定LLM模型、嵌入模型位置

相关模型可以从huggingface下载

# set LLM path
MODEL_PATH = os.environ.get('MODEL_PATH', '/root/work/models/chatglm3-6b')
TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)# set Embedding Model path
EMBEDDING_PATH = os.environ.get('EMBEDDING_PATH', '/root/work/models/bge-large-zh')

启动项目

(ChatGLM3) root@master:~/work/ChatGLM3/openai_api_demo# python api_server.py 
Setting eos_token is not supported, use the default one.
Setting pad_token is not supported, use the default one.
Setting unk_token is not supported, use the default one.
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:04<00:00,  1.07it/s]
INFO:     Started server process [517231]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

在OneAPI中创建一个渠道，并使用事先创建的API Key
在这里插入图片描述
注意：

当完成下面部署FastGPT操作后，可以测试对接是否成功。前提：这里配置的模型名称ChatGLM3-6B需要与在部署FastGPT中的fastgpt/config.json文件中配置模型名称一致。具体参考下面新建FastGPT对话应用操作。

在这里插入图片描述

部署嵌入模型

这里使用m3e嵌入模型

docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

在运行容器的时候调用GPU，直接使用--gpus all参数指定即可

 docker run -d -p 6008:6008 --name m3e --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

接入One API，添加一个渠道，根据官方参数说明如下：

设置安全凭证默认值：sk-aaabbbcccdddeeefffggghhhiiijjjkkk也可以通过环境变量引入：sk-key

注意：渠道对应鉴权密匙一定是sk-aaabbbcccdddeeefffggghhhiiijjjkkk

在这里插入图片描述

测试服务

这里将出现404异常，原因：由于不是对话生成模型（/v1/chat/completions）所以会404

在这里插入图片描述
进一步验证，查看容器内部运行日志信息

root@master:~/work/# docker logs -f friendly_feistel
No sentence-transformers model found with name ./moka-ai_m3e-large. Creating a new one with MEAN pooling.
INFO:     Started server process [1]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:6008 (Press CTRL+C to quit)
本次加载模型的设备为GPU:  Tesla V100S-PCIE-32GB
INFO:     172.17.0.1:59468 - "POST /v1/chat/completions HTTP/1.1" 404 Not Found

到这里，嵌入模型准备完毕，在接下来接入FastGPT即可。

部署FastGPT

具体部署可参考官方文档：FastGPT

创建挂载目录

mkdir -p /usr/local/docker/fastgpt

下载文件

curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.ymlcurl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

在项目fastgpt目录中，创建mongo密钥

openssl rand -base64 756 > ./mongodb.key
chmod 600 ./mongodb.key
chown 999:root ./mongodb.key

root@master:/usr/local/docker/fastgpt# ls
config.json  docker-compose.yml mongodb.key

执行命令拉取容器镜像

docker-compose pull

启动容器

 docker-compose up -d

初始化 Mongo 副本集(4.6.8以前可忽略)

# 查看 mongo 容器是否正常运行
docker ps# 进入容器
docker exec -it mongo bash# 连接数据库
mongo -u myname -p mypassword --authenticationDatabase admin# 初始化副本集。如果需要外网访问，mongo:27017 可以改成 ip:27017。但是需要同时修改 FastGPT 连接的参数（MONGODB_URI=mongodb://myname:mypassword@mongo:27017/fastgpt?authSource=admin => MONGODB_URI=mongodb://myname:mypassword@ip:27017/fastgpt?authSource=admin）
rs.initiate({_id: "rs0",members: [{ _id: 0, host: "mongo:27017" }]
})# 检查状态。如果提示 rs0 状态，则代表运行成功
rs.status()

访问IP:3000
在这里插入图片描述
注意：

用户默认 root密码默认 1234密码设置修改：docker-compose.yml 文件中的 DEFAULT_ROOT_PSW

    environment:# root 密码，用户名为: root- DEFAULT_ROOT_PSW=1234

在这里插入图片描述
配置docker-compose.yml文件，使用 OneAPI接口、令牌

注意：这里地址指向OneAPI地址，令牌使用上面创建的令牌。

    environment:# root 密码，用户名为: root- DEFAULT_ROOT_PSW=1234# 中转地址，如果是用官方号，不需要管。务必加 /v1- OPENAI_BASE_URL=http://192.168.5.210:3001/v1- CHAT_API_KEY=sk-CwH3lQk0CCiUdalf3d41A405C9Ca4359991e213d0bC5B13b

重启FastGPT容器

docker-compose up -d

新建FastGPT对话应用

接下来配置FastGPT，修改fastgpt/config.json文件，复制一份gpt-3.5-turbo配置，修改为ChatGLM
在这里插入图片描述

注意：这里配置的model值ChatGLM3-6B需要与渠道中配置的模型名称一致

重启FastGP 容器

docker restart fastgpt

访问IP:3000/,新建FastGPT应用

取一个名称，从模板选择，这里选择“简单的对话”，点击“确认创建”按钮。

在这里插入图片描述
选择上面配置的ChatGLM模型，然后点击“保存并预览”
在这里插入图片描述
对话测试，输入问题，点击图标发送
在这里插入图片描述

新建 FastGPT 知识库应用

知识库需要使用嵌入模型，所以需要提前进行配置。

修改fastgpt/config.json配置文件，在vectorModels 中加入M3E模型：
在这里插入图片描述

注意：这里配置的model值m3e-large需要与渠道中配置的模型名称一致

重启FastGPT容器

docker restart fastgpt

在知识库菜单栏，创建一个知识库，同时取一个名称，选择索引模型
在这里插入图片描述
向demo知识库导入数据
在这里插入图片描述
根据具体需求，进行配置数据处理参数
在这里插入图片描述
当上传数据训练完毕就绪后即可使用
在这里插入图片描述

新建知识库，取个名字，从模板选择知识库+对话引导
在这里插入图片描述
配置AI模型与关联知识库后，保存并预览，然后即可开始进行知识库的对话测试
在这里插入图片描述
进行知识库问答对话时，出现一个异常
在这里插入图片描述
是因为知识库配置中，默认且只有一个文件处理模型，固定为gpt-3.5-turbo-1106，且目前没有配置该模型渠道
在这里插入图片描述

解决方案：

1.更新渠道，添加模型名称gpt-3.5-turbo-1106，意味着使用该模型的就会使用Base URL定义的模型

2.新建一个渠道，指定使用模型名称gpt-3.5-turbo-1106
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/288334.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

解决 Xshell 等工具连接虚拟机失败

解决 Xshell 等工具连接虚拟机失败

这里以 Xshell 等工具连接 Linux 虚拟机为例 对于我们使用 Xshell 等工具连接虚拟机失败&#xff0c;我们可以从以下的几个方面进行检查和解决 检查连接工具中的连接会话配置是否正确 对于这方面&#xff0c;我们要检查连接工具中连接会话配置的虚拟机 IP 地址和端口号是否正…
阅读更多...
【数据库管理操作】Mysql 创建学生数据库及对数据表进行修改

【数据库管理操作】Mysql 创建学生数据库及对数据表进行修改

MySQL 创建学生成绩数据库 1.创建数据库 create database studentscore;创建完成之后&#xff0c;如果需要使用该数据&#xff0c;使用use命令 use studentscore;创建表前查看当前数据库中包含的表 show tables; 2.创建bclass表 create table bclass( class_id char(8) …
阅读更多...
语音情感分类（1）简单可运行项目（附代码）

语音情感分类（1）简单可运行项目（附代码）

1.目标 题主最开始是想做一个音乐情感分类的模型&#xff0c;但是查阅相关文献发现这个范围太大了&#xff0c;音乐情感特征包括文本&#xff0c;音频&#xff0c;甚至有的还有画面&#xff0c;是一个多模态的范畴。所以退而求其次&#xff0c;找了一个接近的语音情感分类来学…
阅读更多...
Sentry(Android)源码解析

Sentry(Android)源码解析

本文字数&#xff1a;16030字 预计阅读时间&#xff1a;40分钟 01 前言 Sentry是一个日志记录、错误上报、性能监控的开源框架&#xff0c;支持众多平台&#xff1a; 其使用方式在本文不进行说明了&#xff0c;大家可参照官方文档&#xff1a;https://docs.sentry.io/platforms…
阅读更多...
Jenkins--在Linux上使用Docker安装

Jenkins--在Linux上使用Docker安装

一、Jenkins 简介 Jenkins是一个流行的开源自动化服务器&#xff0c;用于持续集成和持续交付&#xff08;CI/CD&#xff09;。Jenkins的核心功能主要包括以下几点&#xff1a; 持续集成&#xff1a;Jenkins可以监控版本控制系统&#xff08;如Git、SVN&#xff09;中的代码变…
阅读更多...
RAG进阶笔记：RAG进阶

RAG进阶笔记：RAG进阶

1 查询/索引部分 1.1 层次索引 创建两个索引——一个由摘要组成&#xff0c;另一个由文档块组成分两步进行搜索&#xff1a;首先通过摘要过滤出相关文档&#xff0c;接着只在这个相关群体内进行搜索 1.2 假设性问题 让LLM为每个块生成一个假设性问题&#xff0c;并将这些问…
阅读更多...
U盘未格式化，数据恢复攻略大揭秘

U盘未格式化，数据恢复攻略大揭秘

U盘遭遇未格式化困境&#xff0c;数据安全岌岌可危 在日常的工作和生活中&#xff0c;U盘以其便携、容量大的特性成为了我们不可或缺的存储工具。然而&#xff0c;有时我们会遇到这样一个棘手的问题&#xff1a;当我们将U盘插入电脑时&#xff0c;却收到了“未格式化”的提示。…
阅读更多...
畅捷通T+ Ufida.T.DI.UIP.RRA.RRATableController 远程命令执行漏洞

畅捷通T+ Ufida.T.DI.UIP.RRA.RRATableController 远程命令执行漏洞

一、漏洞信息 漏洞名称&#xff1a;畅捷通T Ufida.T.DI.UIP.RRA.RRATableController 远程命令执行漏洞 漏洞类别&#xff1a;远程命令执行漏洞 风险等级&#xff1a;高危 二、漏洞描述 畅捷通TPlus适用于异地多组织、多机构对企业财务汇总的管理需求&#xff1b;全面支持企…
阅读更多...
为什么 Hashtable 不允许插入 null 键 和 null 值？

为什么 Hashtable 不允许插入 null 键 和 null 值？

1、典型回答 浅层次的来回答这个问题的答案是&#xff0c;JDK 源码不支持 Hashtable 插入 value 值为 null&#xff0c;如以下JDK 源码所示&#xff1a; 也就是JDK 源码规定了&#xff0c;如果你给 Hashtable 插入 value 值为 null 就会抛出空指针异常 并目看上面的JDK 源码可…
阅读更多...
js算法记录

js算法记录

> 更多请前往 https://www.passerma.com/article/86 滑动窗口 1 给定一个矩阵&#xff0c;包含N*M个整数&#xff0c;和一个包含K个整数的数组。现在要求在这个矩阵中找一个宽度最小的子矩阵&#xff0c;要求子矩阵包含数组中所有的整数 function minSubmatrixWidth(mat…
阅读更多...
PCL拟合并绘制平面(二)

PCL拟合并绘制平面(二)

使用RANSAC拟合点云平面 1、C实现2、效果图 普通的点云平面拟合方式在一般情况下可以得到较好的平面拟合效果&#xff0c;但是容易出现平面拟合错误或是拟合的平面不是最优的情况。此时就需要根据自己的实际使用情况&#xff0c;调整平面拟合的迭代次数以及收敛条件。 使用RAN…
阅读更多...
vue脚手架创建项目:账号登录（利用element-ui快速开发）(取消eslint强制格式）（修改端口号）

vue脚手架创建项目:账号登录（利用element-ui快速开发）(取消eslint强制格式）（修改端口号）

新手看不懂&#xff0c;老手不用看系列 文章目录 一、准备工作1.1 取消强制格式检查1.2 导入依赖&#xff0c;注册依赖 二、去element-ui官网找样式写Login组件2.1 引用局部组件2.2 运行项目 三、看一下发现没问题&#xff0c;开始修改前端的代码四、修改端口号4.1 修改后端端口…
阅读更多...
一款比 K8S 更好用的编排工具——Nomod 单机部署

一款比 K8S 更好用的编排工具——Nomod 单机部署

上下文 最近公司需要调研类似 EMCHub 这样支持算力共享的服务。第一直觉是使用 K8S 或 K3S&#xff0c;作为 CNCF 孵化的顶级项目&#xff0c;同时也是当前云原生生态使用最广的编排系统。但是在学习 EMC Hub 源码过程中&#xff0c;偶然发现它是基于 Nomad 做的集群管理。 相…
阅读更多...
Python学习笔记------文件操作

Python学习笔记------文件操作

编码 编码就是一种规则集合&#xff0c;记录了内容和二进制间进行相互转换的逻辑。 编码有许多中&#xff0c;我们最常用的是UTF-8编码 计算机只认识0和1&#xff0c;所以需要将内容翻译成0和1才能保存在计算机中。同时也需要编码&#xff0c;将计算机保存的0和1&#xff0c…
阅读更多...
maya导入导出bvh 自动 脚本

maya导入导出bvh 自动 脚本

目录 maya打开脚本编辑器 运行打开bvh脚本 maya导出bvh脚本 maya打开脚本编辑器 打开Maya软件，点击右下角 “脚本编辑器” 运行打开bvh脚本<
阅读更多...
Spring：面试八股

Spring：面试八股

文章目录 参考Spring模块CoreContainerAOP 参考 JavaGuide Spring模块 CoreContainer Spring框架的核心模块&#xff0c;主要提供IoC依赖注入功能的支持。内含四个子模块&#xff1a; Core&#xff1a;基本的核心工具类。Beans&#xff1a;提供对bean的创建、配置、管理功能…
阅读更多...
国内ip地址推荐，畅享网络新体验！

国内ip地址推荐，畅享网络新体验！

在数字化时代&#xff0c;IP地址不仅是网络连接的基石&#xff0c;也是互联网产业发展的重要标志。国内作为全球互联网市场的重要参与者&#xff0c;拥有众多IP地址资源。虎观代理小二旨在探索并推荐一些国内IP地址&#xff0c;分析它们的价值所在&#xff0c;并探讨如何更好地…
阅读更多...
华为数通 HCIP-Datacom H12-831 题库补充（3/27）

华为数通 HCIP-Datacom H12-831 题库补充（3/27）

2024年 HCIP-Datacom&#xff08;H12-831&#xff09;最新题库&#xff0c;完整题库请扫描上方二维码&#xff0c;持续更新。 如图所示&#xff0c;关于R4路由器通过IS-IS计算出来的IPv6路由&#xff0c;哪一选项的描述是错误的&#xff1f; A&#xff1a;R4通过IS—IS只学习到…
阅读更多...
stm32f103c8t6学习笔记（学习B站up江科大自化协）-DMA

stm32f103c8t6学习笔记（学习B站up江科大自化协）-DMA

DMA简介 DMA主要用于协助CPU完成数据转运的工作 DMA&#xff0c;英文全称Direct Memory Access&#xff0c;DMA这个外设是可以直接访问STM32内部存储器的&#xff0c;包括运行内存SRAM&#xff0c;程序存储器flash和寄存器等等&#xff0c;DMA都有权限访问&#xff0c;所以DMA能…
阅读更多...
PHP页面如何实现设置独立访问密码

PHP页面如何实现设置独立访问密码

PHP网页如果需要查看信息必须输入密码&#xff0c;验证后才可显示出内容的代码如何实现&#xff1f; 对某些php页面设置单独的访问密码,如果密码不正确则无法查看内容,相当于对页面进行了一个加密。 如何实现这个效果&#xff0c;详细教程可以参考&#xff1a;PHP页面如何实现…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发