DB-GPT部署验证

一、DB-GPT简介

        DB-GPT是一个开源的数据库领域大模型框架。目的是构建大模型领域的基础设施，通过开发多模型管理、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。

        GITHUB源码地址：GitHub - eosphoros-ai/DB-GPT: Revolutionizing Database Interactions with Private LLM TechnologyRevolutionizing Database Interactions with Private LLM Technology - GitHub - eosphoros-ai/DB-GPT: Revolutionizing Database Interactions with Private LLM Technologyicon-default.png?t=N7T8https://github.com/eosphoros-ai/DB-GPT.git

1、名词术语

名词

说明

DB-GPT

DataBase Generative Pre-trained Transformer，一个围绕数据库与大模型的开源框架

Text2SQL/NL2SQL

Text to SQL，利用大语言模型能力，根据自然语言生成SQL语句，或者根据SQL语句给出解释说明

KBQA

Knowledge-Based Q&A 基于知识库的问答系统

GBI

Generative Business Intelligence 生成式商业智能，基于大模型与数据分析，通过对话方式提供商业智能分析与决策

LLMOps

大语言模型操作框架，提供标准的端到端工作流程，用于训练、调整、部署和监控LLM，以加速生成AI模型的应用程序部署

Embedding

将文本、音频、视频等资料转换为向量的方法

RAG

Retrieval-Augmented Generation 检索能力增强

2、系统架构

Model Controller：

Model Worker：

Web Server：

API Server：

3、环境要求

二、源码部署

1、环境要求

启动模式

CPU * MEM

GPU

备注

代理模型

4C*8G

代理模型不依赖GPU

本地模型

8C*32G

24G

本地启动最好有24G以上GPU

2、源码下载

        可以在Github上下载最新版本：https://github.com/eosphoros-ai/DB-GPT/releases

wget https://github.com/eosphoros-ai/DB-GPT/archive/refs/tags/v0.4.3.tar.gz

3、Miniconda安装

        Miniconda 是一个 Anaconda 的轻量级替代，默认只包含了 python 和 conda，但是可以通过 pip 和 conda 来安装所需要的包。

        Miniconda 安装包可以到清华站下载：Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source MirrorIndex of /anaconda/miniconda/ | 清华大学开源软件镜像站，致力于为国内和校内用户提供高质量的开源软件镜像、Linux 镜像源服务，帮助用户更方便地获取开源软件。本镜像站由清华大学 TUNA 协会负责运行维护。icon-default.png?t=N7T8https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

        也可以在miniconda官网下载最新安装包：Miniconda — miniconda documentation

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh
~/miniconda3/bin/conda init bash
source ~/.bashrc

 4、配置国内conda源

        各系统都可以通过修改用户目录下的 .condarc 文件来使用清华镜像源        

conda config --set show_channel_urls yes

        修改~/.condarc的配置文件

channels:- defaults
show_channel_urls: true
default_channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmsys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudbioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudmenpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudpytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloudsimpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/clouddeepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/

         清华源帮助文档地址：anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirroranaconda 使用帮助 | 镜像站使用帮助 | 清华大学开源软件镜像站，致力于为国内和校内用户提供高质量的开源软件镜像、Linux 镜像源服务，帮助用户更方便地获取开源软件。本镜像站由清华大学 TUNA 协会负责运行维护。icon-default.png?t=N7T8https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/        也可以选择其他国内源

# 中科大镜像源
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/# 阿里镜像源
conda config --add channels https://mirrors.aliyun.com/pypi/simple/# 豆瓣的python的源
conda config --add channels http://pypi.douban.com/simple/ # 显示检索路径，每次安装包时会将包源路径显示出来
conda config --set show_channel_urls yes
conda config --set always_yes True
conda config --set auto_activate_base False#执行以下命令清除索引缓存，保证用的是镜像站提供的索引
conda clean -i# 显示所有镜像通道路径命令
conda config --show channels

5、创建Python环境

        因为编译源码需要python >= 3.10，所以使用conda创建python环境

conda create -n dbgpt_env python=3.10
conda activate dbgpt_env

6、配置国内pip源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

        或修改pip配置文件，如 vi /root/.config/pip/pip.conf

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

        其他国内源：

        阿里云：https://mirrors.aliyun.com/pypi/simple/

7、编译源码

tar -zxf v0.4.3.tar.gz
cd DB-GPT-0.4.3
pip install -e ".[default]"

         编译时间较长，知道提示编译成功

三、模型部署

        直接是用git下载huggingface.co开源网站的模型文件会使用到git-lfs，需要提前安装。

apt-get install git-lfs

        在DB-GPT目录下创建models目录，用于存放下载的本地模型文件

cd DB-GPT-0.4.3
mkdir models

1、下载embedding model

1.1 text2vec-large-chinese

git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese

1.2 m3e-large

git clone https://huggingface.co/moka-ai/m3e-large

2、下载llm model

2.1 Vicuna

2.1.1 硬件需求说明
ModelQuantizeVRAM Size
Vicuna-7b-1.54-bit8GB
Vicuna-7b-1.58-bit12GB
vicuna-13b-v1.54-bit12GB
vicuna-13b-v1.58-bit24GB
2.1.2 下载地址
git clone https://huggingface.co/lmsys/vicuna-13b-v1.5
2.1.3 环境变量配置

        在 .env 文件中配置LLM_MODEL参数

LLM_MODEL=vicuna-13b-v1.5

2.2 ChatGLM2

 2.1.1 硬件需求说明
ModelQuantizeVRAM Size
ChatGLM-6b4-bit7GB
ChatGLM-6b8-bit9GB
ChatGLM-6bFP1614GB
2.1.2 下载地址
git clone https://huggingface.co/THUDM/chatglm2-6b
2.1.3 环境变量配置

        在 .env 文件中配置LLM_MODEL参数

LLM_MODEL=chatglm2-6b

2.3 llama.cpp(CPU运行)

2.3.1 直接下载

        下载已经转换好的文件TheBloke/vicuna-13B-v1.5-GGUF，将模型重命名为: ggml-model-q4_0.gguf，存放在models目录

git clone https://huggingface.co/TheBloke/vicuna-13B-v1.5-GGUF
 2.3.2 手工转换

        自行转换模型文件，将模型重命名为: ggml-model-q4_0.gguf，存放在models目录

# obtain the original LLaMA model weights and place them in ./models
ls ./models
65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model# [Optional] for models using BPE tokenizersls ./models65B 30B 13B 7B vocab.json# install Python dependencies
python3 -m pip install -r requirements.txt# convert the 7B model to ggml FP16 format
python3 convert.py models/7B/# [Optional] for models using BPE tokenizerspython convert.py models/7B/ --vocabtype bpe# quantize the model to 4-bits (using q4_0 method)
./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0# update the gguf filetype to current if older version is unsupported by another application
./quantize ./models/7B/ggml-model-q4_0.gguf ./models/7B/ggml-model-q4_0-v2.gguf COPY# run the inference
./main -m ./models/7B/ggml-model-q4_0.gguf -n 128
2.3.3 安装依赖

        llama.cpp在DB-GPT中是可选安装项, 你可以通过以下命令进行安装

pip install -e ".[llama_cpp]"
2.3.4 环境变量修改

        修改.env文件使用llama.cpp

LLM_MODEL=llama-cpp
llama_cpp_prompt_template=vicuna_v1.1

四、数据库部署

1、安装Mysql

# 更新apt源
apt update
#下载mysql-server
apt install mysql-server
#查看mysql的状态，开启mysql
service mysql status
service mysql start#进入mysql终端
mysql
#设置root密码，注意这里的密码应该和DB-GPT中的.env文件保持一致
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'Mysql2023';
#登录mysql，这里会提示输入密码，可以查看自己密码创建是否正确
mysql -u root -p

2、数据库配置

        修改.env文件中数据库的配置

#*******************************************************************#
#**                  DB-GPT METADATA DATABASE SETTINGS            **#
#*******************************************************************#
### SQLite database (Current default database)
#LOCAL_DB_TYPE=sqlite### MYSQL database
LOCAL_DB_TYPE=mysql
LOCAL_DB_USER=root
LOCAL_DB_PASSWORD={your_password}
LOCAL_DB_HOST=127.0.0.1
LOCAL_DB_PORT=3306
LOCAL_DB_NAME=dbgpt

3、测试数据

bash ./scripts/examples/load_examples.sh

五、运行服务

1、整体启动

        通过命令一键启动整个DB-GPT服务

python dbgpt/app/dbgpt_server.py

2、分服务启动

2.1 启动Model Controller

        Model Server默认端口为8000

dbgpt start controller

        启动成功如下： 

2.2 启动Model Worker

2.2.1 启动chatglm2-6b模型Worker
dbgpt start worker --model_name chatglm2-6b \
--model_path /DB-GPT-0.4.3/models/chatglm2-6b \
--port 8001 \
--controller_addr http://127.0.0.1:8000

  如果报错 'ChatGLMTokenizer' object has no attribute 'tokenizer'，则需要降级transformers，存在问题的版本为4.36.0，改为4.33.3

pip uninstall transformers
pip install transformers==4.33.3
2.2.2 启动vicuna-13b-v1.5模型Worker
dbgpt start worker --model_name vicuna-13b-v1.5 \
--model_path /DB-GPT-0.4.3/models/vicuna-13b-v1.5 \
--port 8002 \
--controller_addr http://127.0.0.1:8000

2.3 启动Embedding模型服务

dbgpt start worker --model_name text2vec \
--model_path /DB-GPT-0.4.3/models/text2vec-large-chinese \
--worker_type text2vec \
--port 8003 \
--controller_addr http://127.0.0.1:8000

2.4 查看并检查已部署模型

dbgpt model list

        显示当前运行的模型信息如下

2.5 启动Web Server服务

        --light 表示不启动嵌入式模型服务，嵌入式模型服务默认为

dbgpt start webserver --light

2.6 浏览页面

        使用浏览器访问页面http://localhost:5000/

2.7 查看显存使用

nvidia-smi

        显示显卡使用信息如下：

         

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/318652.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

R语言4版本安装mvstats（纯新手）

R语言4版本安装mvstats（纯新手）

首先下载mvstats.R文件 下载mvstats.R文件点此链接：https://download.csdn.net/download/m0_62110645/89251535 第一种方法 找到mvstats.R的文件安装位置（R语言的工作路径） getwd() 将mvstats.R保存到工作路径 在R中输入命令 source(&qu…
阅读更多...
分享我的github仓库

分享我的github仓库

这是一个由现代C编写的小型、学习性质的服务器框架，包含压缩，序列化，IO调度，Socket封装，文件配置，日志库等多个完整自研模块，欢迎到我的仓库阅读代码和安装体验，期待任何的建议和反馈…
阅读更多...
Themis新篇章：老牌衍生品协议登陆Blast L2，探索全新经济模型

Themis新篇章：老牌衍生品协议登陆Blast L2，探索全新经济模型

本文将深入分析 Themis 的最新经济模型，探讨其核心概念和机制、优势与创新之处、风险与挑战。 一、引言 随着区块链技术的不断发展，DeFi 衍生品项目逐渐成为市场的焦点。而用户体验的革新，进一步的金融创新，去中心化治理方案的优…
阅读更多...
Linux开发板 FTP 服务器移植与搭建

Linux开发板 FTP 服务器移植与搭建

VSFTPD（Very Secure FTP Daemon）是一个安全、稳定且快速的FTP服务器软件，广泛用于Unix和Linux操作系统。它以其轻量级、高效和易于配置而受到赞誉。VSFTPD不仅支持标准的FTP命令和操作，还提供了额外的安全特性，如匿名F…
阅读更多...
Python爬取豆瓣电影Top250数据

Python爬取豆瓣电影Top250数据

任务 爬取豆瓣电影top250中的影片名称、影片海报、年份、地区、类型、评分、评价人数、总体评价，并输出到douban_top250.xlsx文件中 环境 Python 3.8 requests bs4 openpyxl 源码 # 创建一个新的Excel工作簿 workbook openpyxl.Workbook() # 获取默认的工作表…
阅读更多...
软件工程全过程性文档（软件全套文档整理）

软件工程全过程性文档（软件全套文档整理）

软件项目相关全套精华资料包获取方式①：进主页。 获取方式②：本文末个人名片直接获取。 在软件开发的全过程中，文档是记录项目进展、决策、设计和测试结果的重要工具。以下是一个简要的软件全过程性文档梳理清单： 需求分析阶段…
阅读更多...
“Unite“ ＞ MacOS下很不错的网站转应用App的工具

“Unite“ ＞ MacOS下很不错的网站转应用App的工具

前言 前不久在浏览mac论坛，无意了解到一款非常好的工具，可以将网站转换为app，考虑到我们现在的主要应用都从本地客户端转成web形式使用，但基于本能的使用习惯，还是希望有个快捷的访问信息，这个应用非常适合…
阅读更多...
集成框架 -- OSS

集成框架 -- OSS

前言 接入oss必须有这两个文档基础 使用STS临时访问凭证访问OSS_对象存储(OSS)-阿里云帮助中心 前端上传跨域 正文 sts前后端通用，开通图示 AliyunSTSAssumeRoleAccess 后端实现代码 public static void main(String[] args) {String regionId "cn-ha…
阅读更多...
java-函数式编程-函数对象

java-函数式编程-函数对象

定义 什么是合格的函数？无论多少次执行函数，只要输入一样，输出就不会改变 对象方法的简写 其实在类中，我们很多参数中都有一个this，被隐藏传入了 函数也可以作为对象传递，lambda就是很好的例子 函数式接口中…
阅读更多...
性能监控之prometheus+grafana搭建

性能监控之prometheus+grafana搭建

前言 Prometheus和Grafana是两个流行的开源工具，用于监控和可视化系统和应用程序的性能指标。它们通常一起使用，提供了强大的监控和数据可视化功能。 Prometheus Prometheus是一种开源的系统监控和警报工具包。它最初由SoundCloud开发，并于…
阅读更多...
[数据结构]———归并排序

[数据结构]———归并排序

具体代码：在gitee仓库：登录 - Gitee.com 目录 ​编辑 1.基本思想： 2. 代码解析 1.分析 2.逻辑图 3.运行结果 1.基本思想： 归并排序（MERGE-SORT）是建立在归并操作上的一种有效的排序算法,该算法是采用分…
阅读更多...
学习CSS3，实现红色心形loading特效

学习CSS3，实现红色心形loading特效

试想一下，如果你的网站在加载过程中，loading图由一个老旧的菊花转动图片，变为一个红色的心形loading特效，那该有多炫酷啊。 目录 实现思路 初始化HTML部分 延迟动画是重点 设定动画效果 完整源代码 最后 实现思路 每个…
阅读更多...
《自动机理论、语言和计算导论》阅读笔记：p215-p351

《自动机理论、语言和计算导论》阅读笔记：p215-p351

《自动机理论、语言和计算导论》学习第 11 天，p215-p351总结，总计 37 页。 一、技术总结 1.constrained problem 2.Fermat’s lats theorem Fermat’s Last Theorem states that no three positive integers a, b and c satisfy the equation a^n b…
阅读更多...
Debian 12 -bash: netstat: command not found 解决办法

Debian 12 -bash: netstat: command not found 解决办法

问题表现： debian 12系统中，不能使用 netstat命令 处理办法： netstat 命令就的net-tools中，把net-tools工具安装上就好了。 apt-get install netstat 安装之后就可以使用netstat 命令了，如查询端口情况： …
阅读更多...
观察者模式实战：解密最热门的设计模式之一

观察者模式实战：解密最热门的设计模式之一

文章目录 前言一、什么是观察者模式二、Java实现观察者模式2.1 观察者接口2.2 具体观察者2.3 基础发布者2.4 具体发布者2.5 消息发送 三、Spring实现观察者模式3.1 定义事件类3.2 具体观察者3.3 具体发布者3.4 消息发送 总结 前言 随着系统的复杂度变高，我们就会采…
阅读更多...
ArmSoM-Sige5 RK3576开发板 正式发布！

ArmSoM-Sige5 RK3576开发板 正式发布！

简介​ ArmSoM-Sige5 采用Rockchip RK3576第二代8nm高性能AIOT平台，6 TOPS算力NPU，最大可配16GB大内存。支持8K视频编解码，拥有丰富的接口，支持双千兆网口，WiFi6 & BT5和多种视频输出。支持多种操作系统&#xff…
阅读更多...
c#数据库:1.c#创建并连接数据库

c#数据库:1.c#创建并连接数据库

安装软件:SQL Server Management Studio Management Studio Visual Studio 2022 启动服务: 打开SQL Server Management Studio Management Studio ,连接到服务器(GUANZU是我的计算机名) 新建数据库,随便起个名字叫aq: c#代码: using System; using System.Collections.Gener…
阅读更多...
vue3 ——笔记 (表单输入，监听器)

vue3 ——笔记 (表单输入，监听器)

表单输入 在Vue 3中，v-model指令的用法稍有不同于Vue 2。在Vue 3中，v-model指令实际上是一个语法糖，它会自动将value属性和input事件绑定到组件或元素上，以实现双向数据绑定。 在自定义组件中使用v-model时，需要在组…
阅读更多...
STM32学习和实践笔记（24）：PWM输出实验：呼吸灯

STM32学习和实践笔记（24）：PWM输出实验：呼吸灯

本实验所要实现的功能是：通过TIM3的CH1输出一个PWM信号，控制D7指示 灯由暗变亮，再由亮变暗，类似于人的呼吸。程序框架如下： （1）初始化PC6管脚为PWM输出功能 （2）PWM输出…
阅读更多...
数组不为人知的一面，sizeof与strlen的区分

数组不为人知的一面，sizeof与strlen的区分

数组有另外一种表达方式，接下来我用代码的形式展现出来： sizeof 是一个操作符。 是用来计算变量（类型）所占内存空间大小，不关注内存中存放的具体内容。 单位是字节。 strlen 是一个库函数，是专门求字符…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023