DB-GPT：强强联合Langchain-Vicuna的应用实战开源项目，彻底改变与数据库的交互方式

今天看到蚂蚁科技 Magic 开源的DB-GPT项目，觉得创意很好，集成了当前LLM的主流技术，主要如下

Langchain：构建在LLM之上的应用开发框架
HuggingFace: 模型标准，提供大模型管理功能
Vicuna: 一个令GPT-4惊艳的开源聊天机器人，基于LLaMA模型和ShareGPT数据集训练的，能够达到接近ChatGPT/Bard的质量，而且明显优于其它基准模型

本文针对DB-GPT详细了解下的笔记

什么是DB-GPT

DB-GPT ： Revolutionizing Database Interactions with Private LLM Technology

DB-GPT是一个实验性的开源项目，它使用本地化的GPT大型模型与数据和环境进行交互。使用此解决方案，没有数据泄露的风险，数据是100%私密和安全的。

DB-GPT使用FastChat创建了一个庞大的模型操作系统，并提供了一个由Vicuna驱动的大型语言模型。此外，还提供了私有领域知识库问答功能、对其他插件的支持、支持Auto-GPT插件。

DB-GPT愿景是使围绕数据库和llm构建应用程序变得更容易、更方便。

GPT项目可以直接本地部署连接到私有数据库, 进行私有数据处理，目前已支持SQL生成、SQL诊断、数据库知识问答、数据处理等一系列的工作

SQL语言功能
- SQL生成
- SQL诊断
私人领域的问答和数据处理
- 知识管理(目前支持多种文档格式:txt, pdf, md, html, doc, ppt和url)
- 数据库知识问答
- 知识嵌入（knowledge Embedding）
插件
- 支持自定义插件执行任务，并原生支持Auto-GPT插件，例如:
  - 自动执行SQL和检索查询结果
  - 自动爬取和学习知识（crawling and learning of knowledge）
知识库的统一矢量存储/索引
- 支持PDF、TXT、Markdown、CSV、DOC、PPT、webl等非结构化数据
支持多个LLMs
- 支持多种大型语言模型，目前支持Vicuna (7b,13b)， ChatGLM-6b (int4, int8)， guanaco(7b,13b,33b)， Gorilla(7b,13b)，🔥llama-2(7b, 13b, 70b)
- TODO: baichuan(7b, 13b)

具备的能力如下

子模块：

整个知识库的处理过程，可参考如下：
在这里插入图片描述

这个项目是站在巨人的肩膀上，没有开源社区是无法工作的。

FastChat for providing chat services
vicuna-13b as the base model
langchain tool chain
Auto-GPT universal plugin template
Hugging Face for big model management
Chroma for vector storage
Milvus for distributed vector storage
ChatGLM as the base model
llama_index for enhancing database-related knowledge using in-context learning based on existing knowledge bases.

DB-GPT在消费级GPU即可完成部署，具体部署的硬件说明如下: