详解基于 RAG 的 txt2sql 全过程

前文

本文使用通义千问大模型和 ChromaDB 向量数据库来实现一个完整的 text2sql 的项目，并基于实际的业务进行效果的展示。

准备

在进行项目之前需要准备下面主要的内容：

  • python 环境
  • 通义千问 qwen-max 模型的 api-key
  • ChromaDB 向量数据库
  • acge_text_embedding 嵌入模型

RAG

首先在进行主要内容之前要先回顾一下基础知识，市面上 的 text2sql 项目的基本框架就是下图中展示的 RAG 框架图，也就是常说的检索增强生成技术。结合我们的 text2sql 业务数据，我们按照图中的 1 + 3 个步骤分别介绍。“1” 指的是要进行 RAG 的预先准备工作，“3” 是 RAG 的三个步骤。

  1. 使用我们准备好的 acge_text_embedding 嵌入模型 将相关的数据库表结构信息、字段使用方法、供大模型参考的question-sql 对等信息都进行向量化，然后将向量存入ChromaDB 向量数据库。
  2. 用户提出针对数据库的问题 query ，然后通过同样的 acge_text_embedding 嵌入模型 将 query 转化成向量，通过相关性计算算法，从ChromaDB 向量数据库中召回和 query 最相关的文本作为上下文 context ，这里的 context 理想状态下肯定是和问题相关的表结构、字段信息，或者相似的 question-sql 对 ，这些信息会在后面输入进 LLM 中，供 LLM 理解。
  3. 将用户的 query 和 context 拼接成一个完整的 prompt ，此时的 prompt 中既有供 LLM 参考的问题相关的可用信息，又有用户的问题 。
  4. 将 prompt 给 LLM ，让其输出合理的结果，我们这里的结果其实就是预先想要得到的 sql 。

所以到现在我们应该能体会出来，RAG 的框架最核心的只有两个部分：

  1. 第一就是能从向量数据库中召回最相关的上下文供 LLM 理解问题相关的上下文：
  2. 第二就是大模型的理解能力，是否能在给出充足上下的情况下将问题解决。

在这里插入图片描述

RAG 疑问

有的人可能会说为什么不跳过第一步，把数据库所有的信息都输入给大模型，理论上也是可以的。但是具体实施会有困难，原因如下：

  1. 目前大模型输入 token 都有明确的限制，比如 qwen-max 模型只有 8K （尽管这些限制在逐渐消失，现在很多大模型的输入 token 都已经过百万 token 了）。
  2. 另外就是考虑到成本，发送大量 token 是非常昂贵的操作，如果模型理解能力有限，更是毫无意义。
  3. 最后就是从实际的研究，仅发送少量的但是质量较高的相关信息给大模型更有助于生成好的答案。

详细过程

数据准备

ddl.txt：这里面存放的都是业务范围内容的表结构。如下：

sql
复制代码
CREATE TABLE ai_prj_plan ( duty_party character varying(255) , pipeline_type character varying(255) , ... );
CREATE TABLE dtqjln (  xmbh character varying(100), jgsj integer, ...}

documentations.txt : 这里存放的是每个字段的详细说明或者注意事项。如下：

bash
复制代码
ai_prj_plan 表中的字段 id 表示工程计划的主键 id 。
ai_prj_plan 表中的字段 create_time 表示工程计划的创建时间。
...
dtqjln 表中的字段 jsdw 表示地铁线路或者地铁区间的建设单位名称。
dtqjln 表中的字段 sjdw 表示地铁线路或者地铁区间的设计单位名称。

question-sql.txt : 这里存放的是一些代表性的业务可能涉及到的问题-sql 对样本，如下：

sql
复制代码
已经投运的管线工程计划总长###select SUM(length::numeric) from ai_prj_plan where current_progress=5 and plan_type in (1,2,3)
查10条计划单独施工的工程名字###select project_name as "ai_prj_plan.project_name"  from ai_prj_plan where plan_type=1 limit 10
...

导入向量数据库

这里的三个文件，每一行都作为一个 doc ，然后将每一行使用预先准备的 acge_text_embedding 嵌入模型 转化成 1024 向量，也就是三个文件一共有多少行，就会有多少个 1024 的向量，然后都存入ChromaDB 向量数据库。

用户提问

用户提问“2023年入廊管线中前期项目的计划有多少”，会使用预先准备的 acge_text_embedding 嵌入模型，将问题转化为一个 1024 向量，将其与ChromaDB 向量数据库 中的所有 1024 向量进行相似性召回，分别从三个文件中找出最相关的内容，至于召回策略可以自己定义。根据我的自定义召回策略，然后将召回的内容和问题进行拼接组成下面的完整的 prompt ，从完整的 prompt 我们可以看到召回了将要使用的表结构 ai_prj_plan 以及相关字段 plan_type 、annual_aim_json 、plan_category 的使用说明，最后找出了两个可能对模型有用的 question-sql 对供模型参考。所以下面的内容是提供了足够完成用户提问的相关信息，最终模型也给我们生成了符合要求的 SQL ，说明我们的整体项目实现了既定的目标。

python
复制代码
[{'role': 'system', 'content': '您是一名精通 SQL 的专家，用户会提出业务相关的问题，请根据相关信息回答合适的 SQL ，您将仅使用 SQL 代码进行回答，不进行任何解释。您可以使用以下展示出的表结构作为参考：\n\nCREATE TABLE ai_prj_plan\n(\n    id character varying(64)  NOT NULL,\n    create_time timestamp(6) without time zone,\n    update_time timestamp(6) without time zone,\n    remark character varying(255) ,\n    plan_type integer,\n    duty_party character varying(255) ,\n    pipeline_type character varying(255) ,\n    project_name character varying(255) ,\n    dlmc character varying(255) ,\n    start_end_point character varying(255) ,\n    ssqx character varying(100) ,\n    total_invest real,\n    length real,\n    plan_code character varying(255) ,\n    plan_category integer,\n    version integer,\n    accept integer,\n    verify_status integer,\n    refuse_reason character varying(255) ,\n    geom geometry(Geometry,4326), -- 几何使用 4326 坐标系\n    years character varying(255) ,\n    current_progress integer,\n    annual_aim_json text ,\n)\n\n您可以使用以下展示出的 documentation 作为参考，每个 documentation 解释了每个表的字段的名字和用法，使用他们以指导您有效准确地回答用户的问题，请务必遵循每个字段的使用方法和注意事项:\n\nai_prj_plan 表中的字段 plan_type 表示工程计划中涵盖的工程类型，我们规定只能枚举整数 1 、 2 、 3 、 4 、 5 ，整数 1 表示单独施工管线计划，整数 2 表示随道路施工管线工程计划，整数 3 表示入廊管线工程计划，整数 4 表示管廊工程计划，整数 5 表示互联互通工程计划，其中将整数 1 、 2 、 3 代表的三种工程计划合并起来统称为“管线工程计划”或者"管线计划"。\n\nai_prj_plan 表中的字段 plan_category 表示工程计划的计划分类，我们规定只能枚举整数 1 和 2 ，整数 1 表示工程计划在计划内，整数 2 表示工程计划在计划外。\n\nai_prj_plan 表中的字段 annual_aim_json 表示工程计划的每年详细计划列表，虽然该字段是字符串内容，但是存储格式是 json 列表。每个 json 中有三个字段 year、planProgress、 planInvest，表示打算计划在某年（year）给该项目一定的投资（planInvest），要将该项目推进到计划的进度（planProgress）。}, {'role': 'user', 'content': '2024年入廊管线中前期项目的计划有多少'}, {'role': 'assistant', 'content': "SELECT COUNT(*) FROM ai_prj_plan, jsonb_array_elements(annual_aim_json::jsonb) AS aim  WHERE (aim->>'planProgress')::integer = 1 AND plan_category = 1 AND plan_type = 3 AND (aim->>'year')::integer = 2024;"}, {'role': 'user', 'content': '2024年入廊管线中已完成的前期项目有多少'}, {'role': 'assistant', 'content': "SELECT COUNT(1) AS cnt FROM ai_prj_plan, jsonb_array_elements(annual_aim_json::jsonb) AS aim WHERE (aim->>'year')::int = 2024  and (aim->>'planProgress')::int <= current_progress and (aim->>'planProgress') is not null  and plan_type  = 3 and current_progress = 1    and plan_category = 1"}, {'role': 'user', 'content': '2023年入廊管线中前期项目的计划有多少'}]

大模型结果输出：

sql
复制代码
Sql:SELECT COUNT(*) FROM ai_prj_plan, jsonb_array_elements(annual_aim_json::jsonb) AS aim  WHERE (aim->>'planProgress')::integer = 1 AND plan_category = 1 AND plan_type = 3 AND (aim->>'year')::integer = 2023;

完结撒花，希望上面的内容能给大家解释清楚相关的技术原理和细节。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/320219.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Sharding Capital: 为什么投资全链流动性基础设施 Entangle ？

Sharding Capital: 为什么投资全链流动性基础设施 Entangle ？

写在前面&#xff1a;Entangle 项目的名称取自于量子纠缠(Quantum entanglement)&#xff0c;体现了项目对于构建连接、关联和互通的愿景。就像量子纠缠将不同的粒子联系在一起&#xff0c;Entangle 旨在通过其跨链流动性和合成衍生品的解决方案将不同的区块链网络连接在一起&a…
阅读更多...
django设计模式理解FBV和CBV

django设计模式理解FBV和CBV

在 Web 开发中&#xff0c;FBV&#xff08;Function-Based Views&#xff09;和 CBV&#xff08;Class-Based Views&#xff09;是两种常见的视图设计模式&#xff0c;用于处理 HTTP 请求并生成相应的响应。下面是它们的简要解释&#xff1a; Function-Based Views (FBV) 在 …
阅读更多...
激发创新活力，泸州老窖锻造人才“铁军”（内附长江酒道短评）

激发创新活力，泸州老窖锻造人才“铁军”（内附长江酒道短评）

执笔 | 姜 姜 编辑 | 古利特 刚刚站上300亿元新台阶&#xff0c;泸州老窖再次传来喜讯。 <<<左右滑动查看更多>>> 4月28日&#xff0c;四川省庆祝“五一”国际劳动节大会在成都召开。泸州老窖股份有限公司工业4.0项目秘书长赵丙坤、泸州老窖酿酒有限责任公…
阅读更多...
VS Code 远程连接 SSH 服务器

VS Code 远程连接 SSH 服务器

文章目录 一、安装 Remote - SSH 扩展并连接远程主机二、免密连接远程主机1. 生成 SSH 密钥对2. 将公钥复制到远程服务器3. 配置 SSH 客服端4. 连接测试 随着技术的不断迭代更新&#xff0c;在 Linux 系统中使用 Vim、nano 等基于 Shell 终端的编辑器&#xff08;我曾经也是个 …
阅读更多...
利用AI大模型和Echarts 绘制知识图谱，实现文本信息提取和图数据库操作

利用AI大模型和Echarts 绘制知识图谱，实现文本信息提取和图数据库操作

引言 随着信息时代的到来&#xff0c;海量的文本数据成为了我们获取知识的重要来源。然而&#xff0c;如何从这些文本数据中提取出有用的信息&#xff0c;并将其以可视化的方式展示出来&#xff0c;一直是一个具有挑战性的问题。近年来&#xff0c;随着人工智能技术的发展&…
阅读更多...
热敏电阻符号与常见术语详细解析

热敏电阻符号与常见术语详细解析

热敏电阻是一种电阻器&#xff0c;其特点是电阻值随温度的变化而显著变化&#xff0c;这使得它们成为非常有用的温度传感器。它们可以由单晶、多晶或玻璃、塑料等半导体材料制成&#xff0c;并分为两大类&#xff1a;正温度系数热敏电阻&#xff08;#PTC热敏电阻#&#xff09;和…
阅读更多...
纯血鸿蒙APP实战开发——短视频切换实现案例

纯血鸿蒙APP实战开发——短视频切换实现案例

短视频切换实现案例 介绍 短视频切换在应用开发中是一种常见场景&#xff0c;上下滑动可以切换视频&#xff0c;十分方便。本模块基于Swiper组件和Video组件实现短视频切换功能。 效果图预览 使用说明 上下滑动可以切换视频。点击屏幕暂停视频&#xff0c;再次点击继续播放…
阅读更多...
场外个股期权和场内个股期权的优缺点是什么？

场外个股期权和场内个股期权的优缺点是什么？

场外个股期权和场内个股期权的优缺点 场外个股期权是指在沪深交易所之外交易的个股期权&#xff0c;其本质是一种金融衍生品&#xff0c;允许投资者在股票交易场所外以特定价格买进或卖出证券。场内个股期权是以单只股票作为标的资产的期权合约&#xff0c;其内在价值是基于标…
阅读更多...
深度学习-线性回归+基础优化算法

深度学习-线性回归+基础优化算法

目录 线性模型衡量预估质量训练数据参数学习训练损失最小化损失来学习参数显式解 总结基础优化梯度下降选择学习率 小批量随机梯度下降选择批量大小 总结线性回归的从零开始实现实现一个函数读取小批量效果展示这里可视化看一下 线性回归从零开始实现线性回归的简洁实现效果展示…
阅读更多...
HCIP第二节

HCIP第二节

OSPF&#xff1a;开放式最短路径协议&#xff08;属于IGP-内部网关路由协议&#xff09; 优点&#xff1a;相比与静态可以实时收敛 更新方式&#xff1a;触发更新&#xff1a;224.0.0.5/6 周期更新&#xff1a;30min 在华为设备欸中&#xff0c;默认ospf优先级是10&#…
阅读更多...
vue3+vite+js 实现移动端，PC端响应式布局

vue3+vite+js 实现移动端，PC端响应式布局

目前使用的是vue3vite&#xff0c;没有使用ts 纯移动端|PC端 这种适用于只适用一个端的情况 方法&#xff1a;amfe-flexible postcss-pxtorem相结合 ① 执行以下两个命令 npm i -S amfe-flexible npm install postcss-pxtorem --save-dev② main.js文件引用 import amfe-f…
阅读更多...
使用固定公网地址远程访问开源服务器运维管理面板1Panel管理界面

使用固定公网地址远程访问开源服务器运维管理面板1Panel管理界面

文章目录 前言1. Linux 安装1Panel2. 安装cpolar内网穿透3. 配置1Panel公网访问地址4. 公网远程访问1Panel管理界面5. 固定1Panel公网地址 前言 1Panel 是一个现代化、开源的 Linux 服务器运维管理面板。高效管理,通过 Web 端轻松管理 Linux 服务器&#xff0c;包括主机监控、…
阅读更多...
【前端】输入时字符跳动动画实现

【前端】输入时字符跳动动画实现

输入时字符跳动动画实现 在前端开发中&#xff0c;为了提升用户体验&#xff0c;我们经常需要为用户的交互行为提供即时的反馈。这不仅让用户知道他们的操作有了响应&#xff0c;还可以让整个界面看起来更加生动、有趣。本文将通过一个简单的例子讲解如何实现在用户输入字符时…
阅读更多...
更适合宝妈和上班族的兼职，每天2小时收入250+的微头条项目

更适合宝妈和上班族的兼职，每天2小时收入250+的微头条项目

许多人通过撰写微头条赚取收入&#xff0c;但这通常需要自己寻找素材&#xff0c;然后逐字逐句地进行改编创作&#xff0c;整个过程既繁琐又低效。 然而&#xff0c;如今全球范围内的AI工具正如雨后春笋般涌现。百度推出了文心一言&#xff0c;阿里巴巴推出了AI工具通义千问&a…
阅读更多...
Stateflow基础知识笔记

Stateflow基础知识笔记

01--Simulink/Stateflow概述 Stateflow是集成于Simulink中的图形化设计与开发工具&#xff0c;主要 用于针对控制系统中的复杂控制逻辑进行建模与仿真&#xff0c;或者说&#xff0c; Stateflow适用于针对事件响应系统进行建模与仿真。 Stateflow必须与Simulink联合使用&#…
阅读更多...
20240503解决Ubuntu20.04和WIN10双系统下WIN10的时间异常的问题

20240503解决Ubuntu20.04和WIN10双系统下WIN10的时间异常的问题

20240503解决Ubuntu20.04和WIN10双系统下WIN10的时间异常的问题 2024/5/3 9:33 缘起&#xff1a;因为工作需要&#xff0c;编译服务器上都会安装Ubuntu20.04。 但是因为WINDOWS强悍的生态系统&#xff0c;偶尔还是有必须要用WINDOWS的时候&#xff0c;于是也安装了WIN10。 双系…
阅读更多...
LNMP部署wordpress

LNMP部署wordpress

1.环境准备 总体架构介绍 序号类型名称外网地址内网地址软件02负载均衡服务器lb0110.0.0.5192.168.88.5nginx keepalived03负载均衡服务器lb0210.0.0.6192.168.88.6nginx keepalived04web服务器web0110.0.0.7192.168.88.7nginx05web服务器web0210.0.0.8192.168.88.8nginx06we…
阅读更多...
Flask应用的部署和使用，以照片分割为例。

Flask应用的部署和使用，以照片分割为例。

任务是本地上传一张照片&#xff0c;在服务器端处理后&#xff0c;下载到本地。 服务器端已经封装好了相关的程序通过以下语句调用 from amg_test import main from test import test main() test() 首先要在虚拟环境中安装flask pip install Flask 文件组织架构 your_pro…
阅读更多...
BERT模型的网络结构解析 运行案例分析

BERT模型的网络结构解析 运行案例分析

整体结构 第一部分&#xff1a;嵌入层第二部分&#xff1a;编码层第三部分&#xff1a;输出层 对于一个m分类任务&#xff0c;输入n个词作为一次数据&#xff0c;单个批次输入t个数据&#xff0c;在BERT模型的不同部分&#xff0c;数据的形状信息如下&#xff1a; 注1&#x…
阅读更多...
【保姆级讲解如何安装与配置Xcode】

【保姆级讲解如何安装与配置Xcode】

&#x1f308;个人主页: 程序员不想敲代码啊 &#x1f3c6;CSDN优质创作者&#xff0c;CSDN实力新星&#xff0c;CSDN博客专家 &#x1f44d;点赞⭐评论⭐收藏 &#x1f91d;希望本文对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出指正&#xff0c;让我们共…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023