目录
- 3.5 相关应用
- 3.5.1 基于大语言模型的Agent
- 3.5.2 数据合成
- 3.5.3 Text-to-SQL
- 3.5.4 GPTs
3.5 相关应用
Prompt工程应用广泛,能提升大语言模型处理基础及复杂任务的能力,在构建Agent、数据合成、Text-to-SQL转换和设计个性化GPTs等方面不可或缺。
.
3.5.1 基于大语言模型的Agent
智能体(Agent)是能自主感知并行动以达成目标的实体,作为实现通用人工智能(AGI)的有力手段,被期望在多样化环境中完成复杂任务并展现类人智能。
传统Agent依赖简单启发式策略函数,在受限环境中学习操作,难以复制人类决策过程,限制了其能力与应用范围。基于大语言模型的Agent展现出强大决策能力,拥有全面通用知识,即便缺乏训练数据,也能进行规划、决策、工具调用等复杂行动。
Prompt工程在Agent中至关重要。Agent系统以大语言模型为核心控制器,依赖Prompt完成规划、决策、行动等操作。其框架包括:配置模块(Profile)、记忆模块(Memory)、计划模块(Planning)和行动模块(Action),Prompt工程技术贯穿整个流程,为各模块提供支持。
图3.30: 基于大语言模型的Agent框架流程示意图
在Agent中:
-
配置模块:利用Prompt工程的角色扮演技术定义Agent角色,将其背景、技能等信息嵌入交互Prompt;
-
记忆模块:作为存储中心,通过检索增强等技术并借助上下文学习优化查询,将获取的记忆添加到交互Prompt中辅助决策;
-
计划模块:借助Prompt工程的思维链和上下文学习技术,将复杂任务分解为子任务并调控粒度;
-
行动模块:将计划转化为行动步骤,通过工具API接口生成并执行代码以实现目标。这四个组件分工协作完成复杂任务。
.
3.5.2 数据合成
数据质量是决定大语言模型性能的关键因素之一,因为“Garbage in, Garbage out”,即模型表现高度依赖训练数据的质量,无论模型架构、训练算法和计算资源多么优秀。然而,获取高质量数据面临挑战:
-
公共领域:高质量语言数据预计2026年左右耗尽;
-
特定领域:垂直数据因隐私保护和标注难度等问题难以大量提供,限制了模型的进一步发展。
数据合成作为补充或替代真实数据的手段,因可控、安全、低成本等优势受关注,特别是利用大语言模型生成训练数据成为研究热点。
通过Prompt工程技术,利用大语言模型的思维和指令跟随能力合成高质量数据,Self-Instruct是代表性方法。它通过构建Prompt,多步骤调用大语言模型,依据少量指令数据合成大量多样化指令数据。
如金融场景中,先人工标注少量金融指令数据,再用Self-Instruct方法调用大语言模型,将数据扩展至数万条且保持高质量和多样性。
图3.31: Self-Instruct 流程示例图
Self-Instruct 包含构建任务池、指令生成、指令分类、数据生成、数据过滤五个步骤。
-
任务池:存储初始及后续生成的指令数据;
-
指令生成:参考任务池样例生成指令部分;
-
指令分类:将指令分为分类任务和生成任务,不同模式下生成数据方式不同;
-
数据生成:根据已有指令生成输入和回答部分;
-
数据过滤:去除低质量数据,保证指令数据质量。
它从有限的手动编写任务种子集开始,通过与大语言模型交互,不断生成指令数据,扩充原始数据集。
.
3.5.3 Text-to-SQL
Text-to-SQL:将自然语言查询翻译成可执行SQL语句。
C3是最早使用大语言模型进行零样本Text-to-SQL的方法,其核心是Prompt工程设计,包括三个关键部分:清晰提示(ClearPrompting)、提示校准(Calibration with Hints)和一致输出(Consistent Output)。
图3.33: C3 方法整体框架图
在模型输入端,清晰提示包含:
-
清晰布局:通过明确符号划分指令、上下文和问题,提升模型理解能力;
-
清晰上下文:设计零样本Prompt,指示模型从数据库中召回相关信息,提高SQL生成准确性。
为应对模型固有偏差,C3采用提示校准策略,利用包含历史对话的上下文提示,将先验知识纳入模型,通过设定模型为SQL专家角色并引导其遵循预设提示,有效校准偏差。
在模型输出端,C3采用输出校准,应用Self-Consistency方法对多种推理路径采样,选择最一致的答案,增强输出稳定性,保持SQL查询一致性。
.
3.5.4 GPTs
GPTs是OpenAI推出的支持用户自定义的GPT应用,允许用户通过编写Prompt, 添加工具等方式创建定制版的GPT应用,也可以使用别人分享的GPTs模型。
.
其他参考:【大模型基础_毛玉仁】系列文章
声明:资源可能存在第三方来源,若有侵权请联系删除!