论文速读|Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models
论文信息:
简介:
本文讨论的背景是大型语言模型(LLMs)的自我对齐问题。传统的LLMs对齐方法依赖于昂贵的训练和人类偏好注释,这限制了它们的可扩展性和实用性。随着LLMs变得更复杂和广泛采用,对于成本效益高、注释效率高且能快速适应的对齐策略的需求日益迫切。自我对齐旨在通过利用模型本身来提高LLMs的对齐,例如用模型生成的反馈替换人类反馈,合成偏好数据或自我批评。然而,这些方法仍然需要大量的资源,包括成本高昂且不稳定的RLHF(从人类反馈中学习的强化学习)调整,以及一定程度的人类监督。本文解决的问题是如何在不进行昂贵调整或注释的情况下,实现LLMs的自我对齐。具体来说,它旨在降低与LLMs对齐相关的成本,并提高模型适应不同对齐挑战的效率。本文提出了一种无需调整的自我对齐方法,称为动态奖励与提示优化(DRPO),它利用基于搜索的优化框架,使LLMs能够迭代自我改进并制定最优的对齐指令,无需额外的训练或人类干预。
论文方法:
本文提出的方法是动态奖励与提示优化(DRPO),它基于搜索的提示优化(PO)框架构建,使LLMs能够自我纠正并自动制定详细的对齐指令。DRPO的核心创新在于其动态奖励机制,该机制与优化框架集成,允许基于特定查询动态调整LLMs的奖励,以识别和解决模型的对齐盲点。具体来说,DRPO包括以下几个步骤:
问题表述:给定一个LLM B,对齐指令由系统提示P和一组N个上下文学习(ICL)示例I组成。目标是找到最佳的P和IK,以最大化模型响应的对齐。
动态奖励与提示优化(DRPO):DRPO将系统提示和ICL示例分别优化,采用两步优化方法。首先,构建一个通用的ICL示例集并优化它们的响应以获得I*,然后基于优化后的通用集I估计模型特定的系统提示P。
动态奖励机制:将优化问题表述为马尔可夫决策过程(MDP),状态s代表优化目标,动作a基于给定状态的对齐反馈定义。动态奖励函数R可以根据特定查询动态调整,以灵活地评分和评估响应。
ICL示例优化:从一组基础ICL示例开始,目标是找到一个通用集I*,以最大化跨不同模型的对齐。通过搜索树的状态s0 = bi初始化,并使用动态奖励函数R评估和改进对齐。
系统提示优化:使用K个优化的ICL示例IK,通过相似性检索选择。收集一组种子样本X,用于测试基础模型B的对齐。目标是找到最优提示P,以最大化LLM B的对齐。
论文实验:
根据Table 1,论文中的实验旨在评估动态奖励与提示优化(DRPO)方法在不同大型语言模型(LLMs)上的性能,并与基线方法进行比较。实验使用了just-eval-instruct基准测试,这是一个合并了五个流行对齐数据集的标准对齐基准,包含1000个示例,用于全面和细致地评估LLM对齐。这些示例中,前800个评估模型的帮助性,剩下的200个评估无害性。评分标准从1到5,分别代表“强烈反对”、“反对”、“中立”、“同意”和“强烈同意”。DRPO在所有模型上的表现均优于基线方法,无论是未经调整的模型还是经过SFT/RLHF调整的模型。在未经调整的模型(如Mistral 7b和Llama 2 70bq)上应用DRPO后,其表现甚至超过了经过RLHF/SFT调整的模型。DRPO在URIAL使用的ICL示例数量更少的情况下,仍然实现了优于URIAL的性能,这突显了DRPO优化对齐指令的质量。表中还提到,尽管just-eval-instruct包括了安全指标,但所有方法(RLHF/SFT、URIAL和DRPO)在安全指标上都取得了一致的高分,表明像DRPO这样的无需调整的方法可以实现非常安全且符合人类价值观的模型。
论文链接:
https://arxiv.org/abs/2411.08733
原文来自:
NLP论文速读(EMNLP 2024)|动态奖励与提示优化来帮助语言模型的进行自我对齐