1. 参数高效微调介绍
参数高效微调（Parameter-Efficient Fine-Tuning, PEFT） 是一种在深度学习模型微调过程中，通过仅更新少量参数来适应新任务的技术。这种方法在保持模型性能的同时，显著减少了计算资源和存储需求，特别适用于大模型（如 GPT、BERT 等）的微调场景。
PEFT常见方法及其特点:
1.1 Adapter Tuning
Adapter Tuning是一种参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术，旨在通过在
预训练模型中插入小型神经网络模块（称为 Adapter）来适应新任务，而无需对整个模型进行微调。这种方法在保持模型性能的同时，显著减少了需要训练的参数数量。
原理: Adapter Tuning 的核心思想是在预训练模型的每一层中插入小型神经网络模块（Adapterÿ
