大模型微调

推荐语

大模型微调技术深度解析，助力机器学习与深度学习任务的高效执行。

核心内容：
1. Fine-tuning技术详解，及其在大数据集上的应用优势
2. Parameter-Efficient Fine-Tuning（PEFT）技术及其核心方法
3. P-Tuning技术原理与实际应用案例分析

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

1. Fine-Tuning

Fine-tuning 是指在保留大部分预训练权重的基础上，针对目标任务重新训练整个网络或者部分层的参数。这种方法通常适用于目标数据集较大且具有代表性的情况

2. Parameter-Efficient Fine-Tuning (PEFT)

Parameter-efficient fine-tuning 方法旨在减少可更新参数的数量，从而降低计算成本并提高效率。常见技术包括 LoRA（Low-Rank Adaptation）、Prefix Tuning 和 P-Tuning 等。

LoRA 的核心思想是在原有矩阵上引入低秩分解后的两个小型矩阵作为增量模块进行优化，仅需少量额外存储空间即可实现性能提升。

Prefix-Tuning，一种轻量级替代方法，用于对自然语言生成任务进行微调，在使语言模型参数冻结的同时，去优化一个参数量少的 continuous task-specific vector（称为prefix）。Prefix-Tuning方法启发于prompting的灵感，prompting允许子序列字符填加到此前缀后，并把prompting作为“virtual tokens”。 我们将prefix-tuning应用于GPT-2，用于表格到文本的生成，也应用于BART，以进行文本摘要。

BART（Bidirectional and Auto-Regressive Transformer）是 Facebook AI（FAIR） 在 2019 年提出的一种 预训练文本生成模型，它结合了 BERT 的双向编码能力 和 GPT 的自回归解码能力，适用于 文本修复、文本摘要、问答系统、文本生成 等任务。

P-Tuning 全称为 Prompt-Tuning，它是一种微调大语言模型（Large Language Model, LLM）的方法。与传统的全参数微调（Fine-tuning）不同，P-Tuning 只在模型输入层或中间层插入可学习的“Prompt Embeddings”（也称 Prompt Tokens/Prefix 等），从而极大减少微调参数量。其核心思想可以归纳为：

提示调整示例：

输入序列: [Prompt1][Prompt2] “这部电影令人振奋。”

问题: 评价这部电影的情感倾向。

答案: 模型需要预测情感倾向（例如“积极”）

提示: 没有明确的外部提示，[Prompt1][Prompt2]作为引导模型的内部提示，这里的问题是隐含的，即判断文本中表达的情感倾向。

4. Prompt Learning

Prompt-based tuning 利用自然语言提示引导模型更好地理解输入信息，并将其转化为适合下游任务的形式处理。这种方式特别适合少样本甚至零样本地场景应用。

5.Adapter Tuning

模型微调策略选型