LLM微调后回答不准还花天价？三步调教出你的“高智商”行业AI模型

大型语言模型已经变得非常强大，但现成的模型往往在特定领域/应用上有所不足。LLM 微调是在自定义数据集上进一步训练预训练 LLM，使其专门针对特定任务/领域的过程。微调使你能够注入领域知识，使模型的语调/风格与你的品牌保持一致，并在特定任务上超越通用模型的性能。微调利用了模型的现有知识，节省了从头开始训练模型的巨大成本。

基础模型比以往任何时候都更强大，但要获得真正的价值，定制化至关重要。微调有助于让你的模型听起来像你公司的行话，理解你的特定语境，并满足严格的准确性或语调准则。为你的用例微调一个较小的模型，可能比通过 API 为每个请求调用一个大型通用模型要便宜得多。在本速成课程中，我们将涵盖相关概念、工具、PEFT（LoRA、QLoRA）、最佳实践和现实世界的例子。

文章要点

• 微调通过注入特定任务的数据、术语、语调和约束，将通用 LLM 转变为领域专家——通常比依赖大型通用 API 提供更高的准确性和更低的推理成本。

• 并非每个问题都需要微调：提示工程适用于快速迭代，RAG 更适合快速变化的知识，而当行为、风格、延迟、隐私或离线使用真正重要时，微调是最佳选择。

• 参数高效微调（PEFT）是实践中的默认选项。像 LoRA 或 QLoRA 这样的技术使得能够用小型 GPU、极少量的可训练参数来微调大模型，并降低了灾难性遗忘的风险。

• 你的数据质量和评估方法比模型大小更重要：一个精心策划、具有代表性的训练数据集和一个健壮的评估流程（定量评估和人工评审的结合）是微调成功的最主要驱动力。

• 微调是一个生命周期，而非一次性任务：生产级系统需要监控、版本控制、回滚计划以及定期重新训练或数据收集，以确保长期的安全性、可靠性和高投资回报率。

你必须首先理解的关键概念

在深入工作流程之前，让我们先了解一些关于 LLM 微调的基础概念和术语。

预训练 vs. 微调 vs. 对齐

预训练是使用自监督学习在广泛语料库上对 LLM 进行的首次训练。此时，模型学会对一般语言进行建模（例如，预测数十亿个句子中的下一个单词）。预训练是无监督的，并且非常昂贵（想想训练 GPT 规模模型所需的数十亿美元计算资源）。

微调发生在预训练之后。它是迁移学习的一种形式。你拿取预训练的模型（该模型具有“一般性知识”），并针对更具体的任务，在更具体、带标签的数据集上进一步训练它。微调是一个有监督的学习过程——你给模型提供示例输入和期望的示例输出（该任务的“真实情况”）并调整模型以产生这些输出。例如，在对互联网上所有文本进行预训练后，你可以在法律问答对的数据集上微调模型，以构建一个法律助手。

对齐是一系列训练步骤，旨在调整模型的行为以更好地匹配人类意图、道德或偏好。最著名的对齐技术是基于人类反馈的 强化学习。在 RLHF 中，在以监督方式进行微调之后，你使用人类评估员对模型的输出提供反馈，然后进一步训练模型以产生评分更高的输出。这是一种让模型不仅更具任务效能，而且根据人类评审员的定义，更乐于助人、无害和诚实的方法。对齐通常利用诸如先训练一个奖励模型（用于为输出评分），然后使用强化学习对 LLM 进行微调以优化该奖励分数的技术。

总结来说，预训练赋予模型通用能力，微调教给它特定任务的技能，而 RLHF 等对齐技术则调整其行为，使其对用户来说合适且安全。这些阶段之间的区别可能有些模糊（例如，指令调优既可以描述为微调也可以描述为对齐），但记住这些差异仍然是有帮助的。

持续预训练（也称为领域自适应预训练）是一种相关方法。你在目标领域的无标签数据上继续训练模型以吸收行话，然后进行有监督的微调。这与常规微调的不同之处在于它是无监督的；它更像是使用专门文本对原始预训练的延伸。持续预训练可用于加深模型的领域知识，而微调则针对特定任务提高其性能。

有监督微调 & 指令调优

有监督微调是最简单的一种微调：你拥有输入和输出的配对，并且训练模型根据输入生成期望的输出。输出可以是分类标签、提示的预期续写等等。在客户电子邮件（输入）和最佳答案（输出）对的数据集上微调 GPT-3 就是有监督微调；模型学会将电子邮件作为输入并产生正确的响应。SFT 需要大量高质量的标注数据（创建成本可能很高），但对于定义明确的任务效果很好。

指令调优是 SFT 的一种特定情况，其中数据集包含指令和理想响应。这种微调的目的是提高 LLM 遵循自然语言指令的能力。

在实践中，当为当今大多数应用程序微调模型时，你可能会使用一个经过指令调优的基础模型，并在你的领域指令上进一步微调（这实际上是特定领域的指令调优）。例如，你可能从一个模型的“instruct”版本（例如 Llama-2-13b-chat）开始，并在你公司的问答对上对其进行微调。在这种情况下，模型已经知道如何响应指令；现在你教它如何给出你类型的答案。这比微调原始模型效果更好，所需数据更少。模型已经具备遵循提示的通用能力。

参数高效微调基础（LoRA、QLoRA、适配器）

微调 LLM 的一个主要挑战是其规模。“完整”的微调会重新训练模型中的所有参数。对于一个 7B 的模型，这代表需要更新数十亿个权重（确实如此），而对于 70B 及更大的模型，数量级更高。这意味着仅仅为了模型和优化器就需要巨大的 GPU 内存(例如 DigitalOcean 云平台的NVIDIA B300云服务器），同时也存在过拟合或灾难性遗忘模型预训练能力的风险。参数高效微调应运而生：这是一组技术，它们只调整模型的一小部分参数，从而极大地减少资源需求。

使用 PEFT，你不是修改模型中 100% 的权重，而是添加一些小的适配器权重或低秩分解矩阵，并且只训练这些部分，同时让原始模型权重大部分保持冻结。这导致需要更新的参数数量少得多（通常 <1%），内存使用更低，并且能够在单个 GPU 上微调非常大的模型。

两种流行的 PEFT 方法是 LoRA 和 QLoRA：

• LoRA （低秩自适应）： 这种 PEFT 方法涉及将小型学习矩阵添加到模型的权重矩阵中。其思想（Hu 等人，2021）是适应模型所需的变化存在于一个低维子空间中。LoRA 不完全更新大小为 NxN 的权重矩阵 W0，而只学习两个小得多的矩阵 A 和 B（大小为 Nxr 和 rxN），使得 W0 + A*B 是微调后权重的良好近似。r 代表低秩（例如 4、8 或 16）。这大大减少了可训练参数的数量——例如，一个约有 59 万个参数的密集层可以用 <7k 的总 LoRA 参数进行微调。此外，由于只有 A 和 B 有梯度，梯度和优化器的内存使用量很小，并且原始权重从不改变（避免了一些遗忘）。

• QLoRA（量化 LoRA ）： QLoRA 是一种相关方法，它在训练期间将基础模型的权重量化为 4 位精度。通常，要微调一个大模型，你会以 16 位或 32 位浮点精度加载它，这需要大量内存。QLoRA 使用 4 位整数值加载模型（同时使用一些技巧在保持准确性的前提下做到这一点），然后在上面应用 LoRA。这可以将内存使用量减少几个数量级——突然间，可以使用 QLoRA 在具有足够 VRAM 的单个 GPU 上微调 30B 或 65B 的模型。量化模型的权重是冻结的（通常完全不反向传播到 4 位权重，或以有限的方式进行），而你仍然以 16 位训练 LoRA 适配器权重。

除了 LoRA/QLoRA，PEFT 还可以涵盖其他方法，例如适配器（在每个 Transformer 块中插入的小型前馈模块，仅训练这些模块而冻结主权重）或提示调优（学习软提示向量）。然而，就微调 LLM 而言，LoRA 风格的方法是目前最主流的方法，因为它们在简单性和有效性之间取得了良好的平衡。我们将在工作流程中展示如何使用它们。

决策清单：你 真的 需要微调吗？

在投入微调之前，请评估以下因素：

• 领域特异性 – 你的用例是否是一个非常特定领域的用例，可能包含基础模型不熟悉的词汇或风格/术语？微调在这种情况下非常适用，因为它能够整合特定领域的知识/小众术语/行话。

• 知识更新频率 – 你的用例是否需要知识变化/频繁变化？如果是这样，微调可能是一个维护噩梦（你将不得不经常重新训练和重新部署）。对于动态信息（实时产品库存？每日新闻？），RAG 在此类用例中更有用。

• 延迟和离线要求 – 是否需要极低延迟，甚至无需外部调用的本地推理？微调后的模型将能够完全离线在你自己的硬件上运行，并且几乎可以即时回答（而 RAG 则需要检索文档）。这对于隔离部署或具有毫秒级延迟要求的情况来说是一个优势。RAG 的额外步骤会引入额外的延迟。

• 隐私和合规性 – 模型是否会处理敏感数据（客户数据、专有文档/文本）？使用微调且自托管的模型允许你将所有处理完全保持在内部。RAG 可以自托管，但微调是确保模型本身“内化”私有知识的唯一方式（在这种情况下 RAG 并不是一个真正的选择）。如果使用 RAG，模型将调用外部源，你需要自己托管该外部源。

• 推理成本和规模 – 微调模型允许使用更短的提示，因此每个请求的成本比增加检索开销的 RAG 要低。

怎么决定何时该微调 LLM ？

微调是一项强大的技术，但它并不总是正确的解决方案。考虑它与其他方法的比较：

微调 vs. 提示工程

提示工程是编写模型输入以影响模型输出的过程。它不会改变模型参数本身。提示工程迭代速度快，无需训练：你只需编写指令或示例。它也是资源高效的（你不需要 GPU）。提示的缺点是它们可能会达到某种上限：你可能会遇到上下文长度限制，或者对于复杂任务，输出可能不一致或不准确。

微调通过在有标签的示例上训练模型来改变模型的权重。这允许更深层次的定制。微调后的模型将能够执行你想要的任何行为，而无需每次提供长提示，因为它已经学会了该行为。

权衡在于微调需要大规模的 GPU 计算和高质量的训练数据。在实践中，提示工程对于原型设计和管理简单用例或调整效果很好。当你对任务和想要训练的数据有明确的把握时，微调对于更持久、更稳健的变更更为有效。这两种方法并不互斥——许多项目利用提示修改，如果仅靠提示无法达到期望的准确性或一致性水平，则也执行微调。

微调 vs. RAG vs. 工具/智能体

检索增强生成是另一种选择：不是修改模型，而是赋予其访问外部知识源的能力。当查询时，RAG 系统搜索

并拉入相关文档整合到提示中。这有助于让模型的知识保持最新，并通过将答案植根于检索到的文本来帮助减少幻觉。当你需要最新的知识，或者你的数据太大/太不稳定而无法注入模型时，RAG 非常有用。

相比之下，微调将领域知识烘焙到模型的权重中。模型本身成为一个自包含的专家，不再需要查找信息来回答已知情况。这提供了低延迟的响应（在运行时无需检索），并使模型能够内化数据中更微妙的方面（例如上下文细微差别、风格）。然而，微调模型中的知识是静态的：如果数据更新，你必须重新训练以刷新模型的知识。微调本身也没有赋予模型引用来源/参考资料的能力，而 RAG 方法可以引用它检索到的文档。

对于许多应用，混合方法通常效果最好。你可以微调一个 LLM，为其提供一个良好的基础行为（例如，它已经擅长遵循指令和你领域的行话），然后使用 RAG 为其提供最新的事实。

有时，你可以通过使用带有工具的 LLM 来避免大量的微调。例如，不要微调模型来执行复杂的数学运算，而是使用一个提示来调用 API 处理困难部分（一种智能体方法）。

LLM 微调工作流程

本节将引导你完成从规划一直到部署的八个步骤的 LLM 微调工作流程。

步骤 1 – 定义你的用例和成功指标。

每个微调项目都应从一个明确的目标开始。你想构建什么？合同分析助手？客户支持聊天机器人？代码生成助手？还是其他？尽可能精确地定义用例；这将指导所有其他决策（数据、模型选择等）。与用例一起定义成功标准。选择能够捕捉模型期望行为的指标或评估标准。例如：

好的，这是你要求的“步骤 2 – 选择基础模型”中的完整表格：

步骤 2 – 选择基础模型

接下来，选择你想要微调的基础 LLM。你选择的基础模型至关重要；你需要一个 A) 对当前任务足够强大，B) 允许用于你的预期用途（许可证），C) 考虑到你的硬件，可以进行合理微调的模型。下表列出了在此步骤中需要考虑的一些因素：

步骤 3 – 收集并准备你的训练数据

高质量的数据，并且是为你的任务量身定制的，是成功的关键。数据收集和准备是最耗时的环节。其子步骤包括数据收集、清理和格式化。

下表概述了为微调大型语言模型准备数据的端到端工作流程的高层次视图。它将引导你完成三个主要阶段：(1) 从所有来源收集数据（领域文档、任务演示、合成数据和公共数据集），(2) 清理和预处理这些数据，使其达到适当的质量、隐私和平衡性，以及 (3) 将数据格式化为模型就绪的输入-输出对，这些配对遵循模型在生产环境中将被提示的方式。

处理大规模训练数据需要可靠的存储。大多数大型云平台的存储与数据传输费用高昂，而 DigitalOcean 云平台则提供了极具性价比的解决方案。DigitalOcean Spaces 对象存储 服务不仅成本透明低廉，可以方便地从不同的训练实例高速读取，并确保数据持久性。

步骤 4 – 选择微调策略

现在你已经有了数据和模型——具体将如何进行微调呢？下表比较了适配大型语言模型的最常见策略：全参数微调、参数高效微调（PEFT，包括 LoRA 和 QLoRA）、上下文学习以及混合方法。

步骤 5 – 设置你的工具和环境

确定策略后，设置运行微调的环境。下表总结了 LLM 微调的实际环境设置。它包括硬件要求、核心库和框架、可选的管理平台，以及配置和测试训练脚本的典型工作流程。

步骤 6 – 训练循环和超参数

是时候进行微调了！此步骤是运行实际的训练过程并调整超参数以使其能够学习。这里我们介绍关键的训练循环超参数以及微调 LLM 的操作实践。

步骤 7 – 评估和验证

训练好模型后，下一步是评估你的微调模型，看看它是否达到了步骤 1 中定义的成功标准。评估应包括定量指标和定性分析。

评估维度 / 步骤

步骤 8 – 部署微调模型

最后一步是将你的微调模型投入生产使用。对于 LLM，部署意味着使其能够在所需规模上为推理查询提供服务，并将其与你的应用程序集成。下表总结了如何在生产中部署和服务微调后的 LLM。

示例 PEFT 项目模板（高级代码大纲）

让我们尝试组合一个 PEFT 微调项目的高级模板。这汇集了许多步骤。我们将使用伪代码/清单风格来呈现完整的项目结构和步骤：

1、 设置：选择模型并安装库。

pip install transformers datasets peft bitsandbytes accelerate

示例 MODEL_NAME（例如 "mistralai/Mistral-7B-Instruct-v0.2"）。

2、 以 4 位加载模型并添加 LoRA：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training

model_name = "mistralai/Mistral-7B-Instruct-v0.2"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    load_in_4bit=True,
    device_map="auto",
    torch_dtype=torch.float16,
)

model = prepare_model_for_kbit_training(model)

lora_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

这里的 prepare_model_for_kbit_training 正在执行各种推荐的操作（梯度检查点、将层规范转换为 fp32 等）以确保 QLoRA 的稳定性。

3、 准备数据：

• 将你的数据集加载或创建为训练示例列表。

• 进行分词化并格式化为输入 ID 和标签。

4、 训练循环（使用 HF Trainer 或自定义）：

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir="outputs/my-model",
    per_device_train_batch_size=2,
    gradient_accumulation_steps=16, # 有效批次大小 32
    num_train_epochs=3,
    learning_rate=2e-4,
    fp16=True,
    logging_steps=10,
    save_steps=50,
    save_total_limit=2,
    evaluation_strategy="epoch",
    report_to="none")
trainer = Trainer(model=model, args=training_args,
                  train_dataset=train_dataset, eval_dataset=val_dataset)
trainer.train()

我们执行梯度累积以达到批次大小 32。我们定期保存检查点（每 50 步），并保留最后 2 个。如果可用，在每个轮次对 val_dataset 进行评估。

5、 评估：

训练后，加载最佳模型（训练器应该已经保存了它，或者使用最后一个检查点）：

model.eval() # 运行一些已知测试：
for prompt in ["Example user query 1", "Example user query 2"]:
    inputs = tokenizer(prompt, return_tensors='pt').to("cuda")
    outputs = model.generate(**inputs, max_new_tokens=100)
    print("Prompt:", prompt)
    print("Response:", tokenizer.decode(outputs[0], skip_special_tokens=True))

如果你有结构化输出或参考答案，则计算指标。

6、 保存 LoRA ****适配器（或合并后的模型）：

model.save_pretrained("outputs/my-model/lora") # 在 PEFT 中，默认情况下仅保存适配器

默认情况下，get_peft_model 包装了基础模型，因此调用 save_pretrained 将保存一个配置 + LoRA 权重（而非基础权重）到 adapter_model.bin 或类似文件。你需要分别获取基础模型权重才能使用它们。或者，要获得一个独立的模型：

merged_model = model.merge_and_unload()
merged_model.save_pretrained("outputs/my-model/full")

这将生成一个包含完整模型（基础+适配器合并后）的目录。合并时要注意内存（你需要将整个模型加载到内存中）。

7、 部署准备：

• 如果使用 Transformers 进行推理，只需在那里加载合并后的模型，或者使用 PeftModel.from_pretrained(base_model, "outputs/my-model/lora") 动态应用适配器。

• 对于专用服务（如 TGI 或 vLLM），相应地打包模型（它们通常接受包含配置和权重的模型文件夹）。

• 可选地，你可以为了推理进一步量化它（如果你计划进行 CPU 服务，则转换为 int4 GGML；或者为了 GPU 转换为 int8 以减少内存占用）。

8、 测试：如果可能，在暂存环境或真实数据的子集上进行最终测试，然后部署。

上面的模板省略了一些细节（精确的数据整理函数、任何自定义生成设置……），但它应该是你可以作为大多数任务起点的模式。

真实用例

微调不仅仅是理论练习——许多组织正在通过它来在特定应用中释放价值。让我们看几个用例。

在历史工单上微调的客户支持助手

假设一个组织多年来一直在生成客户支持日志：电子邮件、聊天记录、FAQ 文章等。他们想要一个 AI 助手，能够使用现有数据快速、一致地回答客户问题。GPT-4 和类似的开源模型可以回答任何可能想到的随机问题，但它们显然不了解该组织内部任何特定的产品规格、政策或过去的解决方案细节。在过去的支持工单/解决方案上微调 LLM，可以有效地为该组织创建一个自定义的支持领域专家模型。

在合同和政策上微调的法律/合规助手

法律/合规文档是专家知识存在于小众行话和精确定义概念中的经典例子。通用 LLM 不具备你公司特定合同语言、政策或合规义务的先验知识。然而，通过在你领域的文档语料库（合同、政策手册、监管文件等）上进行微调，你可以构建一个具备该专家知识的模型。

例如，你可以在大量合同文本上进行微调，然后让模型回答诸如“这份合同草案是否有竞业禁止条款？如果有，总结它施加了哪些限制。”这样的问题，其准确性将高于通用模型。它在训练期间已经看到了许多条款变体，并学会了如何提取/理解它们。

特定领域的代码助手（针对特定技术栈）

面向软件开发人员的 AI 编码助手已经被广泛使用。然而，许多是在通用代码和文档上训练的。内部公司框架、库和代码库细节不一定存在于通用 LLM 中。如果你在自己的代码库和文档上微调一个 LLM，你可以构建一个精通你技术栈的代码助手。

LLM 微调中的常见陷阱（以及如何避免）

微调 LLM 可能是一项强大的技术，但如果不小心操作，也可能造成严重错误。让我们来看看一些常见的反模式以及如何避免它们：

简单小结一下

LLM 微调曾经是一个小众的优化步骤。然而，它正迅速成为将强大基础模型转化为可靠的、特定领域系统的默认方法。通过利用预训练能力作为起点，而不是从头开始训练，你可以将自己的数据、语调和约束注入模型，同时控制计算和工程工作量。有监督微调、指令调优和 RLHF 等对齐技术的结合，也提供了一个工具包来塑造模型知道什么以及如何行为。

LoRA 和 QLoRA 等参数高效微调方法允许使用适度的 GPU 和极少量的可训练参数来适应庞大的模型。这大大降低了实验的门槛。结合一个原则性的决策框架，你

可以为每个用例选择正确的技术，而不是默认选择最昂贵的选项。

有效的 LLM 微调更多是关于一个规范的微调生命周期：定义你的用例 → 选择合适的基础模型 → 策划高质量的数据 → 选择策略（全参数微调或 PEFT） → 使用合理的超参数进行训练 → 严格评估 → 部署并实施监控、版本控制和回滚。如果你将微调视为一个迭代的产品过程，而不是一次性的实验，你就可以将通用 LLM 转变为技术栈中可靠、高投资回报率的组件。