尧图网页设计 
1. 六周微调路线到底解决什么问题如果你正在搜「大模型微调怎么入门」「LoRA 和 QLoRA 有什么区别」「RAG 和微调该选哪个」这篇就是按 6 周节奏拆给你看的实操路线。它适合有 Python 基础、想系统跑通一次微调与检索增强、但被零散教程绕晕的开发者。核心目标只有一个每周都有能跑起来的命令、能看到的输出、能判断对错的验证动作而不是收藏一堆视频。我把这条路线分成三段第 1-2 周打地基环境、数据、Tokenizer、注意力机制第 3-4 周做参数高效微调LoRA 先跑通QLoRA 再压显存第 5-6 周接 RAG 检索增强并做评测。中间所有调用大模型的环节我用 TaoToken 的统一 Key 和 API 通道来收敛配置避免每换一个工具就重配一遍环境变量。先说清楚一个常见误区微调和 RAG 不是二选一。微调改变的是模型的「表达习惯和任务格式」RAG 改变的是模型「能查到什么事实」。你要让模型学会用你公司的口吻写工单回复用 LoRA你要让它回答昨天刚更新的产品价格用 RAG。两者叠加才是生产里最常见的形态。下面按周推进每段都给出可复制的配置骨架和验证方法。你可以按顺序做也可以先跳到第 3 周看 LoRA 配置再回头补数据准备。2. TaoToken 前置统一 Key 与 API 通道在动手微调之前先把「调用大模型」这件事的配置固定下来。原因是第 1-2 周你要用大模型帮你读论文、解释报错第 5-6 周 RAG 的生成环节也要调模型。如果每个工具各配一套 Key后面排障会非常痛苦。TaoToken 在这里的角色是一个统一的 API 通道你申请一次 Key就能在多个 AI 工具和脚本里复用同一套接入方式。官网入口是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 基址是 https://taotoken.net/api 这个地址不加 UTM 参数直接填进配置即可。操作顺序建议这样第一步打开控制台创建 Key。地址是 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 登录后在 API Keys 页面新建一个密钥复制保存。对应的管理页是 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。第二步把 Key 写进环境变量不要硬编码在脚本里。Linux/macOS 下export TAOTOKEN_API_KEYsk-你的密钥 export TAOTOKEN_BASE_URLhttps://taotoken.net/apiWindows PowerShell$env:TAOTOKEN_API_KEYsk-你的密钥 $env:TAOTOKEN_BASE_URLhttps://taotoken.net/api第三步如果你用支持 OpenAI 兼容协议的工具大多数本地 AI 编程助手、脚本库都支持把 base_url 指向上面那个地址api_key 填你的 Key 就行。这样第 1 周读论文、第 6 周 RAG 生成用的是同一套凭证。注意Key 只存在本地环境变量或工具的密钥管理里不要提交到 Git 仓库。如果不小心泄露去 api-keys 页面吊销重建即可。想先确认通道是否通可以直接用模型对话页面发一条测试消息https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。能正常返回说明 Key 和通道都没问题再往下做微调。3. 第 1-2 周环境与数据准备的可复制配置3.1 环境骨架第 1 周不要急着上微调先把环境跑通。推荐用 conda 建独立环境避免和系统 Python 打架conda create -n llm-ft python3.10 -y conda activate llm-ft pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers datasets peft accelerate bitsandbytes trl pip install sentence-transformers faiss-cpu装完做一次自检确认 GPU 和关键库都能用import torch, transformers, peft, datasets print(torch:, torch.__version__) print(cuda available:, torch.cuda.is_available()) print(gpu:, torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU only) print(transformers:, transformers.__version__) print(peft:, peft.__version__)预期输出里cuda available应该是 Truegpu打印出你的显卡型号。如果显示 False先解决驱动和 CUDA 版本匹配问题不然后面 QLoRA 的 4-bit 量化会直接报错。3.2 数据准备从原始文本到训练样本微调效果的上限由数据决定。第 2 周的核心任务是把你的业务文本整理成「指令-回答」对。一个最小可用的 JSONL 格式长这样{instruction: 把下面的工单归类, input: 用户反馈登录后页面空白, output: 前端渲染异常} {instruction: 把下面的工单归类, input: 支付成功但订单未更新, output: 订单状态同步延迟}写一个脚本做格式校验确保没有空字段、没有超长样本import json def validate(path, max_len1024): bad 0 with open(path, encodingutf-8) as f: for i, line in enumerate(f): obj json.loads(line) for k in (instruction, input, output): if k not in obj or not str(obj[k]).strip(): print(f第{i}行缺字段 {k}) bad 1 total len(obj[instruction]) len(obj[input]) len(obj[output]) if total max_len: print(f第{i}行过长 {total}) bad 1 print(问题样本数:, bad) validate(train.jsonl)预期输出是「问题样本数: 0」。如果非零先清洗再进训练否则 loss 曲线会很难看。3.3 用统一通道辅助读论文和排错第 1-2 周你会遇到大量概念和报错。把报错信息丢给模型对话页面解释比翻论坛快得多https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。比如把CUDA out of memory的完整堆栈贴进去让它给出降 batch size、开 gradient checkpointing 的具体建议。这一步的验证动作很简单你能用统一通道让模型解释清楚「注意力机制里 Q、K、V 分别是什么」并且能对照自己写的代码找到对应行第 1-2 周就算过关。4. 第 3-4 周LoRA 与 QLoRA 微调配置4.1 LoRA 训练配置骨架第 3 周先用 LoRA 跑通一次完整训练。下面是一个可复制的config.toml风格配置如果你用 trl 的脚本可以映射成对应参数[model] base_model Qwen/Qwen2.5-1.5B load_in_4bit false [lora] r 8 lora_alpha 16 lora_dropout 0.05 target_modules [q_proj, v_proj] bias none task_type CAUSAL_LM [training] output_dir ./out-lora per_device_train_batch_size 2 gradient_accumulation_steps 8 learning_rate 2e-4 num_train_epochs 3 logging_steps 10 save_steps 100 fp16 true gradient_checkpointing true [data] train_file train.jsonl max_seq_length 512关键参数怎么理解r是低秩矩阵的秩越大表达能力越强但参数越多入门从 8 开始lora_alpha一般设成r的两倍target_modules决定把适配器挂到哪些层q_proj和v_proj是最常见的起点。gradient_checkpointing用时间换显存显存紧张时必开。对应的训练启动脚本from datasets import load_dataset from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments from peft import LoraConfig, get_peft_model from trl import SFTTrainer model_id Qwen/Qwen2.5-1.5B tokenizer AutoTokenizer.from_pretrained(model_id) model AutoModelForCausalLM.from_pretrained(model_id, device_mapauto) lora_cfg LoraConfig( r8, lora_alpha16, lora_dropout0.05, target_modules[q_proj, v_proj], biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_cfg) model.print_trainable_parameters() ds load_dataset(json, data_filestrain.jsonl, splittrain) args TrainingArguments( output_dir./out-lora, per_device_train_batch_size2, gradient_accumulation_steps8, learning_rate2e-4, num_train_epochs3, logging_steps10, save_steps100, fp16True, gradient_checkpointingTrue, ) trainer SFTTrainer( modelmodel, argsargs, train_datasetds, tokenizertokenizer, max_seq_length512, ) trainer.train() trainer.save_model(./out-lora/final)print_trainable_parameters()的输出是第一个验证点可训练参数应该只占总参数的很小比例通常 1% 以下。如果打印出来接近 100%说明 LoRA 没挂上检查target_modules名字是否和模型实际层名一致。4.2 QLoRA把显存压下来第 4 周在 LoRA 基础上加 4-bit 量化就是 QLoRA。改动很小主要是加载模型时开量化from transformers import BitsAndBytesConfig import torch bnb BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.bfloat16, bnb_4bit_use_double_quantTrue, ) model AutoModelForCausalLM.from_pretrained(model_id, quantization_configbnb, device_mapauto)nf4是 4-bit 正态浮点量化格式use_double_quant做二次量化进一步省显存。实测下来同一个 7B 模型LoRA 可能要 20GB 以上显存QLoRA 能压到 10GB 以内代价是训练速度略慢。验证动作训练前打印torch.cuda.max_memory_allocated()对比两种配置的峰值显存。4.3 训练过程怎么判断正常看 loss 曲线前几十步快速下降之后趋于平缓是正常的。如果 loss 一直不降检查学习率是否太小、数据格式是否对如果 loss 震荡剧烈调小学习率或增大 gradient_accumulation_steps。每 100 步存一次 checkpoint方便回滚。5. 第 5-6 周RAG 检索增强与评测5.1 RAG 最小链路RAG 的流程是文档切片 → 向量化 → 存向量库 → 召回 → 拼接 prompt → 生成。先跑一个最小版本from sentence_transformers import SentenceTransformer import faiss import numpy as np docs [ 产品A的价格是199元2024年更新。, 产品B支持7天无理由退货。, 售后热线工作时间为9点到18点。, ] encoder SentenceTransformer(BAAI/bge-small-zh-v1.5) emb encoder.encode(docs, normalize_embeddingsTrue) index faiss.IndexFlatIP(emb.shape[1]) index.add(np.array(emb, dtypefloat32)) query 产品A多少钱 q encoder.encode([query], normalize_embeddingsTrue) scores, ids index.search(np.array(q, dtypefloat32), k2) print(召回:, [docs[i] for i in ids[0]]) print(分数:, scores[0])预期输出会召回第一条「产品A的价格是199元」。如果召回错了先检查 embedding 模型是否支持中文再检查是否做了归一化。5.2 接上生成环节把召回结果拼进 prompt通过统一通道调用模型生成答案import os, requests context \n.join([docs[i] for i in ids[0]]) prompt f根据以下资料回答问题不要编造。\n资料\n{context}\n问题{query} resp requests.post( f{os.environ[TAOTOKEN_BASE_URL]}/v1/chat/completions, headers{Authorization: fBearer {os.environ[TAOTOKEN_API_KEY]}}, json{ model: gpt-4o-mini, messages: [{role: user, content: prompt}], temperature: 0.2, }, ) print(resp.json()[choices][0][message][content])temperature设低一点减少生成时的自由发挥。验证动作问一个资料里没有的问题比如「产品C多少钱」正确行为是模型回答「资料中没有相关信息」而不是编一个价格。5.3 评测怎么做第 6 周要建立可重复的评测。准备 20-50 条「问题-标准答案」对跑一遍 RAG统计两个指标召回命中率正确文档是否进了 top-k和答案正确率生成结果是否和标准答案语义一致。召回命中率低就调切片大小和 k 值答案正确率低就调 prompt 或换生成模型。6. 本篇常见错排查报错一CUDA out of memory。先降per_device_train_batch_size再开gradient_checkpointing还不行就上 QLoRA 的 4-bit 量化。别一上来就换更大显存的机器。报错二Target modules not found。target_modules里的层名和模型实际结构不匹配。打印model.named_modules()找到真实的注意力层名比如有些模型是q_proj有些是query。报错三训练 loss 为 nan。多半是学习率太大或 fp16 溢出。把学习率降到 1e-4或者改用 bf16需要显卡支持。报错四RAG 召回全是无关文档。检查 embedding 是否归一化、向量维度是否一致、是否用了适合中文的模型。切片太大也会导致语义被稀释试试 256-512 字符一段。报错五调用统一通道返回 401。Key 没读到或环境变量名写错。在脚本里打印os.environ.get(TAOTOKEN_API_KEY)的前几位确认注意不要打印完整 Key。报错六微调后模型输出重复。训练轮数过多导致过拟合。减少num_train_epochs或增大 dropout或补充更多样化的数据。7. 按角色选择下一步入口六周走完你已经有了环境、数据、LoRA/QLoRA 训练、RAG 检索和评测的完整闭环。接下来按你的方向选入口如果你卡在接入和排障先把 Key 和文档过一遍API Keys 管理页 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 接入文档 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。如果你想先验证模型效果再决定微调方向用模型对话页面快速试https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。如果你要长期做编码和 Agent 类项目需要稳定的调用额度看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。如果你用 Claude Code 这类工具做开发接入配置参考https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaude-code-anthropicutm_campaignrewrite 。最后给一个我踩过的坑微调不是越多次越好RAG 也不是文档越多越好。先用小数据、小模型把链路跑通确认每一步的输出符合预期再放大规模。六周里最重要的不是记住多少参数而是养成「每改一个配置就验证一次输出」的习惯。 6周吃透大模型微调：LoRA/QLoRA/RAG 全链路配置与验证路径（建议收藏）
1. 六周微调路线到底解决什么问题如果你正在搜「大模型微调怎么入门」「LoRA 和 QLoRA 有什么区别」「RAG 和微调该选哪个」这篇就是按 6 周节奏拆给你看的实操路线。它适合有 Python 基础、想系统跑通一次微调与检索增强、但被零散教程绕晕的开发者。核心目标只有一个每周都有能跑起来的命令、能看到的输出、能判断对错的验证动作而不是收藏一堆视频。我把这条路线分成三段第 1-2 周打地基环境、数据、Tokenizer、注意力机制第 3-4 周做参数高效微调LoRA 先跑通QLoRA 再压显存第 5-6 周接 RAG 检索增强并做评测。中间所有调用大模型的环节我用 TaoToken 的统一 Key 和 API 通道来收敛配置避免每换一个工具就重配一遍环境变量。先说清楚一个常见误区微调和 RAG 不是二选一。微调改变的是模型的「表达习惯和任务格式」RAG 改变的是模型「能查到什么事实」。你要让模型学会用你公司的口吻写工单回复用 LoRA你要让它回答昨天刚更新的产品价格用 RAG。两者叠加才是生产里最常见的形态。下面按周推进每段都给出可复制的配置骨架和验证方法。你可以按顺序做也可以先跳到第 3 周看 LoRA 配置再回头补数据准备。2. TaoToken 前置统一 Key 与 API 通道在动手微调之前先把「调用大模型」这件事的配置固定下来。原因是第 1-2 周你要用大模型帮你读论文、解释报错第 5-6 周 RAG 的生成环节也要调模型。如果每个工具各配一套 Key后面排障会非常痛苦。TaoToken 在这里的角色是一个统一的 API 通道你申请一次 Key就能在多个 AI 工具和脚本里复用同一套接入方式。官网入口是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 基址是 https://taotoken.net/api 这个地址不加 UTM 参数直接填进配置即可。操作顺序建议这样第一步打开控制台创建 Key。地址是 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 登录后在 API Keys 页面新建一个密钥复制保存。对应的管理页是 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。第二步把 Key 写进环境变量不要硬编码在脚本里。Linux/macOS 下export TAOTOKEN_API_KEYsk-你的密钥 export TAOTOKEN_BASE_URLhttps://taotoken.net/apiWindows PowerShell$env:TAOTOKEN_API_KEYsk-你的密钥 $env:TAOTOKEN_BASE_URLhttps://taotoken.net/api第三步如果你用支持 OpenAI 兼容协议的工具大多数本地 AI 编程助手、脚本库都支持把 base_url 指向上面那个地址api_key 填你的 Key 就行。这样第 1 周读论文、第 6 周 RAG 生成用的是同一套凭证。注意Key 只存在本地环境变量或工具的密钥管理里不要提交到 Git 仓库。如果不小心泄露去 api-keys 页面吊销重建即可。想先确认通道是否通可以直接用模型对话页面发一条测试消息https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。能正常返回说明 Key 和通道都没问题再往下做微调。3. 第 1-2 周环境与数据准备的可复制配置3.1 环境骨架第 1 周不要急着上微调先把环境跑通。推荐用 conda 建独立环境避免和系统 Python 打架conda create -n llm-ft python3.10 -y conda activate llm-ft pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers datasets peft accelerate bitsandbytes trl pip install sentence-transformers faiss-cpu装完做一次自检确认 GPU 和关键库都能用import torch, transformers, peft, datasets print(torch:, torch.__version__) print(cuda available:, torch.cuda.is_available()) print(gpu:, torch.cuda.get_device_name(0) if torch.cuda.is_available() else CPU only) print(transformers:, transformers.__version__) print(peft:, peft.__version__)预期输出里cuda available应该是 Truegpu打印出你的显卡型号。如果显示 False先解决驱动和 CUDA 版本匹配问题不然后面 QLoRA 的 4-bit 量化会直接报错。3.2 数据准备从原始文本到训练样本微调效果的上限由数据决定。第 2 周的核心任务是把你的业务文本整理成「指令-回答」对。一个最小可用的 JSONL 格式长这样{instruction: 把下面的工单归类, input: 用户反馈登录后页面空白, output: 前端渲染异常} {instruction: 把下面的工单归类, input: 支付成功但订单未更新, output: 订单状态同步延迟}写一个脚本做格式校验确保没有空字段、没有超长样本import json def validate(path, max_len1024): bad 0 with open(path, encodingutf-8) as f: for i, line in enumerate(f): obj json.loads(line) for k in (instruction, input, output): if k not in obj or not str(obj[k]).strip(): print(f第{i}行缺字段 {k}) bad 1 total len(obj[instruction]) len(obj[input]) len(obj[output]) if total max_len: print(f第{i}行过长 {total}) bad 1 print(问题样本数:, bad) validate(train.jsonl)预期输出是「问题样本数: 0」。如果非零先清洗再进训练否则 loss 曲线会很难看。3.3 用统一通道辅助读论文和排错第 1-2 周你会遇到大量概念和报错。把报错信息丢给模型对话页面解释比翻论坛快得多https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。比如把CUDA out of memory的完整堆栈贴进去让它给出降 batch size、开 gradient checkpointing 的具体建议。这一步的验证动作很简单你能用统一通道让模型解释清楚「注意力机制里 Q、K、V 分别是什么」并且能对照自己写的代码找到对应行第 1-2 周就算过关。4. 第 3-4 周LoRA 与 QLoRA 微调配置4.1 LoRA 训练配置骨架第 3 周先用 LoRA 跑通一次完整训练。下面是一个可复制的config.toml风格配置如果你用 trl 的脚本可以映射成对应参数[model] base_model Qwen/Qwen2.5-1.5B load_in_4bit false [lora] r 8 lora_alpha 16 lora_dropout 0.05 target_modules [q_proj, v_proj] bias none task_type CAUSAL_LM [training] output_dir ./out-lora per_device_train_batch_size 2 gradient_accumulation_steps 8 learning_rate 2e-4 num_train_epochs 3 logging_steps 10 save_steps 100 fp16 true gradient_checkpointing true [data] train_file train.jsonl max_seq_length 512关键参数怎么理解r是低秩矩阵的秩越大表达能力越强但参数越多入门从 8 开始lora_alpha一般设成r的两倍target_modules决定把适配器挂到哪些层q_proj和v_proj是最常见的起点。gradient_checkpointing用时间换显存显存紧张时必开。对应的训练启动脚本from datasets import load_dataset from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments from peft import LoraConfig, get_peft_model from trl import SFTTrainer model_id Qwen/Qwen2.5-1.5B tokenizer AutoTokenizer.from_pretrained(model_id) model AutoModelForCausalLM.from_pretrained(model_id, device_mapauto) lora_cfg LoraConfig( r8, lora_alpha16, lora_dropout0.05, target_modules[q_proj, v_proj], biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_cfg) model.print_trainable_parameters() ds load_dataset(json, data_filestrain.jsonl, splittrain) args TrainingArguments( output_dir./out-lora, per_device_train_batch_size2, gradient_accumulation_steps8, learning_rate2e-4, num_train_epochs3, logging_steps10, save_steps100, fp16True, gradient_checkpointingTrue, ) trainer SFTTrainer( modelmodel, argsargs, train_datasetds, tokenizertokenizer, max_seq_length512, ) trainer.train() trainer.save_model(./out-lora/final)print_trainable_parameters()的输出是第一个验证点可训练参数应该只占总参数的很小比例通常 1% 以下。如果打印出来接近 100%说明 LoRA 没挂上检查target_modules名字是否和模型实际层名一致。4.2 QLoRA把显存压下来第 4 周在 LoRA 基础上加 4-bit 量化就是 QLoRA。改动很小主要是加载模型时开量化from transformers import BitsAndBytesConfig import torch bnb BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.bfloat16, bnb_4bit_use_double_quantTrue, ) model AutoModelForCausalLM.from_pretrained(model_id, quantization_configbnb, device_mapauto)nf4是 4-bit 正态浮点量化格式use_double_quant做二次量化进一步省显存。实测下来同一个 7B 模型LoRA 可能要 20GB 以上显存QLoRA 能压到 10GB 以内代价是训练速度略慢。验证动作训练前打印torch.cuda.max_memory_allocated()对比两种配置的峰值显存。4.3 训练过程怎么判断正常看 loss 曲线前几十步快速下降之后趋于平缓是正常的。如果 loss 一直不降检查学习率是否太小、数据格式是否对如果 loss 震荡剧烈调小学习率或增大 gradient_accumulation_steps。每 100 步存一次 checkpoint方便回滚。5. 第 5-6 周RAG 检索增强与评测5.1 RAG 最小链路RAG 的流程是文档切片 → 向量化 → 存向量库 → 召回 → 拼接 prompt → 生成。先跑一个最小版本from sentence_transformers import SentenceTransformer import faiss import numpy as np docs [ 产品A的价格是199元2024年更新。, 产品B支持7天无理由退货。, 售后热线工作时间为9点到18点。, ] encoder SentenceTransformer(BAAI/bge-small-zh-v1.5) emb encoder.encode(docs, normalize_embeddingsTrue) index faiss.IndexFlatIP(emb.shape[1]) index.add(np.array(emb, dtypefloat32)) query 产品A多少钱 q encoder.encode([query], normalize_embeddingsTrue) scores, ids index.search(np.array(q, dtypefloat32), k2) print(召回:, [docs[i] for i in ids[0]]) print(分数:, scores[0])预期输出会召回第一条「产品A的价格是199元」。如果召回错了先检查 embedding 模型是否支持中文再检查是否做了归一化。5.2 接上生成环节把召回结果拼进 prompt通过统一通道调用模型生成答案import os, requests context \n.join([docs[i] for i in ids[0]]) prompt f根据以下资料回答问题不要编造。\n资料\n{context}\n问题{query} resp requests.post( f{os.environ[TAOTOKEN_BASE_URL]}/v1/chat/completions, headers{Authorization: fBearer {os.environ[TAOTOKEN_API_KEY]}}, json{ model: gpt-4o-mini, messages: [{role: user, content: prompt}], temperature: 0.2, }, ) print(resp.json()[choices][0][message][content])temperature设低一点减少生成时的自由发挥。验证动作问一个资料里没有的问题比如「产品C多少钱」正确行为是模型回答「资料中没有相关信息」而不是编一个价格。5.3 评测怎么做第 6 周要建立可重复的评测。准备 20-50 条「问题-标准答案」对跑一遍 RAG统计两个指标召回命中率正确文档是否进了 top-k和答案正确率生成结果是否和标准答案语义一致。召回命中率低就调切片大小和 k 值答案正确率低就调 prompt 或换生成模型。6. 本篇常见错排查报错一CUDA out of memory。先降per_device_train_batch_size再开gradient_checkpointing还不行就上 QLoRA 的 4-bit 量化。别一上来就换更大显存的机器。报错二Target modules not found。target_modules里的层名和模型实际结构不匹配。打印model.named_modules()找到真实的注意力层名比如有些模型是q_proj有些是query。报错三训练 loss 为 nan。多半是学习率太大或 fp16 溢出。把学习率降到 1e-4或者改用 bf16需要显卡支持。报错四RAG 召回全是无关文档。检查 embedding 是否归一化、向量维度是否一致、是否用了适合中文的模型。切片太大也会导致语义被稀释试试 256-512 字符一段。报错五调用统一通道返回 401。Key 没读到或环境变量名写错。在脚本里打印os.environ.get(TAOTOKEN_API_KEY)的前几位确认注意不要打印完整 Key。报错六微调后模型输出重复。训练轮数过多导致过拟合。减少num_train_epochs或增大 dropout或补充更多样化的数据。7. 按角色选择下一步入口六周走完你已经有了环境、数据、LoRA/QLoRA 训练、RAG 检索和评测的完整闭环。接下来按你的方向选入口如果你卡在接入和排障先把 Key 和文档过一遍API Keys 管理页 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 接入文档 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。如果你想先验证模型效果再决定微调方向用模型对话页面快速试https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。如果你要长期做编码和 Agent 类项目需要稳定的调用额度看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。如果你用 Claude Code 这类工具做开发接入配置参考https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaude-code-anthropicutm_campaignrewrite 。最后给一个我踩过的坑微调不是越多次越好RAG 也不是文档越多越好。先用小数据、小模型把链路跑通确认每一步的输出符合预期再放大规模。六周里最重要的不是记住多少参数而是养成「每改一个配置就验证一次输出」的习惯。