本篇旨在为您提供关于大模型微调Fine-Tuning的快捷、直观的解答。我们尽量避免技术黑话用简单的比喻和直白的解释让您快速掌握微调的核心概念对其效果、成本和流程有一个清晰的认知从而能更有效地与技术团队协作。我们开始什么是微调微调是指在已经训练好的大型预训练模型的基础上进一步训练该模型以适应特定任务或特定领域的数据。相比从零开始训练一个模型微调所需的数据和计算资源显著减少可以在特定任务上取得更好的性能因为模型在微调过程中会重点学习与任务相关的特性可以在多种领域如情感分析、问答系统等上进行微调从而快速适应不同应用场景。简单来说微调 用你自己的数据对通用大模型进行二次训练让它专精于你的特定任务。需要注意的是培训后它主要更擅长你教的这一件事。它原有的通用知识不会被清空但如果你教的内容太多太偏数据量巨大或与通用知识冲突它可能会把以前学的一些不常用的东西忘掉一点这被称为“灾难性遗忘”。但是这不一定是坏事微调的目标就是在“专精于新任务”和“保留通用能力”之间找到一个最佳平衡点。如果只是微调一个小模型让它去做一个特定的任务就无需太关注这个问题。LoRA微调通常分为全量微调和高效微调通常我们会选择高效微调而LoRA是高效微调的一种。全量参数精调与 LoRA 的方式这两种方式的主要区别为全量参数精调指利用所有可用数据来重新训练模型以全面优化其参数。上限比较高能够取得更好的业务指标但是对训练数据质量、数量的要求以及计算资源的需求较高。如果训练数据质量、数量不够全量参数精调会大幅破坏模型的原有基础任务能力。LoRA 微调是一种参数高效的微调方法旨在通过引入低秩矩阵来减少微 调时需要调整的参数数量从而显著降低显存和计算资源的消耗。 能够较好保持原有模型的能力需要的计算资源也较少根据 LoRA 的 rank 超参训练时间大约为全量参数精调的1/2-1/10。但是模型能力的上限较低受限于训练时选用的基座模型。因此当数据量比较少低于1万且任务类型比较单一推荐使用 LoRA 的方式进行精调。对于在大模型领域有经验的同学同时拥有丰富的高质量训练数据建议使用全量参数精调的方式。本文中讲到微调相关操作、成本等都是基于高效微调。微调和RAG的区别一言以蔽之RAG解决大模型数据不足的问题微调解决大模型任务执行能力不足问题。也就是说RAG是“注入最新的、外部的、私有的知识”而微调是“改变模型的内在行为模式风格、格式、偏好和深化其已有知识”。例如我们要让大模型回复我们企业内的某些资料问题大模型做不到此时就需要用RAG来解决。我们要让大模型帮我们执行某个任务大模型做不到此时就需要用微调来解决。当提示词工程Prompt Engineering和检索增强生成RAG都无法让模型100%达到你的要求时微调就是最终的解决方案风格与语气你需要模型的输出符合你品牌的独特口吻比如“海底捞”式的热情客服 or “苹果”式的极简文案。任务与格式你需要模型完成非常规任务或者输出特定结构的数据例如将一段混乱的会议纪要自动整理成标准的JIRA ticket格式。知识与术语你的业务涉及大量内部知识、缩写、行业黑话通用模型无法正确理解和使用。微调的数据集和常用超参明确业务场景和微调需求找到准备微调的任务根据自己的目标或业务需求来决定要进行的微调任务。测试大模型能力使用主流的大模型对自己的准备微调的业务问题进行批量测试评估该任务场景是否现有大模型已经做得足够好了根据评估结果选择使用原生大模型或者准备一批更高质量的数据集进行微调。确定微调任务场景针对某一种特定的任务场景准备约几千条高质量精调数据即可让大模型学会这项能力发挥出良好的效果。通常使用具有强烈业务属性的数据集在开源基座模型上进行精调就能比较显著地提升模型在业务上的能力明确高质量训练数据的标准数据集的问答需要尽可能完美的满足业务的期望例如回答逻辑性、风格、语气等并且答案是绝对正确的。因为数据集是用来解决实际问题并且这些数据是大模型学习过程中的重要依据。微调过程中大模型会去理解数据集的回答以及表达风格如果数据存在瑕疵大模型也会把这些瑕疵学到从而影响最终的效果。数据集的指令需要多样化以避免大模型产生对某些短语的过拟合而忽略了自然语言的实际含义。例如对于一个阅读理解数据集只包含了一种指令“根据以下已知内容请回答问题并说明原因。已知内容xxxxx。问题xxxx”。大模型经过这个数据的精调后很有可能会出现这样的情况大模型一旦看到“根据以下已知内容”这个短语作为输入他就自然而然地在回答问题的同时说明原因。 因为大模型通过这批数据的学习很有可能错误地认为“根据以下已知内容”与“回答时要说明原因”是等价的。这样如果用户输入“根据以下已知内容请回答问题要求只回复答案不要做其他解释。已知内容xxxxx。问题xxxx”大模型还是会回复原因。这种针对指令的过拟合现象是需要去避免的解决办法就是扩充数据集的指令集做到问题与回答的类型多样、场景多样、避免重复数据集的准备可以由少到多先从少量数据开始微调然后逐步增加数据量直到达到预期的效果。训练数据集验证数据集测试数据集7: 1.5: 1.5数据集的格式通常都是用SFT的数据格式进行微调。SFT通过有监督的方式精调模型从而提升模型在特定任务上的指令遵循能力[ { instruction:你是一个聊天机器人能理解并回答问题, input:你知道会当凌绝顶,一览众山小这句诗词描述的是哪座山么, output:黄山我上周刚去爬了黄山风景很优美。 },]DPO基于成对的正负反馈数据直接训练大模型使其更符合人类偏好。SimPO的数据格式和DPO差不多。[ { question:地球为什么会自转, positive_answer:地球自转是由于形成初期的角动量守恒原始星云坍缩时的旋转运动转化为地球的自转周期约为24小时。, negative_answer:因为地球围绕太阳公转产生了引力作用所以导致自转。错误公转与自转成因不同 }, { question:相对论的提出者是谁, positive_answer:相对论由阿尔伯特·爱因斯坦在20世纪初提出包括狭义相对论和广义相对论。, negative_answer:牛顿提出了相对论。错误牛顿的主要贡献是经典力学 }]KTO单条回答 人类反馈标签根据人类正向或负向反馈进行模型训练高效对齐人类行为偏好[ {instruction:如何学英语,output:每天坚持阅读英文文章。,kto_tag:true}]常用超参epoch迭代轮次选择适合的轮次太高会过拟合过拟合会导致通用能力下降。通常数据量越多训练轮次就越少数据量不够就需要更多次的训练。例如2千条数据5轮2万条数据2轮。训练结果不好时更推荐增加数据的多样性提升数据量而不是简单的多训几个 epoch。批处理大小越大就越越能加速训练。在计算资源主要是显存允许的条件下尽可能提升批量大小。该批量大小和模型参数大小以及序列长度高度相关也将很大程度上影响训练时间。同时建议在训练中要保证有足够的迭代次数1000步以上迭代次数由数据量、迭代轮数、批量大小来决定。在数据量较小又不适合过多地增加迭代轮数则可以适当减少批量大小。批次更小的情况下泛化能力通常更好学习率它决定了每次更新时权重的调整程度初始学习率建议选择5e-60.000005至1e-50.00001之间。通常问题越复杂学习率越小数据集越大学习率越大。通常较大的学习率可能导致模型在训练过程中波动较大收敛困难较小的学习率可能导致收敛速度慢。序列长度在训练代码中会根据设置的序列长度对训练数据进行截断。需要根据自己的训练数据的最长序列长度进行设置以保证某些重要的数据不会被错误截断。为了提高训练效率可以将不同长度的数据进行分批次训练例如先训4k再训8k。在设置序列长度时需要对基座模型进行核对看是否支持相应的序列长度。迭代次数 epochs × (样本数 / batch_size)。 max_steps作为迭代步数的上限会覆盖epochs微调租用算力和三方平台的对比确定了微调使用SFT之后我们就要决定如何进行微调租用算力进行微调优点算力租用费用便宜整体的微调过程可以进行多次的微调尝试直到最终得到效果好只要是开源模型都可以随意下载微调缺点此方式对技术能力要求较高。需要有微调的技术能力能够对算力资源有效的控制掌握PyTorch/TensorFlow、Linux和GPU环境配置知识细腻的控制超参。微调后的模型长期部署需要大量的费用使用三方平台进行微调优点是对技术能力要求不高但是对超参的设置经验有要求。三方提供微调功能可以直接使用不需要处理环境等问题准备好数据就可以直接微调。模型微调完成后支持在平台一键部署费用和基础模型的费用是一致的没有额外的部署费用。缺点不同的平台数据格式要求不一样需要把自备的SFT数据格式修改成所用平台需要的模型通常只能选择平台自己的模型进行微调。例如百炼能微调Qwen火山能微调豆包等微调是按照tokens收费的模型越大费用越高例如百炼的Qwen3 8B是0.006 元/千Token而32B则是 0.04 元/千Token由于三方平台按照每次微调的tokens收费而租用算力后期的部署又很贵。那么根据二者的优缺点我们可以做这样的一个选择二者结合使用。例如我们想微调Qwen模型我们可以先租用算力下载Qwen进行微调测试当微调需要的超参调整好后我们可以直接用这些超参和我们的微调数据去百炼平台进行微调。微调成功后就可以直接部署到百炼提供给业务使用。算力租用和三方平台介绍算力租用我们通常会选择autodl平台进行租用价格非常便宜。4090 2.09/小时H20 7.35/小时。三方平台阿里的百炼可以微调Qwen系列模型字节的火山可以微调豆包系列模型百度的千帆可以微调文心系列模型讯飞星火、智谱清言也可以对微调自有的模型微调的成本微调的成本我们按照时间成本和金钱成本分开来看时间成本可能有读者在其他地方看到过微调需要的数据2千条左右就足够了但实际上这所谓的2千条数据必须是一个质量非常好的数据集才行。我们的数据人员要整理质量很高的数据通常能做到200-300条/人/天这就需要大约两人做一周的时间。拿到数据之后我们要开始进行微调的超参设置和调整已达到最好的效果。根据不同的算力、不同的数据大小微调的时间是不一样的大约2-3天能够完成第一次微调任务。金钱成本这里之谈微调算力需要的金钱成本不谈其他如果是开源模型可以选择先在autoDL上进行微调得到好结果之后再去平台微调部署这样可以节约成本。算力和部署所需要的资源放到下图 算力单价 * 卡数 * 时长可以大概估算出自身微调所需的费用。微调所需算力资源部署所需算力资源如果不是开源模型就只能在三方平台进行微调费用会按照tokens收费给大家两个平台的收费标准百炼训练费用 8B是0.006 元/千Token、32B是 0.04 元/千Token训练费用 训练数据tokens 混合训练数据tokens✖ 循环次数 ✖ 训练单价。火山训练费用 0.03 元/千Token训练费用 数据集总 tokens ✖ 精调单价 ✖ 迭代轮次若 tokens 数小于 1000将会上取整为 1000 tokens 计算综合来说我们要得到有效果的微调通常前后要花费千元以上。微调次数越多花费越多。微调的弊端抛开整理数据集、微调测试的时间成本和金钱成本微调还有一个非常大的弊端随着模型能力提升可能会造成基础模型的能力会覆盖微调后的模型导致微调后的模型失去价值。结语微调是让AI大模型真正在你这片土壤“落地生根”的最后一步但不是必须的一步。建议大家优先选择依然是靠工程能力来解决问题当确实出现瓶颈之后再去考虑微调。同时如果有以下三种情况也不建议微调任务非常简单通过精心设计提示词Prompt Engineering就能解决。需求变动非常频繁微调模型的迭代速度跟不上业务变化。没有足够高质量的数据预算或资源。希望这份指南能让你在面对“是否需要微调”、“微调大概要多少成本”、“微调该怎么进行”这些问题时做到心中有数能更高效地与技术团队沟通协作共同推动AI产品的成功落地。普通人如何抓住AI大模型的风口领取方式在文末为什么要学习大模型目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 大模型作为其中的重要组成部分 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 为各行各业带来了革命性的改变和机遇 。目前开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景其中应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过30%。随着AI大模型技术的迅速发展相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业人工智能大潮已来不加入就可能被淘汰。如果你是技术人尤其是互联网从业者现在就开始学习AI大模型技术真的是给你的人生一个重要建议最后只要你真心想学习AI大模型技术这份精心整理的学习资料我愿意无偿分享给你但是想学技术去乱搞的人别来找我在当前这个人工智能高速发展的时代AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料能够帮助更多有志于AI领域的朋友入门并深入学习。真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发【附赠一节免费的直播讲座技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等欢迎大家~】大模型全套学习资料展示自我们与MoPaaS魔泊云合作以来我们不断打磨课程体系与技术内容在细节上精益求精同时在技术层面也新增了许多前沿且实用的内容力求为大家带来更系统、更实战、更落地的大模型学习体验。希望这份系统、实用的大模型学习路径能够帮助你从零入门进阶到实战真正掌握AI时代的核心技能01教学内容从零到精通完整闭环【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块内容比传统教材更贴近企业实战大量真实项目案例带你亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌02适学人群应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。vx扫描下方二维码即可【附赠一节免费的直播讲座技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等欢迎大家~】本教程比较珍贵仅限大家自行学习不要传播更严禁商用03入门到进阶学习路线图大模型学习路线图整体分为5个大的阶段04视频和书籍PDF合集从0到掌握主流大模型技术视频教程涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向新手必备的大模型学习PDF书单来了全是硬核知识帮你少走弯路不吹牛真有用05行业报告白皮书合集收集70报告与白皮书了解行业最新动态0690份面试题/经验AI大模型岗位面试经验总结谁学技术不是为了赚$呢找个好的岗位很重要07 deepseek部署包技巧大全由于篇幅有限只展示部分资料并且还在持续更新中…真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发【附赠一节免费的直播讲座技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等欢迎大家~】