本文分享了超详细的大模型训练与微调实操经验主要从训练设置batch size及优化器设置和训练数据选择两大角度进行阐述。内容涵盖了batch size的合理设置方法、过大或过小的影响、微调时优化器的选择、预训练和微调时训练数据的偏好等。文章强调数据质量和代表性在微调阶段的重要性并提供了书籍、论文、网站内容等推荐数据源。最后作者还分享了AI大模型学习资料包括书籍阅读、实战案例、面试资料等旨在帮助读者全面掌握大模型技术。前言本篇主要从训练设置batch size及优化器设置、训练数据选择两大角度分享大模型训练与微调经验。本篇开始填[大模型面经——超细节大模型训练与微调实操经验总结上的坑继续细节的讲讲大模型中训练和微调的经验。本篇主要从训练设置batch size及优化器设置、训练数据选择两大角度来具体谈谈经验下面是一个问题的快捷目录。训练大模型时batch size如何设置比较合理可以讲讲自己的思考如果batch size设置过小或过大分别会怎样微调时优化器怎么设置好预训练和微调时选择的训练数据分别有什么偏好有没有一些建议batch size如何设置比较合理我们知道大模型训练或微调的过程中batch size的设置本质上是取训练效率和模型的最终效果的平衡。目前一些研究结果表明数据并行程度的临界点是存在的我们这里先上一个结论batch size在一定临界值以内越大越好超过临界值会开始收益持平或者递减并且batch size需要跟其他超参数比如学习率、优化器搭配等相适配。下面先给大家一些不同大模型中batch size的参考值OpenAI的GPT-3模型使用了约3500万个token的batch size谷歌的PaLM模型使用了2048个样本的batch sizellama3至少也使用了上千个样本的batch size。下面我们基于openAI的一些研究工作学习一下openAI是如何基于一些研究理论在后续scaling law工作中预测模型的最优batch size的1. 最优步长各种研究结果表明实际是存在一个关于数据并行程度的临界点的找到这个临界点就可以有效的平衡训练的效率和模型的最终效果。OpenAI 发现最优步长公式可以作如下表示:注B 为 batch sizeBnoise为 噪声尺度2. 损失更新我们基于第1步中最优步长step size现在开始改进最优化从含有噪声的梯度中获得的损失上述公式中我们主要观察真实梯度、步长和B的关系可以得出1无论如何准确地估计真实梯度总存在一个最大步长2批处理大小越大优化模型的步长就越大有一个上限下面再来看两张比较经典的图,上面的图说明了更大的批次模型可以取得更多提升。但是当 batch size 太大时我们会遇到收益递减的问题因为分母中的 1 开始占主导地位。3. 梯度尺度估计OpenAI 的研究发现噪声尺度可以通过以下方式估计其中H 是参数的真实 Hessian 矩阵C 是相对于梯度的每个示例的协方差矩阵g 是真实梯度。为了进一步简化这个方程OpenAI作出了一个假设即优化是完全 well-conditioned 的。在这种情况下Hessian 矩阵只是单位矩阵的倍数噪声尺度简化就可以简化为以下形式该方程表明噪声尺度等于个别梯度分量的方差之和除以梯度的 norm。4. 学习率视作temperature之前说上述结论合理的前提是在模型的 LR 是调的比较恰当的情况下。这是因为 OpenAI 发现噪声尺度基本符合以下规律在使用 SGD 和小 batch 进行更新时可以大概近似为这表明下面的图中可以看出规律根据以上的公式和图我们可以得知:高温度导致较小的噪声尺度。其中的直觉是在高温度下相对于方差梯度幅度较大。当学习率以一个常数因子衰减时噪声尺度大致以相同的因子增长。因此如果学习率太小噪声尺度将被放大。OpenAI 使用上述结论在模型训练推理中在后续的 scaling law 工作中预测了模型的最优 batch size 大小具体如下图。batch size设置过小或过大分别会怎样1. 过小更新方向即对真实梯度的近似会具有很高的方差导致的梯度更新主要是噪声。经过一些更新后方差会相互抵消。总体上推动模型朝着正确的方向前进但个别更新可能不太有用可以使用更大 batch size 进行更新。2. 过大当 batch size 非常大时从训练数据中抽样的任何两组数据都会非常相似因为它们几乎完全匹配真实梯度在这种情况下增加 batch size 几乎不会改善性能因为无法改进真实的梯度预测。换句话说需要在每一步中处理更多的数据但并不能减少整个训练过程中的步数这表明总体训练时间几乎没有改善还增加了总体的 FLOPS。上图可以观察到更大的 batch size 通常对应较少的训练 step但相应地需要增加处理的数据。当 batch size 从 2048 翻倍时达到同样性能所需要的 step 几乎没有任何改善但需要花费两倍的计算资源。再给一张谷歌的实验图Google 的经验研究也有类似的观察即在固定的 epoch budget 下当 batch size 达到临界值时模型的性能会 batch size 的增加而降低。微调时优化器怎么设置好在微调 LLM 时优化器的选择不是影响结果的主要因素。无论是 AdamW、具有调度器 scheduler 的 SGD 还是具有 scheduler 的 AdamW对结果的影响都微乎其微。也可以考虑一个目前比较新的优化器Sophia使用梯度曲率而非方差进行归一化提高训练效率和模型性能。预训练和微调时选择的训练数据分别有什么偏好下面简单做个总结。1. 预训练阶段首要选择书籍、论文数据质量较高领域相关性比较强知识覆盖率密度较大此外文本序列较长也有利于增强模型推理能力。其他相关领域网站内容、新闻2. 微调阶段此阶段数据的质量重要性大于数据的数量的重要性因此有以下建议1选取的训练数据要干净、并具有代表性。2构建的prompt尽量多样化提高模型的鲁棒性。3进行多任务同时进行训练的时候要尽量使各个任务的数据量平衡如何系统的学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】01.大模型风口已至月薪30K的AI岗正在批量诞生2025年大模型应用呈现爆发式增长根据工信部最新数据国内大模型相关岗位缺口达47万初级工程师平均薪资28K数据来源BOSS直聘报告70%企业存在能用模型不会调优的痛点真实案例某二本机械专业学员通过4个月系统学习成功拿到某AI医疗公司大模型优化岗offer薪资直接翻3倍02.大模型 AI 学习和面试资料1️⃣ 提示词工程把ChatGPT从玩具变成生产工具2️⃣ RAG系统让大模型精准输出行业知识3️⃣ 智能体开发用AutoGPT打造24小时数字员工熬了三个大夜整理的《AI进化工具包》送你✔️ 大厂内部LLM落地手册含58个真实案例✔️ 提示词设计模板库覆盖12大应用场景✔️ 私藏学习路径图0基础到项目实战仅需90天第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】