模型训练学习方法有监督学习有监督学习AI 模型使用被标注了的数据样本进行学习通过样本的真实值和预测值来求得 Loss 值。有监督学习因为需要对数据样本进行标注所以只适用于数据量较小的场景。MP 模型的逻辑门就是最简单的有监督学习训练。无监督学习无监督学习AI 模型使用没有任务标注的数据样本进行学习通过聚类分析、主成分分析等算法来进行分类和降维。无监督学习的 Loss 值并非使用真实值和预测值来计算而是基于数据的内在结构规律来定义的其描述的是模型对数据内在结构的拟合程度。例如K-means 动态聚类算法可以将 n 个样本点自动分成 K 类它的目标是让同一个簇内的样本尽可能紧凑不同簇尽可能分离。所以 K-means 的 Loss(SSE) 值就是所有样本到其所属簇中心的距离平方和Sum of Squared Errors。例如组内离差平方和、欧氏距离平方和等。由于无监督学习的核心目标是让模型学习到数据的分布、聚类紧凑性或特征相关性所以不需要对数据样本进行标注也因此适用于数据量很大的场景。但无监督学习过程中的自动聚类是难以控制的相较于有监督学习的人工标注后者具有明确的优化目标即人为控制模型收敛的方向。自监督学习自监督学习同样不会对数据样本进行标注所以自监督学习是无监督学习的一个子集。而核心区别在于自监督学习会自动构造 “伪标签Pseudo-Labelling”即从数据本身的内在结构和规律自动构造 “标签”以此计算 Loss 并驱动模型收敛。典型的自监督学习就是 GPT 系列的 CLMCausal Language Model因果语言模型预训练任务。GPT CLM 任务的训练目标是 “给定上文预测下一个词的概率”整个过程无需人工标注具体步骤如下输入处理从海量无标注的文本比如书籍、网页中截取一段连续文本然后分词并构造输入序列。原文I love natural language processing 输入序列拆解为I → love → natural → language自动生成伪标签将输入序列中的下一个词作为 “标签”。这里的伪标签完全由文本本身的顺序生成是 “自监督” 的核心体现。输出预测值模型通过上文输入Forward Pass然后根据词汇表输出下一个词的概率分布。例如词汇表有 10 万个词那么就会输出一个 10 万维的概率向量表示每个词作为下一个词的可能性预测。计算 Loss 并反向传播通过输出预测值和伪标签来计算 Loss采用交叉熵损失算法可以衡量预测的 Token 概率分布与真实 Token 的差异优化模型参数以最小化损失。然后可以进行 Backward Pass 了收敛过程和有监督学习一致。综上可见自监督学习兼具了无监督的低成本和有监督的明确优化目标。海量数据提供充足的学习信号虽然单条文本的伪标签很简单但超大规模的无标注语料中包含了语言的所有规律比如 “太阳” 后面常跟 “升起”“吃饭” 前面常跟 “我”。模型通过海量样本的学习能捕捉到这些通用的语言模式最终收敛到稳定的参数状态。预训练 微调的范式GPT-1 的预训练是自监督的目的是学习通用语言表示而 GPT-3 的微调则是有监督的使其具备了 “举一反三” 的能力能够针对具体任务如分类、问答时只需要少量标注数据做微调就能把通用能力迁移到下游任务。这也是自监督预训练的价值所在。半监督学习半监督学习semi-supervised learning是有监督学习、无监督学习和自监督学习的折中方案使用大量的无标注数据和少量的有标注数据进行训练标注数据占比通常极低如 1%~10%。同时再使用少量的有标注数据来为无标注数据进行 “伪标注”。半监督学习可以有效利用未标注数据的分布规律提升少量标注数据的学习效果平衡标注成本和模型性能。其具体的训练流程如下图所示在有限的已标注数据上训练模型此时模型会根据已标注数据学习到优化目标。再使用模型在未标记的数据上创建 “伪标签”并将高置信度的伪标签作为目标添加到现有的标记数据集中从而创建额外的训练数据。最后使用已标注数据和 “伪标签” 数据进行训练会得到 2 个 Loss。1监督 Loss已标注数据的预测值与人工标签的差距2无监督 Loss未标注数据的预测结果与数据分布规律的差距如一致性正则化模型。最终 Loss 的计算方式为 2 个 Loss 的加权求和。强化学习强化学习Reinforcement Learning是有别于上述学习方法的另一种机器学习方法主要讨论的问题是智能体怎么在复杂的、不确定的环境中最大化它能获得的奖励。如下图所示强化学习主要由 2 部分构成智能体和环境。在强化学习过程中智能体会不断行动并从环境获取反馈根据反馈来调整自己行动的策略。强化学习具有以下 2 个主要区别数据样本强化学习使用 “与环境交互的奖励信号” 作为动态的数据样本而不是静态的数据集标注、未标注、伪标注。学习范式有监督、无监督、自监督、半监督学习的学习范式是 Loss 最小化拟合数据 / 标签 / 结构而强化学习的学习范式是 “长期累积的奖励最大化”找到最优决策策略。数据集类型按照数据的作用划分通用文本数据用于基础预训练阶段训练模型的基本文字理解能力。领域文本数据用于增量预训练阶段训练模型的专业领域知识理解能力比如金融领域、医疗领域等等。私域文本数据用于微调阶段训练模型的企业内部私域知识理解能力。按照数据的特性划分无标注数据用于自监督预训练阶段采用海量、多样化的无标注文本数据规模通常达到万亿 tokens 级别如 GPT-3 训练数据约 45TB 文本涵盖书籍、网页、论文、新闻等确保模型接触到广泛的语言现象和知识。通过这些数据模型能自动捕捉语法、语义、逻辑关系和世界常识。有标注数据用于有监督微调阶段采用人工标注的高质量数据进行特定任务下的优化数据量从万~百万级不等。无标注数据集常见的无标注数据来源包括网页例如 CommonCrawl 包含大规模的网络爬虫数据对话文本包含书面形式的对话、聊天记录、论坛帖子、社交媒体评论等。书籍新闻例如 BookCorpus 包含了大量公开可用的书籍文本。科学文本包括教材、论文、百科及其他相关资源。例如 Wikipedia 包含多语言的百科全书文本。代码例如 Github 提供了大量的开源代码。多语言数据对于增强大语言模型的多语言理解和生成多语言能力具有至关重要的作用。下图展示了不同大模型采用的数据类型配比。自监督预训练数据集示例Texthttps://huggingface.co/datasets/Salesforce/wikitext。在预训练时只有 text 列中的 内容 即 document会用于模型训练。Codehttps://huggingface.co/datasets/codeparrot/codeparrot-clean-train有标注数据集SFT 数据集示例强化学习数据集示例数据质量对模型性能的影响下图展示了样本数据质量对模型性能的影响。模型性能通过 Loss 的体现损失越低代表模型对文本的预测能力越强、性能越好。测试 3 个任务场景Wikitext103 单词预测、Curation Corpus 摘要、Lambada 书籍级别的单词预测OpenWebText / C4天然高质量数据集本身是经过筛选、去重的优质文本作为基准对象。MassiveWeb Unfiltered低质量原始数据未过滤、未去重的海量网页文本含噪声、重复内容Loss 表现最差。Quality Filter / Exact Deduplication / Fuzzy Deduplication针对 MassiveWeb Unfiltered 执行一系列的数据质量提升操作过滤低质内容、精确去重、模糊去重后Loss 表现逐步变好。下图表示使用高质量数据训练的模型在自然语言生成和自然语言理解任务上表现更好。高质量预训练语料库对语言模型的生成能力至关重要。数据多样性对模型性能的影响根据研究LLM 所掌握的知识绝大部分都是在预训练过程中学会的因此为了使训练出的 LLM 能够覆盖尽可能广的知识面预训练语料需要组织多种来源的数据并以一定比例进行混合。来自不同领域、不同语言、不同场景的训练数据具有不同的语言特征包含了不同的语义知识。保证数据多样性可以让大语言模型获得更广泛的知识。比如中文数据通常需要较高比例的英文数据以弥补质量差异。通常来说中 : 英 : code 4 : 4 : 2。所以训练时要考虑数据集采样配比的问题将不同类型的数据如新闻、百科、代码等按合理比例混合。通过分类器将数据分门别类并根据类别设定不同的清洗和去重标准确保各类数据在训练集中合理分布。下图显示了 Llama 型训练混合了大量不同来源的数据以及各个数据集的采样概率以此来保证数据样本的多样性。包括网页、代码、论文、图书等。针对不同的文本质量Llama 模型训练针对不同质量和重要性的数据集设定了不同的采样概率表中给出了不同数据集在完成 1.4 万亿个词元训练时的采样轮数。另外数据顺序也会影响模型的学习效果类似于 “课程学习”。合理安排数据的训练顺序可以提升模型的知识吸收和应用能力。LLama 的研究建议通过语义相似度拼接相关文档增强上下文连贯性但实际操作中需根据具体需求进行调整。数据预处理数据过滤数据过滤是确保训练数据质量的关键。常见的数据过滤方法有 2 类。基于分类器的方法训练一个专用于数据质量打分和过滤的模型。常用的是利用 transformer-encoder 的 BERT 系列模型对数据进行打分因为其表征能力优于 transformer-decoder 模型。并且使用一组精选文本维基百科、书籍和一些选定的网站进行训练作为打分器的质量标准正样本。打分器能够筛选出含有不良内容或低质量数据的样本作为负样本。但对代码、Markdown 等格式的数据评分较低需要单独处理。基于启发规则的方法通过精心设计的规则有针对性地识别和剔除低质量数据。例如语言过滤为了训练特定目标语言的模型可以过滤掉其他语言的文本指标过滤如根据数据长度等指标进行过滤利用困惑度Perplexity等文本生成评估指标来检测和删除表达不自然的句子。统计特征过滤使用统计特征来衡量文本质量。例如单词比率对于网页数据过滤任何具有超过 100 个重复单词或句子的文档以及过滤符号和词元比大于 0.1 的文档对于论坛数据过滤掉任何点赞数少于 3 的用户评论。关键词过滤通过关键词集合进行过滤。对于维基百科数据过滤掉任何拥有少于 25 个 UTF-8 单词的页面对于网页数据过滤掉 HTML 标签以及过滤掉任何不含有 the, be, to, of, and, that, have, with 词汇的文档。数据去重避免重复内容影响训练效果。重复数据会降低大语言模型的多样性并可能导致训练过程不稳定。例如包含重复单词或短语的句子很可能造成语言建模中引入重复的模式。这对语言模型来说会产生非常严重的影响使模型在预测时容易陷入重复循环。使用大数据框架如 Hadoop 或 Spark通过 MinHash 或 SimHash 等技术实现高效去重。去重的粒度应根据训练需求灵活调整以确保数据多样性和质量。句子级别去重提取并过滤文档间超过一定长度的相同字符串。文档级别去重靠文档之间的表面特征相似度检测删除相似文档。数据集级别去重很多大语言模型预训练数据集都会包含 GitHub、Wikipedia。下面以 SimHash 批量去重为例#!/usr/bin/env python3 # -*- coding: utf-8 -*- import numpy as np # 1. 分词将 “不能复现的软件不算开源软件” 分为 “不能”、“复现”、“的”、“软件”、“不算”、“开源软件”。 words [不能,复现,的,软件,不算,开源软件] def encode_word(hash_int): # 3. 二进制化将获得的 hash 值转成二进制用 0 补齐到 md5 标准的 128bit然后 1 保持不变0 变成 -1就得到了 simhash 算法中单词的向量表示 bin_hash_value bin(hash_int)[2:].zfill(128) # 确保二进制串长度严格为 128 位截断超长部分避免哈希值超出 128 位 bin_hash_value bin_hash_value[-128:] # 将每个bit转为1或-1的嵌入向量 embedding np.array([1 if bit 1 else -1 for bit in bin_hash_value]) return embedding # 2. HASH计算每个词的 hash 值。 word_embeddings [encode_word(hash(word)) for word in words] # 对所有嵌入向量逐位求和 sum_embeddings sum(word_embeddings) print(sum_embeddings)执行输出[-6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 -6 2 -4 6 -2 2 -4 2 -2 2 2 0 -6 -2 0 0 4 0 -4 2 4 2 -2 2 2 -6 -2 -4 0 -2 0 -2 -4 0 -4 2 -2 -2 0 2 2 -2 4 0 2 0 2 -2 -2 0 -2 2 -2 -2 4 2 -6 0 4 -2 0 2 0 2]把大于 0 的变成 1小于的变成 0print(np.clip(sum(word_embeddings), 0, 1)) [0 0 1 1 0 0 0 0 1 1 0 1 0 0 0 1 0 0 1 0 1 0 0 0 0 1 1 0 1 0 1 1 0 1 0 0 0 0 0 1 1 0 0 0 0 0 1 0 0 1 1 0 0 0 0 0 0 1 0 0 1 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 1 1 1 0 1 1 1 1 1 0 0 0 0 0 1 1 0 1 0 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 1 0 0 0 0 1 1 0 0] 现在只需要比较两个文档向量的汉明距离有多少个比特不一样就能比较两个文档的相似性了。词元切分Tokenization词元切分是一个文本表示向量化的过程是 NLP 的基础通常包括分词和子词切分。分词分词是为了构建词汇表词汇表决定了分词器如何将文本转化为 Token 序列。所以大模型的 Word Embedding词嵌入阶段依赖词汇表模型只能处理词汇表中存在的词但词汇表不可能囊括所有的词因此在就会存在 “未登录词” 的情况。大模型无法为未登录词生成对应的词向量只能给予这些未登录词一个默认的通用表示 [UNK]unknown作为其词向量。子词切分子词切分是为了解决 UNK 的问题子词切分可以构建词元表。其中既存在完整的单词也存在形如英文单词词根词缀一般的子词Subword。比如: Nothing is impossible 会被子词分成 No th ing is im possi ble。我们可以选择使用分词器来完成以上工作常见的有 BPEByte-Pair Encoding、SentencePiece 或 WordPiece。以 BPE 为例它首先会把所有单词拆分为单个字符然后通过合并常见的字符对形成更长的子词subword。通过迭代地合并频率最高的字符对逐步构建词汇表词汇表大小通常是 128 的整数倍。为了高效加载和预处理实际的预训练语料在训练之前都会先经过 Tokenizer 分词并转换为 Binary二进制或 HDF5 格式文件还会进行分块sharding支持并行读取。因为实际数据量很大想要一次性读取到内存中不现实每个块通常按照 1B、2B、4B 的大小分割。数据集质量评估相关性数据必须与目标任务紧密相关。例如法律 AI 的数据应包含像 “合同有效的要求是什么” 这样精准的法律问题和答案。准确性答案必须正确且权威。想象一份食谱错把糖当盐结果不堪设想同样医疗 AI 的训练数据需要由专业医生审核。例如“糖尿病是什么原因引起的” 的答案必须基于科学事实而非谣言。多样性数据应涵盖多种场景和表达方式。对于客服 AI数据应包含类似 “如何退货” 的多种问法例如 “能退货吗” 或 “退货流程是什么”以提升模型的灵活性。一致性数据的语气和格式需保持统一。如果目标是专业语气答案应避免俚语。例如 “请提供您的账户详情” 比 “嘿给我你的信息” 更合适。干净数据需剔除噪音例如拼写错误、无关内容或重复数据。用户生成的内容如论坛帖子需特别过滤广告或无关信息。适量数据量过少会让模型 “营养不良”过多的低质量数据则会拖累表现。几千条高质量的 QA 对往往比海量低质量数据更有效。Scaling Laws 三要素平衡扩展OpenAI 在 2020 年的论文中提出了 Scaling Laws扩展定律证明了 LLM 的性能以交叉熵损失衡量遵循一定的数学幂律关系Power-law。即大预言模型的 Loss损失函数值与模型参数量N、训练数据量D、计算资源量C这 3 者之间存在着稳定且可预测的数学关系。L损失函数收到 N、D、C 的影响。α、β、γ常数系数α≈0.076、β≈0.095、γ≈0.05实际值因任务不同略有调整。如上图所示模型参数量N模型的总参数规模越大Loss 越低。例如将参数量从 1 亿增至 10 亿损失下降幅度超过线性增长预期。计算资源量C训练所用的浮点运算量FLOPs与 Loss 呈反向幂律关系即更多的计算资源可显著提升模型效果。训练数据量D如下图所示LLaMA 表明随着 D 的增加模型在分属两类任务的 6 个数据集上的性能都在稳步提高。通过增加 D 和延长训练时间较小的模型也能表现出良好的性能。仅对模型进行 10M∼100M个词元的训练就可以获得可靠的语法和语义特征。然而需要更多的训练数据才能获得足够的常识知识和其他技能并在典型的下游自然语言理解任务中取得较好的结果。但值得注意的是Scaling Law 展示了 NCD 这 3 者之间存在着微妙的平衡关系。若仅扩大其中一项而其他两项受限将导致收益显著降低。DeepMind 研究表明如果希望模型训练达到计算最优Compute-optimal则模型大小和训练词元数量应该等比例缩放即模型大小加倍则训练词元数量也应该加倍。例如若 N 增加 8 倍那么 D 需至少增加 5 倍才能避免过拟合。另外在 C 和 N 固定时增加 D 可以缓解过度拟合但存在边际递减效应。如下图所示当 C 固定时Loss 变化存在一个最优的 D而不是单存的越多越好。所以大模型训练需要关注 3 要素的平衡扩展。若仅扩大其中一项而其他两项受限将导致收益显著降低。下面是一些主流模型的 N、D 配比GPT 认为是 1.7 倍也就是说 175B 的 GPT-3需要使用 300B token 进行预训练。开源数据集Hugging Facehttps://huggingface.co/和魔塔社区https://www.modelscope.cn/home是著名的 2 个开源模型和开源数据集的网站此外还有 OpenDataLabhttps://opendatalab.com/、智源数据平台https://data.baai.ac.cn/dataset等等我们可以在这些网站上下载许多知名的开源数据集。Pile用于大语言模型训练的多样性大规模文本数据库由 22 个不同的高质量子集构成包括现有的和新构建的主要来自学术或专业领域。https://huggingface.co/datasets/Skywork/SkyPile-150BROOTSResponsible Open-science Open-collaboration Text Sources包含 46 种自然语言和 13 种编程语言总计 59 种语言整个数据集的大小约 1.6TB。RefinedWeb数据源为 CommonCrawl初始数据总量超过 1PB。经过文档准备、过滤和冗余去除后仅保留了大约 11.67% 的数据。SlimPajama原始的 RedPajama 包含 1.21 万亿个词元经过清洗和去重后的 SlimPajama 数据集包含 6270 亿个词元。NFC 正则化NFC Normalization过滤非 Unicode 字符。过滤短文档Filter Short Documents过滤了长度少于 200 个字符的文档长度非常短的内容对模型训练没有作用。全局去重Deduplication包括数据库内和数据库间的去重有多个阶段比如构建 MinHashLSH 索引、在索引中进行查询以定位重复项、构建图表示以确定重复连通域最后过滤每个成分中的重复项。文档交错与文档重排Interleave Shuffle大语言模型训练大多是在多源数据集上进行的需要使用指定的权重混合这些数据源。训练集和保留集拆分Split Dataset into Train and Holdout这一步主要是完成第二次随机重排并创建保留集。训练集与保留集中相似数据去重Deduplicate Train against Holdout最后一步是确保训练集和保留集之间没有重叠。最后唠两句为什么AI大模型成为越来越多程序员转行就业、升职加薪的首选很简单这些岗位缺人且高薪智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200% 远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。那0基础普通人如何学习大模型 深耕科技一线十二载亲历技术浪潮变迁。我见证那些率先拥抱AI的同行如何建立起效率与薪资的代际优势。如今我将积累的大模型面试真题、独家资料、技术报告与实战路线系统整理分享于此为你扫清学习困惑共赴AI时代新程。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】