Transformer奠定了几乎所有现代大语言模型Large Language Models, LLMs的架构基础。以 BERT 为代表的双向编码器模型仅使用 Transformer 的编码器部分通过掩码语言建模Masked Language Modeling预训练在下游理解任务上取得了前所未有的性能。而以 GPT 系列为代表的 自回归解码器模型则仅使用 Transformer 的解码器部分采用“下一个词预测”任务进行大规模预训练展现出惊人的文本生成能力ChatGPT 即是其巅峰之作。作者鹅厂架构师stevenzuo什么是 TransformerTransformer 是一种基于自注意力机制Self-Attention的深度神经网络架构由 Google Brain 团队在 2017 年发表的论文《Attention is All You Need》中首次提出。它彻底摒弃了传统的循环神经网络RNN结构不再依赖序列的顺序处理而是通过并行计算建模输入序列中任意两个元素之间的全局依赖关系解决了序列建模中的长期依赖与并行计算难题。一、为什么需要 TransformerRNN 的根本性局限在深度学习早期循环神经网络Recurrent Neural Network, RNN及其改进版本长短期记忆网络Long Short-Term Memory, LSTM和门控循环单元Gated Recurrent Unit, GRU是处理序列数据如自然语言、语音、时间序列的标准工具。其核心思想是通过隐藏状态 在时间步之间传递信息从而建模序列的动态依赖关系。然而RNN 架构存在两个难以克服的根本性缺陷第一计算无法并行化。由于第 步的输出严格依赖于第 步的隐藏状态整个序列必须按顺序逐词处理。这种串行特性严重限制了训练效率尤其在现代 GPU/TPU 等大规模并行硬件环境下无法充分利用计算资源。第二长期依赖问题Long-Term Dependency Problem。尽管 LSTM 和 GRU 通过引入门控机制在一定程度上缓解了梯度消失问题但在处理超长序列时信息在多次传递中仍会逐渐衰减或混淆。例如在句子“我在法国长大所以我会说法语”中模型需要将句首的“法国”与句尾的“法语”建立强关联但 RNN 很难在数十甚至上百个时间步后依然保持这种精确的语义连接。正是在这样的背景下Google Brain 团队于 2017 年发表了划时代论文《Attention is All You Need》提出了一种全新的神经网络架构——Transformer。该模型彻底摒弃了循环结构转而完全依赖一种称为“自注意力”Self-Attention的机制来建模序列内部的全局依赖关系从而一举解决了上述两大瓶颈。二、Transformer架构图和核心机制1、Transformer的完整架构图如下Transformer 架构由两个核心组件构成编码器Encoder和解码器Decoder。其中关键模块 Multi-Head Attention多头注意力机制是注意力层的核心。根据任务需求的不同这两个组件可以独立或联合使用1Encoder-only 模型适用于以理解或分析输入内容为核心的判别类任务。适用于以理解或分析输入内容为核心的判别类任务。新闻或短视频分类、敏感内容识别、技术文档意图识别如判断用户提交的是 Bug 报告、功能请求还是咨询等。2Decoder-only 模型适用于自回归式文本生成任务。 典型应用场景包括商品描述自动撰写、代码自动补全、API 文档生成、单元测试用例生成等。3Encoder-Decoder 模型也称 Sequence-to-Sequence 模型适用于跨模态或跨语言的生成式任务。包括机器翻译、代码注释生成、长文章或视频内容摘要生成、用户搜索查询改写以及客服对话摘要、编程语言翻译如 Python 转 JavaScript等。这种灵活的组合方式使得 Transformer 成为适应多种自然语言处理任务的强大基础架构。2、Transformer的核心机制1自注意力机制每个词在生成新表示时能够同时关注句中所有其他词并根据语义相关性动态分配权重。这种机制允许模型捕捉全局依赖关系解决了传统循环神经网络中的长期依赖问题。2多头注意力Multi-Head Attention通过并行使用多个注意力头从不同的子空间学习多样化的语义和句法特征。每个注意力头专注于不同的信息维度增强了模型的表达能力和鲁棒性。3位置编码Positional Encoding由于自注意力机制对顺序不敏感位置编码通过正弦和余弦函数为输入注入位置信息使模型能够区分不同顺序的相同词汇组合。这种方法不仅提供了绝对位置信息还保留了相对位置的学习能力。4编码器-解码器架构编码器负责理解输入序列通过堆叠多层包含多头注意力和前馈神经网络的模块并结合残差连接和层归一化来稳定训练过程。解码器则用于自回归生成输出序列它不仅包含与编码器类似的结构还额外引入了掩码多头注意力机制以防止“偷看”未来信息。两者协同工作实现了从输入到输出的高效转换。三、Transformer 的灵魂自注意力机制Self-Attention自注意力机制的核心在于它允许序列中的每一个元素例如一个词在生成其新表示时能够直接、动态地与其他所有元素进行交互并根据语义相关性分配不同的关注权重。1、生活类比图书馆检索系统想象你去图书馆找资料。为了自动化这个过程需要三个要素Query (查询)你手里的便利贴写着你想找的需求例如“我要找量子物理的书”。Key (索引/标签)书脊上的分类标签例如“物理”、“历史”、“烹饪”。Value (内容)书里真正的知识内容。自注意力的运作流程拿着你的Query去和每一本书的Key比对。如果匹配度高相关性强你就把那本书的Value内容多读一点高权重。如果匹配度低不相关你就忽略它低权重。2、核心概念Q、K、V 的诞生在模型中每一个词例如输入 都需要根据场景“分身”成三个角色。这是通过乘以三个独立的可学习矩阵实现的graph TD X[输入词向量 x_i] --|乘 W_Q| Q[Query: 主角向量br用于寻找相关信息] X --|乘 W_K| K[Key: 配角标签br用于被别人寻找] X --|乘 W_V| V[Value: 实际内涵br真正的信息载体]Query ()当这个词作为当前关注点时它负责去“寻找”。Key ()当这个词作为背景时它负责展示自己的“标签”。Value ()当这个词被选中后它贡献出的“数值”。3、 具体案例它 (it) 是谁为了展示该机制如何解决长距离依赖和语义歧义以下是经典例句“The animal didn’t cross the street because it was too tired.”(动物没有穿过街道因为它太累了。)目标让模型理解句中的“it”指代的是“animal”动物而不是“street”街道。第一阶段准备与打分 (Attention Score)当模型处理到单词“it”时“it”生成了自己的查询向量 。它拿着 去扫描句中所有词的 Key ()。打分过程模拟计算点积 步骤交互对象潜台词逻辑匹配分数 (Score)Round 1Q_{\text{it}} vs K_{\text{street}}“街道”会感觉到“累”吗 极低 (e.g., 0.1)Round 2Q_{\text{it}} vs K_{\text{animal}}“动物”会感觉到“累”吗 极高 (e.g., 0.8)Round 3Q_{\text{it}} vs K_{\text{tired}}“累”是“它”的状态吗☁️ 中等 (e.g., 0.1)第二阶段可视化权重 (Softmax)经过 Softmax 归一化后我们得到了注意力的分布热力图当前词: it (Query) ------------------------------------- 关注对象 (Keys): [The ] ░ (0.00) [animal] ████████████████ (0.80) -- 最关注 [didnt] ░ (0.00) [cross ] ░ (0.00) [the ] ░ (0.00) [street] █ (0.05) [because]░ (0.00) [it ] ██ (0.10) [was ] █ (0.05) ...第三阶段信息融合 (Weighted Sum)最后模型根据上面的权重提取各单词的Value ()并相加生成“it”的新表示。结果含义生成的这个新向量 虽然名字还叫 “it”但在数学空间里它已经吸取了 “animal” 的特征。“it” 变身了它现在是一个包含了“动物”属性的混合体。4、小结为什么路径长度为 1在 RNN (循环神经网络) 中”animal” 的信息要传给 “it”必须经过中间所有的词 (street, cross, etc.)距离很远容易丢失。 在Self-Attention中”it” 直接与 “animal” 握手。无论句子多长它们之间的距离永远是1。为什么要除以 问题假设 很大点积结果可能高达 100 或 -100。后果Softmax 对大数值极其敏感会输出[1, 0, 0...]这种极端值。这会导致梯度几乎为 0梯度消失模型无法学习。解决除以 将数值拉回合理的正态分布范围例如 -3 到 3保证训练的稳定性。一句话总结自注意力机制就是让序列中的每个词都能在当前语境下通过“查询”和“匹配”把相关的其他词的信息“吸”过来融合到自己身上从而真正“读懂”上下文。实现层面首先定义输入序列为 其中 是序列长度 是词向量的维度。对于每个输入向量 我们通过三个独立的可学习线性变换权重矩阵生成对应的查询Query、键Key和值Value向量其中 通常 为头数这些矩阵在训练过程中被优化。接着注意力分数通过计算 Query 与 Key 的点积得到再经过缩放和 Softmax 归一化最终用于加权求和 Value 向量这里的缩放因子 至关重要。当 较大时点积结果的方差会增大导致 Softmax 函数进入其梯度极小的饱和区从而使反向传播失效。除以 可有效控制数值范围保证训练稳定性。该机制使得模型在处理任意位置 时都能直接访问整个上下文建立起与任意其他位置 的直接连接路径长度恒为 1从根本上解决了长期依赖问题。四、多头注意力机制Multi-Head Attention单一的注意力头虽然能捕捉全局依赖但其表达能力受限于固定的线性变换空间。为了增强模型的容量和鲁棒性Transformer 引入了多头注意力机制。简单来说单一的注意力头就像一个只戴了一副单色滤镜的人他可能看得清轮廓但看不见色彩。而多头注意力机制Multi-Head Attention则是给模型配了一支专家团队。假设输入句子是“The animal didn’t cross the street because it was too tired.”模型需要理解其中的 “it” 到底指的是 “animal” 还是 “street”。1、专家分工不同的注意力头在干什么当模型计算 “it” 这个词的注意力时不同的“头”会利用各自的投影矩阵 进入不同的子空间Head 1 (语法专家 - Syntax) 关注点 句子结构和成分Syntax发现 “it” 在从句中做主语而主句的主语是 “animal”。它会在 “it” 和 “animal” 之间建立强联系。Head 2 (语义专家 - Semantics) 关注点 词义的逻辑搭配Semantics发现 后面的形容词是 “tired”劳累的。在常识库里动物会累但马路street不会累。它会加强 “it” 到 “animal” 的权重。Head 3 (局部专家 - Local Context) 关注点 物理距离近的词Local Context 发现 “street” 就在 “it” 旁边。虽然这个头可能会误导但它捕捉到了物理位置的接近性。2、信息融合从局部到整体1并行计算这 8 个或更多头同时工作生成 8 个不同的结果向量 。2拼接 (Concatenate)就像把 8 位专家的报告装订成一本厚书。3线性映射 ()最终的矩阵 就像是一个主编。他阅读整本报告过滤掉 Head 3 的干扰信息综合 Head 1 和 Head 2 的逻辑给出一个最终的向量表示——这个表示清晰地指向了 “animal”。实现层面模型并行地执行 次例如 不同的自注意力计算每次使用独立的投影矩阵 从而让每个“头”专注于学习输入序列的不同子空间特征。例如某些头可能擅长捕捉语法结构如主谓一致另一些头则可能专注于指代消解或语义角色标注。所有头的输出被拼接成一个大的向量再通过一个额外的线性变换 进行融合这种设计极大地提升了模型的表示能力使其能够同时从多个语义和句法维度理解输入是 Transformer 性能优越的关键因素之一。五、位置编码Positional Encoding赋予模型顺序感知能力自注意力机制的一个直接后果是其排列不变性Permutation Invariance无论输入序列中的词以何种顺序排列只要集合相同注意力计算的结果就完全一致。这显然无法满足语言建模的需求因为“猫追狗”和“狗追猫”的语义截然相反。为了解决这一问题原始论文提出了位置编码Positional Encoding, PE 的概念。其核心思想是将位置信息显式地注入到词嵌入中使得模型能够区分不同顺序的相同词汇组合。位置编码是一个与词嵌入维度相同的向量其第 个位置、第 维的值由以下公式定义其中 是词在序列中的绝对位置 是维度索引。这种基于正弦和余弦函数的设计具有深刻的数学动机。首先它为每个位置提供了唯一的编码。其次更重要的是对于任何固定的偏移量 可以表示为 的线性函数。这意味着模型不仅能够学习绝对位置还能通过权重矩阵学习到相对位置模式例如“前面第二个词”、“后面第三个词”这对于许多语言现象如动词-宾语距离至关重要。最终模型的输入不再是单纯的词嵌入而是词嵌入与位置编码的逐元素相加六、Transformer 的编码器和解码器解析一个完整的 Transformer 模型由编码器Encoder和解码器Decoder两部分堆叠而成最初用于机器翻译任务。两者均由多个相同的层原论文中为6层级联构成。1、编码器Encoder构建输入的上下文感知表示编码器的每一层包含两个主要子层1多头自注意力子层该子层允许输入序列中的每个词与所有其他词进行交互生成富含上下文信息的新表示。2前馈神经网络Feed-Forward Network, FFN子层这是一个简单的两层全连接网络对序列中每个位置的向量独立地进行非线性变换其中 是可学习参数。为了确保深层网络的稳定训练每个子层周围都应用了残差连接Residual Connection 和层归一化Layer Normalization。具体流程为2、解码器Decoder自回归式地生成输出序列解码器的结构比编码器更为复杂其每一层包含三个子层1带掩码的多头自注意力子层Masked Multi-Head Self-Attention这是解码器区别于编码器的关键。在训练时虽然整个目标序列作为输入提供给模型但为了模拟真实的自回归生成过程即预测下一个词时只能看到之前的词必须防止当前位置“偷看”未来信息。这通过在注意力分数矩阵中对非法位置即对角线以上的元素填入负无穷 实现经 Softmax 后这些位置的权重变为零。2编码器-解码器注意力子层Encoder-Decoder Attention该子层的 Query 来源于解码器上一层的输出而 Key 和 Value 则完全来自于编码器的最终输出。这使得解码器在生成每个目标词时能够动态地聚焦于源句子中最相关的部分实现了跨语言的对齐。3前馈神经网络FFN子层与编码器中的 FFN 相同。同样每个子层后都应用了残差连接和层归一化。七、Transformer 的深远影响Transformer 模型简洁、强大且通用的架构使其成为后续几乎所有大模型的基石并成功跨界至图像分类与目标检测、语音识别、多模态融合、自动驾驶路径规划等多个领域。以下几个关键创新彻底重塑了序列建模的格局1以自注意力机制为核心取代了传统的循环结构实现了真正的并行计算并有效解决了长期依赖问题。2引入多头注意力使模型能够从多个语义和句法子空间同时学习极大地增强了表达能力。3设计精巧的位置编码方案利用正弦和余弦函数的周期性既提供了绝对位置信息又保留了学习相对位置的能力。4采用编码器-解码器架构并通过掩码机制和跨注意力机制完美适配了序列到序列Seq2Seq的生成任务。Transformer 的提出不仅是 NLP 领域的一次技术革新更是整个人工智能发展史上的一个分水岭。理解 Transformer不仅是掌握一项具体的技术更是理解当代人工智能发展脉络的关键钥匙。