注意力机制——突破性进展解码器不再眯着眼看压缩摘要，开始查看整个源序列。此后的一切都是注意力加工程化。类型：构建语言：Python前置条件：Phase 5 · 09（序列到序列模型）预计用时：~45 分钟问题第 09 课以一个经过衡量的失败告终。在玩具复制任务上训练的 GRU 编码器-解码器在长度 5 时准确率 89%，到长度 80 时接近随机。原因是结构性的，不是训练 bug：编码器收集的每一点信息都必须塞进一个固定大小的隐藏状态，而解码器看不到其他任何东西。Bahdanau、Cho 和 Bengio 在 2014 年发表了一个三行修复。不再只给解码器最终的编码器状态，而是保留每个编码器状态。在每个解码器步，计算编码器状态的加权平均，权重表示"解码器现在需要多大程度上关注编码器位置i？"这个加权平均就是上下文，它在每个解码器步都会变化。这就是全部想法。Transformer 扩展了它。自注意力将其应用于单个序列。多头注意力并行运行它。但 2014 年的版本已经打破了瓶颈，一旦你掌握了它，转向 Transformer 只是工程问题，不是概念问题。核心概念