1. 大厂LLM面试核心考察方向解析最近帮几位准备面试的朋友梳理LLM相关知识点时发现大厂二面普遍会从理论深度和工程实践两个维度进行考察。以鹅厂为代表的头部企业面试官往往不会问BERT和GPT有什么区别这类基础问题而是会聚焦在三个关键层面第一是模型原理的透彻理解比如要求手推Attention计算公式或解释KV Cache的优化原理第二是解决实际问题的能力典型如如何用BERT处理长文本分类第三是工程实现细节最近频繁被问到的Flash Attention实现就是典型案例。有位面试官甚至要求候选人在白板上画出Transformer解码器的完整计算图。2. Attention机制深度剖析2.1 自注意力计算全流程面试中最常被要求手写的公式就是Attention的计算过程。完整的Scaled Dot-Product Attention包含四个关键步骤QKV矩阵计算将输入序列通过三个不同的线性层投影到查询(Q)、键(K)、值(V)空间Q X W_Q # [batch_size, seq_len, d_k] K X W_K # [batch_size, seq_len, d_k] V X W_V # [batch_size, seq_len, d_v]注意力分数计算通过点积衡量查询与键的匹配程度scores Q K.transpose(-2, -1) / sqrt(d_k) # [batch_size, seq_len, seq_len]注意力权重归一化使用softmax确保权重总和为1attn_weights softmax(scores, dim-1)上下文向量生成加权求和值向量output attn_weights V # [batch_size, seq_len, d_v]注意面试时经常会被追问为什么要除以√d_k。这是为了缓解维度增大导致的梯度消失问题——当d_k较大时点积结果会呈现极端分布某些值特别大使得softmax梯度变得非常小。2.2 多头注意力实现细节实际工程中我们更常使用Multi-Head Attention。以PyTorch实现为例关键点在于头分割与合并通过view和transpose操作实现# 分割头 Q Q.view(batch_size, -1, num_heads, d_k).transpose(1,2) # [bs, num_heads, seq_len, d_k] # 合并头 output output.transpose(1,2).contiguous().view(batch_size, -1, num_heads*d_k)参数初始化通常使用Xavier初始化防止梯度爆炸残差连接添加原始输入避免梯度消失output output residual最近面试中频繁出现的进阶问题是解释Flash Attention如何通过分块计算优化显存使用。其核心思想是将QK^T矩阵计算拆分为多个tile每个tile单独进行softmax后再合并结果。具体流程包括将Q、K按块大小B分块计算每个块的局部attention通过online softmax算法合并结果最终与V相乘得到输出3. Transformer架构关键组件3.1 编码器层实现要点一个完整的Transformer编码器层包含多头自注意力子层前馈神经网络子层层归一化LayerNorm残差连接面试常考的实现陷阱LayerNorm的位置Pre-Norm vs Post-Norm激活函数选择原论文用ReLU但GLU效果更好初始化策略注意力层需要更小的初始化范围3.2 解码器特殊机制解码器相比编码器多了两个关键设计掩码注意力防止当前位置关注后续tokenmask torch.triu(torch.ones(seq_len, seq_len), diagonal1).bool() scores.masked_fill_(mask, -float(inf))交叉注意力连接编码器输出的记忆向量最近有个有趣的面试题是解释解码器推理时KV Cache的工作原理。其本质是将之前计算的K、V缓存起来避免重复计算# 推理时 k torch.cat([past_k, new_k], dim-2) # 拼接历史K v torch.cat([past_v, new_v], dim-2) # 拼接历史V4. BERT实战应用技巧4.1 文本分类实战用BERT处理THUCNews标题分类的典型流程输入处理inputs tokenizer(text, paddingTrue, truncationTrue, max_length128, return_tensorspt)模型微调class BertClassifier(nn.Module): def __init__(self, bert_model, num_labels): super().__init__() self.bert bert_model self.classifier nn.Linear(bert_model.config.hidden_size, num_labels) def forward(self, input_ids, attention_mask): outputs self.bert(input_ids, attention_mask) pooled outputs.last_hidden_state[:,0] # [CLS] token return self.classifier(pooled)长文本处理技巧滑动窗口法段落编码池化使用Longformer等改进模型4.2 面试常见问题解决方案问题BERT如何处理超过512token的文本 解决方案对比表方法优点缺点截断实现简单丢失信息滑动窗口保留全部内容计算量大段落编码平衡效果与效率需要设计池化策略改进模型原生支持长文本需要重新训练5. 高频面试题深度解析5.1 手写Self-Attention最近某大厂二面真题 实现一个不考虑batch的简化版SelfAttention类参考实现class SelfAttention(nn.Module): def __init__(self, embed_size, heads): super().__init__() self.embed_size embed_size self.heads heads self.head_dim embed_size // heads self.to_qkv nn.Linear(embed_size, embed_size*3) self.scale self.head_dim ** -0.5 def forward(self, x): qkv self.to_qkv(x).chunk(3, dim-1) q, k, v map(lambda t: t.view(t.shape[0], -1, self.heads, self.head_dim).transpose(1,2), qkv) dots (q k.transpose(-2,-1)) * self.scale attn dots.softmax(dim-1) out (attn v).transpose(1,2).reshape(x.shape) return out5.2 性能优化相关问题高频问题如何优化Transformer的推理速度优化方案全景图计算优化Flash Attention混合精度推理算子融合内存优化KV Cache激活值检查点量化压缩架构优化知识蒸馏模型剪枝稀疏注意力重要提示面试时被问到优化问题一定要先明确优化目标延迟/吞吐/显存再给出针对性方案。比如降低延迟优先考虑Flash Attention减少显存则推荐KV Cache量化。6. 面试准备建议根据最近3个月的面经统计LLM相关岗位的考察重点分布如下知识点出现频率Attention实现92%长文本处理85%推理优化78%微调技巧65%预训练方法58%建议准备路线基础手推Attention公式理解BERT/GPT区别进阶掌握Flash Attention原理能实现简易Transformer深入研究LoRA等参数高效微调方法扩展了解RLHF等对齐技术最后分享一个真实案例某候选人被要求在白板上推导梯度回传时发现对softmax的求导不熟悉。建议重点复习 $$ \frac{\partial softmax(x_i)}{\partial x_j} softmax(x_i)(\delta_{ij}-softmax(x_j)) $$ 其中$\delta_{ij}$是Kronecker delta函数。