1. 从零搭建AI工程能力为什么我劝你别再“调包”了这两年带过不少新人也帮朋友面过几十份AI方向的简历发现一个特别普遍的现象很多人简历上写着“熟悉深度学习”“掌握大模型应用开发”结果一问底层细节就露馅。模型训练loss不收敛第一反应是换学习率问为什么换、换多少、换了之后梯度范数怎么变答不上来部署推理服务显存爆了只会加batch size调小至于KV Cache怎么占的显存、算子融合到底融了什么完全没概念。这就是“调包侠”的典型困境——会用model.fit()但不知道fit背后发生了什么。ai-engineering-from-scratch这个标题之所以值得拿出来聊恰恰是因为它戳中了当前AI工程领域最稀缺的一种能力从零把东西搭起来的能力。不是从零训练一个GPT-4而是从零理解并实现AI工程链路里的每一个关键环节知道每一行代码为什么这么写知道每个参数背后的数学含义知道出问题的时候该往哪个方向排查。这篇文章适合谁看如果你是刚入行、只会调库的AI初学者它能帮你建立完整的工程认知框架如果你是有一定经验但总觉得“知其然不知其所以然”的开发者它能帮你补齐底层短板如果你是团队leader想给组里新人设计一套靠谱的成长路径这里面的思路可以直接抄作业。我会从整体设计思路、核心细节拆解、实操落地、问题排查四个维度把“从零构建AI工程能力”这件事讲透全程不废话都是能直接上手的东西。2. 整体设计思路从零构建到底该“零”到什么程度2.1 先想清楚你要的“从零”是哪个零很多人一听到“from scratch”脑子里浮现的就是手写反向传播、用numpy实现卷积。这个理解不能说错但太窄了。AI工程能力其实分好几层从零的“零”也分好几个起点你得先搞清楚自己站在哪一层。我一般把AI工程能力拆成四层数学与算法层、框架与实现层、系统与工程层、业务与落地层。数学层是从零推导梯度下降、理解注意力机制的矩阵运算框架层是从零实现一个简单的自动微分、手写一个训练循环系统层是从零搭一个推理服务、设计一个数据管道业务层是从零设计一套评估指标、跑通一个完整的项目闭环。ai-engineering-from-scratch的核心思路不是让你把四层全部从零手写一遍——那既不现实也没必要——而是在每一层都至少有一次“亲手实现”的经历。你不需要手写CUDA kernel但你应该知道矩阵乘法在GPU上是怎么被拆成tile的你不需要从零训练一个BERT但你应该能手写一个multi-head attention并让它跑通。为什么这么设计因为AI工程里90%的坑都藏在“你以为你懂了”和“实际底层是这样”之间的缝隙里。只有亲手踩过一遍缝隙才会被填上。2.2 学习路径的取舍为什么我建议“自底向上自顶向下”双线并行纯自底向上学容易陷入数学细节出不来学了三个月还在推公式动手能力为零纯自顶向下学容易变成调包侠遇到问题就抓瞎。我的建议是双线并行主线自底向上打地基副线自顶向下做项目。具体怎么操作主线用四周时间每周攻克一个底层主题第一周手写线性回归和梯度下降第二周手写多层感知机和反向传播第三周手写卷积和池化第四周手写注意力机制。副线同步进行找一个真实的小项目比如做一个图像分类器或者文本情感分析用现成框架实现但每用到框架的一个功能就回头问自己这个功能底层是怎么实现的这样做的逻辑是主线的“从零实现”给你底气副线的“框架使用”给你效率两者互相印证。当你手写过反向传播之后再用PyTorch的loss.backward()你看到的不再是一个黑盒而是一串你熟悉的链式法则计算。这种认知上的通透感是单纯调包永远给不了的。2.3 工具选型的底层逻辑为什么是numpy而不是其他从零实现阶段工具选型有个原则用最原始的工具暴露最多的细节。所以首选numpy而不是直接上PyTorch的底层API。numpy的好处是它足够“笨”。你写一个矩阵乘法就是np.dot没有自动微分没有GPU加速没有算子融合。正因为笨你才必须自己实现前向传播的每一步自己推导反向传播的每一个梯度。这个过程很痛苦但痛苦本身就是学习。等你用numpy把整个流程跑通之后再迁移到PyTorch你会发现PyTorch的每一个API你都能对应到numpy的实现上。torch.nn.Linear对应你手写的W x btorch.optim.SGD对应你手写的W - lr * grad。这时候框架对你来说不再是魔法而是一个帮你把重复劳动自动化的工具。至于为什么不用JAX或者TensorFlow原因很简单PyTorch的动态图机制更贴近Python原生思维调试更直观对初学者更友好。JAX的函数式范式虽然优雅但学习曲线更陡不适合作为第一门从零实现的工具。3. 核心细节解析从零实现里最容易翻车的几个点3.1 梯度推导链式法则不是背出来的是画出来的手写反向传播最大的拦路虎是梯度推导。很多人卡在这里是因为把链式法则当成公式去背而不是当成图去理解。我的经验是先画计算图再写代码。以两层神经网络为例前向传播是x - Linear1 - ReLU - Linear2 - Loss你把这个链条画出来每个节点标上输入输出维度然后反向从Loss开始一层一层往回推梯度。每推一层就在图上标注这个梯度是关于谁的、维度是多少。具体到代码反向传播的核心就是维护一个grad字典记录每个中间变量对最终Loss的梯度。比如Linear1的输出是h1那么grad[h1]就是Loss对h1的梯度。计算grad[W1]的时候用grad[h1]乘以h1对W1的局部梯度。这个局部梯度怎么求就是前向传播时h1 W1 x b1对W1求导结果是x。这里有个特别容易翻车的点矩阵求导的维度匹配。W1的维度是(hidden, input)x的维度是(input, batch)grad[h1]的维度是(hidden, batch)那么grad[W1] grad[h1] x.T维度是(hidden, input)刚好对上。如果你不画图、不标维度很容易写成x grad[h1].T维度就错了。我见过太多人在这里debug一下午最后发现是转置搞反了。提示每次写完梯度计算用数值梯度检验一下。数值梯度的公式是(f(xeps) - f(x-eps)) / (2*eps)虽然慢但能帮你确认解析梯度对不对。这个习惯我从学的时候保持到现在救过无数次命。3.2 初始化为什么全零初始化会让你的网络“死掉”从零实现的时候初始化是最容易被忽视、但影响最大的环节。很多人随手写个W np.zeros(...)然后发现训练完全不动loss一直不变。原因在于对称性。如果所有神经元的权重都一样那么它们在前向传播时输出相同反向传播时梯度也相同更新之后还是相同。整个网络退化成一个线性模型隐藏层的多个神经元完全冗余。这就是所谓的“对称性破坏”问题。正确的做法是随机初始化而且要根据激活函数选择初始化策略。用ReLU激活推荐He初始化权重服从均值为0、方差为2/n_in的正态分布用tanh或sigmoid推荐Xavier初始化方差是1/n_in。为什么有这个区别因为ReLU会把负半轴截断输出方差减半所以需要更大的初始方差来补偿。代码上He初始化就是W np.random.randn(n_out, n_in) * np.sqrt(2.0 / n_in)。这个sqrt(2/n_in)不是拍脑袋来的是从“保持每层输出方差一致”这个目标推导出来的。推导过程涉及方差传播这里不展开但你只要记住初始化的目标是让信号在前向传播时方差稳定在反向传播时梯度方差也稳定。3.3 损失函数交叉熵和MSE到底该用哪个从零实现分类任务的时候很多人习惯性用MSE因为回归任务用惯了。但分类任务用MSE训练会非常慢而且容易陷入局部最优。根本原因在于梯度。MSE配合sigmoid输出梯度里会有一个sigmoid(z)因子当z很大或很小时sigmoid的导数趋近于0梯度消失参数几乎不更新。而交叉熵配合softmax梯度化简之后就是y_pred - y_true干净利落没有饱和问题。具体实现上softmax加交叉熵有个数值稳定的技巧先减去最大值再取指数。也就是exp(x - max(x)) / sum(exp(x - max(x)))。不减最大值的话exp容易溢出尤其是logits比较大的时候。这个技巧在框架里是默认做的但你从零实现的时候必须自己加上否则训练到一半突然出现nan排查起来很痛苦。交叉熵的梯度推导也值得说一句。softmax的输出是p_i交叉熵是-sum(y_i * log(p_i))对logits求导结果恰好是p_i - y_i。这个结果非常优雅也是softmax和交叉熵成为分类任务标配的原因。你手推一遍这个梯度会对“为什么这么设计”有更深的理解。3.4 优化器SGD、Momentum、Adam到底差在哪从零实现优化器是理解训练动态的最好方式。SGD就是W - lr * grad简单粗暴但在峡谷型损失面上会震荡收敛慢。Momentum引入速度概念v beta * v gradW - lr * v相当于给梯度加了惯性能加速收敛、减少震荡。Adam更进一步同时维护梯度的一阶矩和二阶矩做偏差校正。m beta1 * m (1-beta1) * gradv beta2 * v (1-beta2) * grad^2然后W - lr * m_hat / (sqrt(v_hat) eps)。这里的m_hat和v_hat是偏差校正后的估计因为初始时m和v都是0不校正的话前期估计偏小。为什么Adam这么受欢迎因为它对学习率不敏感默认lr1e-3就能在大多数任务上工作。但Adam也有坑在某些任务上泛化性能不如SGDMomentum尤其是图像分类。所以我的建议是从零实现阶段先把SGD和Momentum搞透理解学习率、动量系数的作用实际项目里Transformer类模型用AdamWCNN类模型可以试试SGDMomentum。4. 实操过程从零搭一个能跑的AI工程链路4.1 环境准备最小依赖原则从零实现阶段环境越干净越好。我的建议是只装三个包numpy、matplotlib、tqdm。numpy负责计算matplotlib负责可视化loss曲线和决策边界tqdm负责看训练进度。不要装PyTorch不要装TensorFlow装了你就忍不住去调包。Python版本建议3.9以上numpy版本1.24以上。创建一个虚拟环境python -m venv ai_from_scratch激活之后pip install numpy matplotlib tqdm。就这么多干净利落。为什么强调最小依赖因为依赖越少你被迫自己实现的东西越多学到的东西也越多。等你把numpy版本跑通了再装PyTorch做对比实验那时候你对框架的理解会完全不一样。4.2 第一步手写一个线性回归线性回归是AI工程的“Hello World”但别小看它梯度下降、学习率、损失函数、过拟合这些概念全都能在里面体现。先造数据x np.random.randn(100, 1)y 3 * x 2 np.random.randn(100, 1) * 0.1。然后定义模型y_pred W * x b损失loss np.mean((y_pred - y) ** 2)梯度grad_W np.mean(2 * (y_pred - y) * x)grad_b np.mean(2 * (y_pred - y))。更新就是W - lr * grad_Wb - lr * grad_b。跑1000轮学习率设0.1你会看到loss从几十降到0.01左右W收敛到3附近b收敛到2附近。这个过程能让你直观感受到梯度下降是怎么工作的。这里有个实操心得学习率设太大loss会震荡甚至发散设太小收敛慢得让人抓狂。我一般先用0.1试如果loss震荡就降到0.01如果收敛太慢就升到0.5。这个调参直觉只有亲手跑过才能建立起来。4.3 第二步手写两层神经网络做分类线性回归跑通之后升级到分类任务。用sklearn的make_moons造一个非线性可分的数据集然后手写一个两层网络h relu(W1 x b1)logits W2 h b2loss cross_entropy(softmax(logits), y)。反向传播是重点。先算grad_logits softmax(logits) - y_onehot然后grad_W2 grad_logits h.Tgrad_b2 sum(grad_logits, axis1)grad_h W2.T grad_logitsgrad_z1 grad_h * (z1 0)grad_W1 grad_z1 x.Tgrad_b1 sum(grad_z1, axis1)。跑起来之后用matplotlib画出决策边界你会看到网络学到的非线性分界面。这个可视化特别重要它能帮你建立“神经网络在做什么”的几何直觉。注意ReLU的导数在z0处不可导实践中一般取0或1都行影响不大。但如果你用z1 0作为导数记得z1恰好等于0的情况极少不用特殊处理。4.4 第三步手写注意力机制注意力机制是当前大模型的核心从零实现一遍你对Transformer的理解会上升一个台阶。单头注意力的公式是Attention(Q, K, V) softmax(Q K.T / sqrt(d_k)) V。Q、K、V都是输入X经过线性变换得到的Q X W_qK X W_kV X W_v。sqrt(d_k)是缩放因子防止点积过大导致softmax饱和。多头注意力就是把d_model拆成h个头每个头独立做注意力最后拼接再过一个线性层。代码上就是reshape和transpose的操作把(batch, seq, d_model)变成(batch, h, seq, d_k)做完注意力再变回来。手写的时候最容易错的是维度变换。我建议你每一步都打印shape确认无误再往下写。尤其是K.T的转置是在最后两个维度上转不是整个矩阵转。这个细节不注意结果就是错的而且很难发现。4.5 第四步搭一个完整的训练循环把前面的组件串起来形成一个完整的训练循环数据加载、前向传播、损失计算、反向传播、参数更新、日志记录、模型保存。数据加载用numpy的随机索引做mini-batchidx np.random.choice(len(x), batch_size)然后x_batch x[idx]。前向传播和反向传播就是前面实现的函数。参数更新用SGD或Adam。日志记录用tqdm显示loss每100步打印一次。模型保存用np.savez把参数存下来。这个训练循环虽然简单但麻雀虽小五脏俱全。你把它跑通之后再去看PyTorch的DataLoader、optimizer.step()、model.train()会发现它们做的事情和你手写的一模一样只是封装得更好、性能更优。5. 常见问题与排查技巧实录5.1 loss不下降怎么办排查清单loss不下降是从零实现阶段最常见的问题原因可能有很多。我整理了一个排查清单按优先级从高到低排查项检查方法常见问题学习率打印loss曲线太大导致震荡太小导致不动初始化检查W的均值和方差全零初始化导致对称性梯度数值梯度检验梯度推导错误或转置搞反损失函数检查公式和实现分类用MSE或softmax数值不稳定数据检查标签和输入标签没做one-hot或输入没归一化激活函数检查导数实现ReLU导数写错或sigmoid饱和我自己的经验是80%的loss不下降问题出在学习率和初始化上。先用一个极小的学习率比如1e-4跑几百步如果loss缓慢下降说明梯度是对的问题在学习率如果loss完全不动检查初始化和梯度。5.2 梯度爆炸和梯度消失怎么判断、怎么解决梯度爆炸的表现是loss突然变成nan或者参数值变得极大。梯度消失的表现是loss下降极慢靠近输入层的参数几乎不更新。判断方法很简单在反向传播的时候打印每一层梯度的范数。如果某一层的梯度范数超过1e3基本就是爆炸如果小于1e-6基本就是消失。解决方法梯度爆炸用梯度裁剪grad np.clip(grad, -1, 1)或者用更小的学习率梯度消失用ReLU激活代替sigmoid用He初始化或者加BatchNorm。从零实现阶段我建议先加梯度裁剪简单有效。5.3 过拟合从零实现里怎么发现和缓解过拟合的表现是训练loss持续下降但验证loss先降后升。从零实现阶段因为没有框架的便利很多人会忽略验证集这是大忌。我的做法是数据造好之后先切20%做验证集训练过程中每10步记录一次验证loss。如果验证loss开始上升就说明过拟合了。缓解过拟合的手段从零实现阶段能做的有L2正则化在loss里加lambda * sum(W**2)、Dropout训练时随机置零一部分神经元、早停验证loss上升就停止训练。L2正则化实现最简单在梯度里加lambda * W就行。Dropout稍微麻烦一点需要在前向传播时生成mask反向传播时把对应梯度置零。5.4 数值稳定性nan和inf的排查从零实现阶段nan和inf是常客。常见原因有三个exp溢出、log(0)、除以零。exp溢出用减最大值解决前面说过。log(0)出现在交叉熵里如果预测概率是0log(0)就是负无穷。解决方法是在log里加一个极小值log(p 1e-8)。除以零出现在归一化或者方差计算里加一个eps就行。排查nan的时候我一般用np.isnan和np.isinf逐层检查找到第一个出现nan的地方然后往前推一步看是哪个计算导致的。这个方法虽然笨但很有效。5.5 性能优化从零实现怎么跑得更快numpy版本的实现性能肯定不如PyTorch但通过一些技巧可以快很多。第一向量化能用矩阵运算就不要用for循环。第二避免不必要的拷贝用而不是np.dot用而不是。第三batch size调大充分利用矩阵运算的并行性。第四用float32而不是float64内存减半速度提升明显。我实测下来一个两层网络在MNIST上numpy版本用float32、batch size 128跑一个epoch大概10秒左右完全可以接受。如果你觉得慢可以先用小数据集调试逻辑跑通再上全量数据。6. 从零实现之后怎么把能力迁移到真实项目6.1 从numpy到PyTorch认知迁移的关键手写numpy版本之后迁移到PyTorch会非常快因为你知道每个API背后在做什么。nn.Linear就是你手写的W x bnn.ReLU就是你手写的np.maximum(0, z)loss.backward()就是你手写的反向传播。迁移的时候重点对比三个东西参数初始化、梯度计算、优化器更新。PyTorch的默认初始化和你的可能不一样默认优化器行为也可能有差异。把这些差异搞清楚你对框架的掌控力会强很多。6.2 从零实现到工程落地还差哪些能力从零实现解决的是“理解”问题工程落地解决的是“效率”和“稳定”问题。两者之间还差几块能力分布式训练、混合精度、模型量化、服务部署、监控告警。这些能力不需要从零手写但你需要知道它们解决什么问题、什么时候该用。比如混合精度就是前向传播用float16加速反向传播用float32保持稳定核心是loss scaling。你理解了数值稳定性的原理就很容易理解loss scaling为什么必要。6.3 持续学习从零实现只是起点AI工程领域变化很快今天的主流架构明天可能就被替代。但从零实现培养起来的底层能力是不会过时的。你理解了梯度下降、反向传播、注意力机制的本质再看新架构就能快速抓住核心。我的建议是每学一个新东西都问自己“如果从零实现核心是什么”。比如学LoRA核心就是低秩分解W BAB和A的秩远小于W。你手推一遍梯度就知道为什么LoRA能省显存、为什么初始化时B要设为零。这种从零思考的习惯比会调多少个API重要得多。最后分享一个我自己的小技巧每次从零实现完一个组件我都会写一篇简短的笔记记录三个东西——核心公式、实现难点、踩过的坑。这些笔记后来成了我面试别人的题库也成了我带新人的教材。从零实现的价值不仅在于你学会了什么更在于你在这个过程中建立起来的思考方式和排查能力这些东西会跟着你走很远。