在AI这个领域待久了你会发现一个很有意思的现象很多人能熟练调用各种大模型API却连一个最简单的神经网络的前向传播都写不利索。工具链越来越完善封装越来越黑盒这当然提高了生产效率但也让不少工程师的根基变得虚浮。所以当我看到“ai-engineering-from-scratch”这个方向被越来越多的人关注时我并不意外——这是一股清醒的回流大家开始意识到想要真正驾驭AI手里得有点“自己造轮子”的底子。这篇文章我就从自己的实操经验出发聊聊从零开始做AI工程这件事到底意味着什么包括它涉及的核心知识半径、动手实践的关键路径、踩坑最多的环节以及最后如何把“从零实现”的成果重新接回现代工程体系。这篇文章不打算写成一本教科书而是更像一个过来人的路线图复盘——哪里该深挖、哪里该跳过、先学什么能最快建立正反馈这些弯路我都替你走过了你照单全收就行。1. 从零开始做AI工程到底在做什么1.1 “从零”不是让你拒绝轮子而是拆开轮子很多人一听“from scratch”就先把自己劝退了觉得这是要手写CUDA、从晶体管开始造计算机。其实完全不是这个意思。我理解的“从零开始做AI工程”核心不是“不沿用任何现成工具”而是“不跳过任何关键原理”。打个比方你买一台新车开得再好不叫懂汽车工程但你把发动机拆开再装回去一次哪怕装完之后车身多了几个螺丝你对汽车的理解就跟之前完全不一样了。AI工程也一样你可以用PyTorch、用sklearn、用各种框架但前提是你清楚框架在你背后到底做了什么。一个典型误区是有人觉得“从零实现”就是把Keras那套高层API换成PyTorch底层API比如把model.fit()换成手写训练循环就觉得已经“从零”了。说实话这还差得远。真正的从零至少要做到能手动实现一个多层感知机的正向传播和反向传播能自己写出梯度下降的更新公式能在不调用autograd的情况下算出一个简单网络的梯度然后看着这个“裸写”的网络在MNIST上收敛。这个门槛看起来不高但跨过去之后产生的认知红利是持续性的——之后你再遇到模型不收敛、梯度爆炸、学习率敏感这些问题时脑子里会自动浮现出计算图和数据流的画面而不是瞎调参。这里要特别强调一点从零做AI工程不等于抛弃现代工程工具去用记事本写代码。Jupyter、Git、Docker、GPU集群该用什么用什么。工程效率工具和原理理解是两条平行线别把“复古”当“深刻”。1.2 这个方向的适合人群与最终收益根据我接触过的案例和个人带新人的经验这个方向特别适合三类人。第一类是转行入局的工程师。你之前的背景可能是后端、前端或者运维简历上写了“熟悉机器学习基础”但实际上心里发虚。从零手撸一个网络的过程相当于把简历上那句模糊的话变成真实的能力背书。面试时被问到反向传播的推导你不会再支支吾吾。第二类是想往算法研究员方向走的同学。研究岗位每天面对的是论文里层出不穷的新结构、新loss如果连底层的梯度怎么流动都靠想象那你读论文就只能停留在“它效果好所以我也试试”的层面。真正看懂一篇论文需要你在心中模拟数据穿过每一层的形状变化、参数更新的规模感这种直觉恰恰来自你手写过一次。第三类是纯粹被AI吸引、想建立完整认知框架的爱好者。从零搭建的过程本身就非常有成就感——你看着自己用numpy写出来的两百行代码在数字识别任务上跑出了95%以上的准确率那一刻的理解深度比跑通十个现成demo都要值。但我必须先泼一盆冷水这条路不适合那些只想要速成结果的人。你如果目标只是“快速跑一个对话机器人出来接需求”那直接调API是更理性的选择。从零实现的修炼曲线是陡峭的它需要你耐得住性子去补数学、去调试那些“别人几行代码就搞定但我自己写就是不对”的挫败感。但熬过去之后你会拥有一种很难被工具更迭淘汰的能力换什么框架你都能快速看懂本质。在我看来这笔账是划算的。2. 知识地图AI工程从零起步需要补足的基石2.1 数学三件套线代、概率、微积分该学到什么程度聊到从零开始绕不开数学。但我也不想吓唬你做AI工程真的不需要你变成数学系研究生。你需要掌握的是“够用”的数学——要做到看到公式能理解它在做什么而不是能完整证明它。线性代数是重中之重。矩阵乘法、转置、形状对齐规则、矩阵的秩、特征值和特征向量这些是最基本的。深度学习里天天跟张量形状打交道一个(batch_size, seq_len, hidden_dim)的数据穿过线性层变成(batch_size, seq_len, output_dim)本质就是一次矩阵乘法。如果形状对齐的概念不熟你会陷入“调bug十分钟、发现是维度错了”的泥潭。我在带新人时有一个标准小测验随手写两个张量让他口算能不能做矩阵乘法、结果形状是什么。这个过关了基础就算有了。概率论你需要理解的是分布、期望、方差、最大似然估计和条件概率。因为机器学习本质上是在做概率建模交叉熵损失函数就是负对数似然你用的dropout本质是一个伯努利分布的采样过程练GAN的时候判别器输出的是一个条件概率。不理解这些背后的概率含义调模型就真的只是“跟着教程走”。微积分部分重点是链式法则和偏导数因为反向传播就是链式法则的工程化实现。你不需要去手算复杂的多元积分但你必须能流畅地写出一个复合函数的链式求导。很多人在这一步被卡住其实不是你数学不行而是你缺少把数学和代码对应起来的习惯。我的建议是同步进行学一个公式立刻用numpy实现一个最小例子去验证它让抽象的符号和具体的计算结果在脑子里建立连接。2.2 编程基础与工具链为什么我推荐numpy起步编程方面你需要至少熟练掌握Python。这里“熟练”的定义是能用Python流畅地处理数据、写类、做单元测试而不是只会抄代码。我见过太多人Python基础不牢就冲进深度学习最后连调试shape mismatch都费劲因为打印张量形状对他来说都是一个陌生操作。所以第一步的自我评估很简单——不借助框架能不能用Python写一个简单的二维数据标准化处理如果不能先补基础再上路。工具链方面我的建议是从numpy开始而不是一上来就用PyTorch或TensorFlow。原因很简单框架的autograd会帮你自动计算梯度这对工程效率是好事但对学习来说反而是个“作弊器”。当你用numpy手写网络时你必须自己推导梯度、自己实现参数更新、自己管理每个变量的形状。这个过程虽然繁琐但它会强迫你建立“参数在哪里、梯度流向哪里、状态怎么管理”的全局视角。等你用numpy完整实现过一个两层的MLP分类器再切换到PyTorch你会觉得一切都是顺理成章的——原来框架只是在替你完成你已经会做的工作。当然纯numpy不适合大规模训练它只能跑在CPU上跑大模型是痴人说梦。但作为学习工具它无可替代。我给出的入门路径是三步走第一步用numpy手写线性回归和梯度下降第二步手写多层感知机并实现反向传播第三步能手写一个简单的训练循环完成MNIST分类。走完这三步你已经比绝大多数“会用框架但不懂原理”的人强了。2.3 机器学习核心概念扫盲除了数学和编程一堆机器学习的基础概念是逃不掉的。这些概念看似琐碎但每一个都会在你后续的工程实践中反复出现。首先是数据集划分。训练集、验证集、测试集的划分逻辑看起来简单但实际工程中错误率极高。最常见的问题是数据泄露——比如在做数据标准化时把测试集的均值和方差也参与计算了或者在做数据增强时验证集也跟着一起变了。这些细节在学术代码里不算大事但一旦部署到真实业务中模型上线后的表现和离线评测不一致罪魁祸首往往就是数据划分的严谨性出了问题。然后是偏差方差权衡。过拟合和欠拟合这两个词你肯定听过但真正理解需要结合实践训练集loss很低、验证集loss很高这就是过拟合的信号两边loss都高则是模型容量不够或者特征工程没做好。对应手段也不陌生——正则化、dropout、数据增强、早停、换更大的模型。但知识是知识判断是判断你得亲手遇到一两次过拟合才能真正理解什么叫做“验证集是模型的试金石”。优化算法也是绕不开的。SGD、Momentum、Adam这三者的区别和适用场景得搞清楚。你不需要能背出Adam的论文公式但你要知道它在参数更新时做了什么——维护一阶矩估计和二阶矩估计让每个参数的学习率自适应。实际工程中Adam确实是默认选择因为它对不同参数的尺度不敏感、好调参。但要知道SGDMomentum在一些场景尤其是需要精细收敛的时候可能效果更好。这些经验需要在实操中慢慢沉淀。3. 亲手实现一个神经网络完整的实操路线3.1 从线性回归开始最简模型的完整闭环我觉得从零开始做AI工程最好的起点不是一个酷炫的神经网络而是最朴素的线性回归。线性回归是理解整个机器学习流程的最小闭环有数据、有模型、有损失函数、有优化方法。把这条链路跑通后面的所有模型都是在这个骨架上做替换升级。具体来说你可以生成一份带噪声的二维合成数据比如y 3.2 * x 1.7 noise。目标就是通过数据反推出逼近3.2和1.7的参数。这里有两个方案可以选择一个是用正规方程直接求解一步到位另一个是用梯度下降迭代逼近。我强烈建议你做梯度下降因为深度学习之后所有的训练都是这个模式。你需要定义一个均方误差损失函数计算它对参数的偏导然后按照w w - learning_rate * gradient的规则反复更新。这里的梯度推导很简单但你要亲自动笔写一遍并实现代码验证而不是复制别人的公式。当你看到参数随着迭代从初始值慢慢逼近真实值时那种“模型在学习”的直觉才会真正建立。你会直观体会到学习率太大导致震荡、太小导致收敛缓慢的经典问题。这种体验比读十遍优化器文档都有用。3.2 手写多层感知机正向传播、反向传播与梯度下降线性回归跑通之后就可以升级到多层感知机了。这是真正意义上“第一个神经网络”。我推荐实现一个两层的MLP激活函数用ReLU输出层用sigmoid做二分类或者直接用softmax做多分类。最终目标是在MNIST数据集上达到可观的准确率。正向传播很好理解输入经过第一层线性变换得到隐藏层再经过ReLU激活得到非线性变换的结果然后过第二层线性变换最后经过softmax变成概率分布。难点在反向传播——你要从输出层的loss开始利用链式法则逐层计算梯度。我清楚记得自己第一次推导这个公式时的混乱dW2、dW1、db2、db1之间的关系像蜘蛛网一样缠在一起。后来我找到一个好用的心态——把反向传播想象成“把误差信号逆着水流往回传”每经过一层误差信号会乘以这一层的局部导数。你不需要背公式只要能把每一层的局部梯度表达式写出来然后顺着链式法则乘下去结果自然是对的。实现时有几个技术细节要特别留心维度对齐W的形状和x的形状要保证矩阵乘法可执行。我的习惯是每一层都明确写出输入输出维度用注释标注例如# x: (batch_size, 784) - h: (batch_size, 64)。梯度形状每个参数的梯度形状必须与该参数形状一致否则w - lr * grad会报错或者静默出错。这也是新手最容易踩的坑。数值稳定性计算softmax时先减去最大值防溢出计算交叉熵时直接使用log_softmax的对数形式避免中间结果下溢。当你把这个网络在MNIST上跑到90%以上准确率时恭喜你你已经具备了一个深度学习工程师的基本盘感。这个版本还非常朴素但它证明了从零开始你的确能构建出真实可用的学习系统而不是只会调用model.fit()。3.3 训练循环的三要素设计在训练环节你还需要亲手设计“完整训练循环”包括三个核心要素数据迭代器、损失记录与验证评估。数据迭代器要解决的核心问题是如何把数据分批次地喂给模型。自己在numpy里实现一个简单的mini_batch生成器是非常好的练习——洗牌、切窗口、按批次返回。不要小看这个步骤批大小设置直接影响训练效果太大收敛快但内存占用高且可能陷入尖锐极小值太慢则梯度噪声大、收敛不稳定。工程上一般从32到128起步然后根据显存和收敛情况调整。损失记录要同时关注训练集和验证集。每个epoch结束在验证集上跑一次预测并计算准确率这是最朴素的模型监控方式。当训练loss持续下降但验证loss开始反弹时就是过拟合的最早信号。尽早建立这个习惯你会省掉后期大量的排障时间。验证评估这点容易被忽略分类任务不能只看准确率还要看查准率、查全率和混淆矩阵尤其是在类别不平衡的业务数据上准确率会骗人。一个永远预测“多数类”的模型可能有95%的准确率但它毫无用处。学会看验证评估的各种指标是你从“调通模型”迈向“做好模型”的关键一步。4. 扩展与深化从玩具模型走向真实AI工程4.1 认识现代框架从手写代码平滑迁移到PyTorch当你已经能用手写代码完成反向传播之后使用现代框架就不再是黑盒操作了。我建议的迁移路径是先在PyTorch里复现你之前手写的MLP。你会发现nn.Linear对应你手写的Wx bnn.ReLU对应你手写的激活函数loss.backward()则自动做完了你手写几十行的反向传播过程。这时候你应该有一种“原来如此”的感觉——框架只是帮你把繁琐的样板代码封装掉了核心原理和你手写的并无二致。这种认知转变很重要你从“照着教程调API”变成了“知道每一步背后发生了什么只是用工具加速”。以后遇到框架报错你能更快定位问题。比如loss.backward()之后梯度为None你马上能想到是计算图中的某个节点没有requires_gradTrue因为你知道梯度是从哪里流过来的。这种能力是纯框架用户很难具备的。4.2 引入真实数据集与特征工程思维玩具模型到真实工程之间的第一个台阶是处理真实数据的脏乱差。MNIST干净得像实验室蒸馏水而现实中的数据像下水道有缺失值、有异常值、有重复样本、有格式错误、有不可解释的分布漂移。在这个阶段我建议你找一个带真实噪声的公开数据集来练手比如一些电商评论情感分类、房价预测或者设备故障预测任务。你需要自己完成数据清洗处理缺失值用什么策略删除、均值填充、还是模型预测填充、检测异常值用什么方法箱线图、Z-score、隔离森林、特征缩放怎么选标准化还是归一化。这些都是特征工程的基础思维。很多从零起步的学员会把重心放在搭模型上觉得数据处理不够“有技术含量”。但实际行业的经验恰恰相反数据质量决定了模型的上限模型只是在逼近这个上限。你花80%的时间在数据准备和清洗上一点都不夸张。一个干净的、经过精心特征工程的数据配上一个简单的逻辑回归往往能打赢一个随便喂数据的复杂深度模型。4.3 模型评估、部署与监控AI工程的另一半“AI工程”和“AI算法”最大的区别就在于工程侧的系统思维。模型训练只是整个生命周期的一小段你还要考虑评估策略、部署方式、监控反馈这是很多自学路径中最容易缺掉的一块。评估策略上除了基础的留出验证你至少要知道交叉验证是干什么的、什么时候该用小数据集上更稳定、A/B测试怎么设计、离线指标与线上业务指标怎么对齐。常见的故事是离线准确率提升了1%在线业务指标不升反降于是开始质疑模型的泛化能力。但真相往往是离线评估的指标设计和线上的业务目标不一致——比如你做推荐模型却只看了准确率而线上业务指标是点击率或留存率中间差了不止一个决策环节。部署环节你需要了解至少一种服务化方案。最基础的是把模型序列化后封装成REST API接口用Flask或FastAPI搭一个简单的HTTP服务。再进阶一点就要考虑并发控制、GPU资源调度、模型热更新、灰度发布。这些不是算法知识但它们是“工程”二字的分量所在。我见过太多模型在Notebook里跑得风生水起一到线上就崩——不是因为模型不行而是工程体系没有跟上。监控环节更是重中之重线上模型的输入分布会漂移、特征源可能中断、数据标注口径可能变化。你需要给自己的模型设置类似“健康检查”的指标比如监控预测值分布、特征缺失率、接口延迟、错误率。一旦发现异常要有报警机制并且能快速回滚到旧版本。把这套体系搭起来你才算真正“从零”走到了“能抗业务”的AI工程师。5. 避坑手册从零开始最容易踩的五个坑5.1 只学不动手知识囤积型学习陷阱最大的坑不是数学太难而是你只是在“看”而不是在“做”。教程收藏了无数课程买了一堆GitHub上star了上百个项目但自己一行代码都没写过。这种行为本质是“用学习的感觉替代学习的成果”。我见过太多人卡在这里每周花十几个小时看视频笔记做了一大本三个月后问他“backward的梯度怎么算”他只能说“我好像在哪看过”。解法只有一个强制动手产出。每学一个概念就配一个最小可运行的代码实验。哪怕只是改一个学习率看看loss曲线的变化也算动手了。把“看完本章”定义成“跑通本章代码并改一个参数观察效果”学习节奏会完全不同。我自己的经验是把一次代码实验的输出打印出来发到学习笔记里比收藏十个教程都有用。5.2 跳过数学基础短期省时间长期补不完数学基础的坑我前面已经提到过但值得再强调一次它最大的狡猾之处在于它在入门阶段似乎可以跳过。调用API跑通一个模型确实不需要你懂特征值和链式法则。但到了理解论文、调试模型、设计自定义损失函数的时候数学会像讨债一样找上门来。我的建议不是让你先啃完所有数学再开始写代码那是另一种拖延。正确姿势是“按需补、边做边补”做线性回归的时候补导数做反向传播的时候补链式法则做softmax分类的时候补概率和交叉熵。每一块数学知识都有了落地的上下文学起来效率极高而且不容易忘。5.3 调参全靠猜没有观察和记录的习惯不少人跑模型的做法是“跑一个版本看看准确率不满意就换一批超参数再跑”。这其实是效率最低的调参方式因为你没有利用梯度信息。每个超参数影响的不是最终准确率这一个数而是loss曲线的形状、收敛的速度、梯度的范数变化。如果你只盯着最终的准确率你就把一个真正的调试过程退化成了盲目的随机搜索。我的习惯是每次实验都记录log——学习率、批大小、网络层数、最终loss、训练耗时、验证指标甚至包括随机种子。然后对比不同实验的曲线看它们在哪里分岔、在哪里收敛或发散。有了这些记录你才能理解超参数和训练行为之间的因果联系而不是停留在“上次换成0.001就work了”的玄学阶段。5.4 忽略复现实验跟着教程跑通不等于你会了“教程跑通了但让我从空白文件自己写一遍我写不出来”——这是一个非常普遍的现象。跑通教程时的流畅感欺骗了你让你误以为代码是你自己写的能力。其实那只是你已经能熟练地复制粘贴并修几个小bug罢了。破除这个幻象的唯一方法关掉教程从空白的.py文件开始依靠自己的记忆和理解把整个项目复现出来。这个过程痛苦但极有价值。你会发现很多你以为懂了的东西其实没懂某个函数为什么要这样传参、某个形状为什么是那样排列、某个初始化为什么选这个分布。复现一遍之后这些散点知识才会真正连成线。这也是我把这个习惯称为“二刷”的原因——第一次是跟着教程走第二次是逼自己走。5.5 过早追求大模型和大任务挫败感会杀死学习动力最后这个坑是个典型的“志向远大但步骤跳跃”。很多人一上来就想做GPT、想做Stable Diffusion看到结果炫酷、成就感强觉得这才是“AI工程”。可惜的是你连一个MLP的梯度都还没手算过就直接冲进Transformer的海洋结果是淹死在一堆attention_mask、position_embedding和显存OOM的报错里除了挫败感一无所得。正确的路径一定是金字塔形的。先做线性回归、再做MLP、然后CNN、RNN、最后才到Transformer。每一步都在之前的骨架上叠加一个“新概念”而不是跳跃式地拥抱一个“新世界”。别嫌这些基础任务土它们是你唯一能确定自己“真的会了”的检查点。我在带新人时有一条规矩模型参数量不超过一千万数据集不超过一万个样本先把这一亩三分地深耕透。基本功的影子都还没见到就去卷大模型那不叫学习叫行为艺术。6. 实操总结七十天从零到AI工程师的路线图参考6.1 分阶段目标拆解如果让我给一个具体的、可执行的时间框架我倾向于“七十天打基础”的方案。这个方案按每周一个里程碑来拆解每个里程碑都有可量化的产出物而不是模糊的“学完某本书的某章节”。第一个阶段第1到2周目标是用numpy手写线性回归和梯度下降。产出物是一份完整可运行的代码外加在合成数据上画出loss收敛曲线的截图。这个阶段同时要补齐微积分和线性代数的基础知识——每天花一小时看教材一小时写代码。第二个阶段第3到4周目标是用numpy手写两层MLP并在MNIST上达到90%以上准确率。这个阶段没有捷径你需要自己推导反向传播公式并实现。产出物是一份300行以内的纯numpy代码、一份梯度推导的手写笔记、以及训练过程的loss曲线和测试集报告。第三个阶段第5到6周目标是迁移到PyTorch重写同样的MLP并引入真实业务数据集做完整的分类或回归任务。你要开始学习DataLoader、torch.nn.Module、GPU训练等工程工具。产出物是一个带有数据清洗、训练、评估完整流程的项目目录最好配上Comet或tensorboard的可视化记录。第四个阶段第7到8周目标是把模型封装成API服务并做基础监控。用FastAPI或Flask实现模型推理接口写一个简单的监控脚本记录接口延迟和预测结果分布。产出物是一个能接收HTTP请求完成预测并带基本日志和监控的“最小可部署AI服务”。最后一个阶段第9到10周目标是回炉梳理。把你前面几个阶段的代码重新审阅一遍找出设计不合理的部分并重构同时补充单元测试。如果你能走到这一步你手里的项目已经足够当作一个像样的作品集去展示——它展示的不是你会调参而是你从数据到训练再到部署的全链路工程能力。6.2 建立学习闭环记录、复盘与输出学习路线的最后我想聊聊一个常常被忽略但极其重要的环节输出。从零学习AI工程最容易犯的隐性错误就是“只输入不输出”。读的教程、跑的代码、调通的bug如果不整理成文字或者讲给别人听遗忘的速度是非常快的。我自己一直保持的习惯是维护一个“实验手记”每次调试验证一个新想法就写一小段笔记预期是什么、实际是什么、偏差可能来自哪里。这个笔记不需要多工整甚至不需要有逻辑但它强迫你从“跑通了”进化到“我理解为什么能跑通”。更强的做法是把自己的理解和坑点写成博文或者代码注释。当你试图把知识分享给别人的时候你会发现自己哪里真的懂了、哪里还只是模糊的熟悉感——这就是费曼学习法在AI工程领域最朴素的应用。另外尽量找一个可以交流的圈子哪怕只是网上认识的同路人。一个人从零开始走这条路非常容易陷入自我怀疑而有同行者互相指路、互相改代码、互相解释卡点效率会成倍提升。我见过很多自学AI的人最后不是被难度打败的而是被孤独打败的——以为全世界只有自己卡在那个愚蠢的维度错误上。其实不是几乎每个人都会在那里卡住。知道自己不是一个人卡住这件事本身就是一种巨大的动力。从零开始做AI工程本质上是一场和自己的耐心博弈。它不会像刷短视频那样给你即时的快乐但每跑通一个自己亲手搭起来的模型那种实实在在的成就感会一次比一次确认——这条路值得走下去。