这期本来想直接写模型训练实战但翻了翻之前的记录发现上一篇回顾只写到数据预处理和最简单的线性回归这次正好把从零搭网络到训练收敛这段最关键的过渡期补上。内容围绕神经网络搭建、损失函数选择、梯度优化方法三个主题展开算是我自己复刷《动手学深度学习》和几门公开课之后整理出的学习回顾与心得。如果你也在自学深度学习正卡在原理都懂代码一跑就崩的阶段这篇应该能帮你少走不少弯路。1. 环境配置与算力选择比学算法更早的现实问题1.1 PyTorch还是TensorFlow以及CUDA版本的地狱先说个真实经历。我最开始图省事直接pip install tensorflow装了个CPU版跟着教程跑MNIST手写数字识别一个epoch要跑好几分钟等得人想睡觉。后来咬牙配了GPU环境又掉进CUDA版本匹配的坑——显卡驱动、CUDA Toolkit、cuDNN、PyTorch版本四者必须对上版本不匹配的直接表现是torch.cuda.is_available()返回False或者import直接报错。我的建议是新手上路别纠结TensorFlow还是PyTorch直接PyTorch。理由不是它比TensorFlow强多少而是现在大部分论文的官方代码、开源项目的首选实现都是PyTorch你照着复现的时候踩坑最少。环境配置上优先用Miniconda建虚拟环境原因很实际——深度学习依赖的版本冲突频率远超普通Python项目conda能把Python版本、CUDA运行时、包依赖隔离得比较干净出了问题直接删掉环境重建比手动pip卸载重装省心十倍。具体版本选择上不用追最新。比如CUDA 12.x比较稳配合PyTorch官方提供的匹配组合就够用。我目前的生产配置是Python 3.10 PyTorch 2.1.x CUDA 11.8这个组合跑绝大多数模型都没问题。如果你只在本地做小规模实验CPU版也能跑但一定要把batch size调小、模型调小做好等得起的心理准备。1.2 本地GPU和租用服务器的取舍很多教程会告诉你深度学习必须有GPU这话对但不全对。我的体会是分阶段决定学习阶段跑MNIST、CIFAR-10这类小数据集本地CPU完全够用甚至用CPU跑反而能逼你把代码逻辑理解清楚因为太慢会让你主动优化数据加载和batch组织方式竞赛或课程大作业图像分类、目标检测这类中等规模任务需要GPU但不一定需要买卡。租云服务器按小时计费跑完就释放成本比买卡低很多科研或长期项目可以考虑本地配一张中等显存的卡比如12GB起步的型号这里有个很多人忽略的点显存大小决定的是你能跑多大多batch的模型而不是模型参数量大小。我第一次跑ResNet-50的时候batch size设成128显存直接爆掉报错信息是CUDA out of memory。后来把batch size降成32才跑通。后来才理解显存占用大致等于模型参数 激活值 梯度 优化器状态batch越大激活值和梯度占的显存就越多。另外提一句热词里看到的NPU电脑部署深度学习环境。NPU神经网络处理器确实是趋势但现阶段除非你用的是华为昇腾这类生态否则配套的框架和算子库还不算成熟。我的建议是先踏实学会用GPU跑通整个流程NPU等生态成熟了再迁移学习成本会更低。提示环境配置遇到报错先复制完整错误信息去搜索引擎找解决方案不要自己瞎猜。90%的配置问题早都有人踩过坑并写了解决方案。2. 神经网络搭建从手写两层网络到理解框架封装逻辑2.1 手写一个两层MLP胜过调通十个现成模型我见过不少同学一上来就调ResNet、BERT跑通了就觉得自己会了深度学习一问Forward怎么传播、梯度怎么回传就卡住了。我的学习路径是反过来的先完全不依赖深度学习框架用NumPy手写一个两层全连接网络在MNIST上做手写数字分类把这个过程彻底跑通再碰PyTorch/TensorFlow。手写网络的核心代码其实不长几行就能写完核心逻辑import numpy as np def forward(X, W1, b1, W2, b2): # 第一层线性变换 ReLU激活 z1 X.dot(W1) b1 a1 np.maximum(0, z1) # 第二层线性变换输出层 z2 a1.dot(W2) b2 return z2, a1 def compute_loss(y_pred, y_true): # 交叉熵损失简化版配合softmax使用 exp_scores np.exp(y_pred - np.max(y_pred, axis1, keepdimsTrue)) probs exp_scores / np.sum(exp_scores, axis1, keepdimsTrue) n len(y_true) loss -np.log(probs[range(n), y_true]).mean() return loss, probs这个过程让我真正理解了三个事情。第一所谓层本质就是矩阵乘法和激活函数的组合第二所谓深度学习本质是在做矩阵运算和梯度计算而不是什么神秘魔法第三框架帮你封装好的nn.Linear、nn.ReLU底层就是上面这几行代码的工程优化版本——加了GPU支持、自动求导、算子融合。2.2 参数初始化的门道全零初始化为什么不行手写网络的时候我第一次踩的坑是参数初始化为全零。结果训练半天损失基本不降。后来查资料才明白如果所有参数初始化为相同的值比如全零那么同一层内每个神经元的输入和梯度完全相同它们会学出完全一样的特征这就是所谓的对称性问题。模型的实际表达能力会坍缩成和单神经元差不多自然学不好。常见做法是随机初始化但随机也有讲究初始化方法适用场景核心思想标准正态分布随机初始化早期简单网络参数服从N(0, 1)Xavier/Glorot初始化tanh激活函数按输入输出维度缩放让方差在前向和反向传播中保持稳定He/Kaiming初始化ReLU激活函数针对ReLU的稀疏激活特性方差适当放大我后来在PyTorch里直接用nn.Linear的时候框架默认已经做了合理的初始化所以很少手动操心。但手写网络时这个知识点就是必须迈过去的坎。建议你手写训练时分别用全零初始化和He初始化跑一次对比损失曲线感受一下差距——这个对比实验的收获比看十篇文章都大。2.3 搭建网络时的维度匹配与激活函数放置框架搭建过程中最常遇到的报错就是维度不匹配。我第一次用PyTorch搭CNNtorch.nn.Conv2d的输入通道数写错报错信息里清清楚楚告诉你expected 3 channels, got 1之类但新手往往看不懂。我的经验是每一层前后把张量的shape列在纸上或者打印出来核对——print(x.shape)又不花钱却比盯着代码猜高效太多。激活函数放在哪里也有讲究。以ReLU和BatchNorm为例常见的顺序是卷积/全连接 → BatchNorm → ReLU → 下一层而不是先ReLU再BatchNorm。原因在于BatchNorm的作用是对进入激活函数之前的数据做标准化让数据分布更稳定激活函数输出的非线性能更好地发挥。如果你顺序放反了模型还是能收敛但收敛速度和最终精度都会有细微差别。注意LeakyReLU、ELU这类激活函数解决的是ReLU的死亡神经元问题负区间梯度恒为0导致参数不再更新。如果你的网络层数很深或学习率设置不当频繁出现梯度消失/参数更新缓慢可以考虑换用这些变体但不要一开始就盲目上。2.4 从手写走向框架自动求导与计算图思维手写反向传播的时候我花了大半天推导链式法则然后手动把每一层梯度算出来。那一刻觉得深度学习也不过如此。但当我开始用PyTorch时又学习了一种新的思维模式——计算图。框架会自动把前向传播的每个操作记录成一张图反向传播时自动沿着图计算梯度。你只需要关注前向传播怎么组织不必手动写任何backward代码。这里有个认知转变很关键手写网络练的是理解框架搭建求的是效率。学深度学习两个阶段都必须经历但阶段顺序不能颠倒。我的实际体验是手写一遍之后再回到框架看文档里loss.backward()和optimizer.step()的逻辑会特别顺畅因为你清楚它背后在算什么。3. 损失函数从MSE到交叉熵再到Focal Loss和Huber3.1 分类任务为什么默认交叉熵而不是MSE我见过不少新手在分类任务上直接用均方误差MSE当损失函数训练出来的模型要么不收敛要么收敛极慢。这里面的道理得从梯度角度解释。先说结论分类任务标配是Softmax 交叉熵。Softmax把网络输出变成和为1的概率分布交叉熵衡量真实标签和预测分布的差异。两者组合的梯度形式非常干净——(预测概率 - 真实one-hot标签)这正是逻辑回归里的形式。如果用MSE配合Softmax梯度里会有额外的缩放项容易导致梯度极小尤其当预测接近正确时梯度趋于饱和更新变得非常缓慢。更关键的是MSE天然假设误差服从高斯分布适合回归而分类任务的真实分布是离散的类别分布用交叉熵才匹配概率建模的框架。以热词里基于深度学习的口腔疾病图像识别系统这类医疗影像分类为例通常就是多分类问题输出层用Softmax损失函数用交叉熵。如果你在类似项目里错误地使用了MSE最直观的表现就是训练初期损失下降正常但到后期loss几乎不动精度也上不去。3.2 回归任务的损失函数选择MSE、MAE与Huber回归任务里的损失选择取决于你对异常点的容忍度。MSE对大的误差特别敏感因为误差被平方放大了模型会拼了命去拟合那些远离大部分数据的异常值MAE绝对值误差对所有误差一视同仁但梯度在0点附近不稳定Huber则是前两者的折中——误差小的时候用平方、误差大的时候用绝对值。Huber损失函数有个参数delta控制小误差和大误差的分界在PyTorch里叫nn.SmoothL1Loss。我在实际项目中体验是如果数据里有明显的噪声点Huber的收敛比MSE稳定尤其适合那些离群值无法完全剔除的场景。用公式记住Huber的样子L 0.5 * (y - f(x))^2, 当 |y - f(x)| delta L delta * (|y - f(x)| - 0.5 * delta), 当 |y - f(x)| deltadelta取1.0是比较常见的默认值。如果你的任务中预测值和真实值尺度很大比如房价预测、销量预测可能需要把delta调大或者先对标签做标准化让误差落在合理区间再套Huber。3.3 分类任务中的样本不均衡Focal Loss的启发热词里有个yolo损失函数这让我想起目标检测中经典的样本不均衡问题。YOLO系列损失函数里包含坐标损失、置信度损失和类别损失类别损失在YOLOv5及以后默认使用BCEWithLogitsLoss。但在简单场景下大量负样本背景和少量正样本目标物体会让模型直接学会输出全部是背景损失也能降到很低精度却是0。Focal Loss是解决这类问题的典型思路它对容易分对的样本降低权重对难分对、容易出错的样本加大关注。公式长这样FL(p_t) -alpha * (1 - p_t)^gamma * log(p_t)gamma通常取2.0alpha是类别权重。第一版手写数字识别没有这个问题因为10类样本数量差不多但做口腔疾病分类这类医学图像课题时健康样本远多于疾病样本几乎一定会遇到不均衡。到时候Focal Loss或者简单的类别加权交叉熵都会是比较直接的解法。3.4 从损失函数曲线看训练状态很多人拿到loss曲线不知道怎么看。我的经验是分几种情况判断损失持续下降然后趋于平稳正常模型在收敛训练损失下降但验证损失不降反升过拟合了需要加正则化或Dropout训练损失前期就不降要么学习率太大导致震荡要么模型结构有问题要么数据预处理错了损失出现周期性的突然尖峰多半是batch里有坏数据标签错、特征NaN需要检查数据管线热词里提到的yolov8画损失函数曲线图本质就是把训练日志里的loss值用tensorboard或者matplotlib画出来。我的建议是从第一个完整训练开始就养成画曲线的习惯每一次改动后的对比都比记忆中的感觉靠谱得多。4. 梯度优化方法从SGD到Adam及调参背后的直觉4.1 几种优化算法的核心区别一张表看清梯度优化方法说白了就是怎么沿着梯度方向更新参数。但不同方法的差别不只是步长大小还在要不要动量要不要自适应学习率。我用一张表总结最常见的优化器优化器核心思想优点典型问题SGD随机梯度下降每个mini-batch用平均梯度更新简单、稳定、泛化能力好收敛慢容易陷入局部最优点Momentum累积历史梯度方向作为动量加速收敛减少震荡可能冲过头需要调momentum系数RMSProp自适应调整每参数学习率适合非凸优化收敛稳定对初始学习率敏感AdamMomentum RMSProp合体收敛快、鲁棒性强、几乎是最省心的选择泛化性可能不如SGD需要warmup配合这里要特别解释一下为什么很多论文里最终用的是SGD而不是Adam。深度学习里有个被反复观察到的现象Adam收敛快但SGD最终达到的精度尤其在图像分类这类任务上往往略好一些。原因学术界还没有定论但主流解释之一是自适应学习率方法会导致参数更新路径更曲折难以到达更平缓的最优点。实践上的折中做法是先用Adam快速找到一个好的参数区域然后切成SGD继续微调或者像BERT、GPT那样用Adam配合warmup和权重衰减。4.2 学习率比优化器选择更关键的超参数如果说优化器是车的档位学习率就是油门。学习率设太大参数在最优值附近来回震荡、不收敛loss曲线呈锯齿状学习率设太小训练如同蜗牛爬跑几十个epoch都没明显变化。我的经验值是先用一个相对较大的学习率比如0.01或0.001观察loss变化如果loss在初期就爆炸或震荡就减小一个数量级如果收敛太慢就逐步增大。PyTorch里配合torch.optim.lr_scheduler可以做学习率衰减比如StepLR每隔若干epoch减半或CosineAnnealing按余弦曲线逐渐减小到接近0。更稳妥的做法是先用学习率预热warmup前几步把学习率从很小的值线性升到目标值之后再做衰减。这在Transformer类模型里几乎是标配因为随机初始化的参数如果一上来就用大学习率很可能让训练崩溃。4.3 Batch Size对梯度估计和收敛的影响Batch Size的选择是我早期忽略最多的问题。很多人默认用64或128其实batch的大小直接影响梯度估计的准确性和收敛行为batch太小比如1或2梯度噪声大收敛不稳定但有时这种噪声反而能帮助逃离局部最优点batch适中32128梯度估计相对稳定是大多数任务的常用选择batch太大256以上梯度很准但更新次数少且容易收敛到尖锐的局部最优点泛化性下降同时显存压力大我在训练CIFAR-10分类模型时做过对比设batch 256和32同样跑50个epoch32的效果略好但训练时间长得多。实际项目里建议先根据自己的显存选择最大能跑的batch然后在学习率上做相应调整——batch翻倍的同时学习率也放大一点是常见的经验法则。4.4 梯度消失、爆炸和梯度裁剪网络层数加深之后梯度在反向传播过程中经过多层链式乘法数值会指数级缩小或增大。这就是梯度消失和梯度爆炸。经典的处理方式包括合理的初始化前面提到的Xavier/HeBatchNorm预处理使用ReLU这类梯度不饱和的激活函数残差连接如ResNet的核心思路梯度裁剪gradient clipping当梯度的范数超过阈值时按比例缩小防止更新步长过大热词里看到基于深度强化学习的移动机器人室内自主导航方法强化学习里的梯队裁剪几乎是必备手段因为奖励信号不稳定梯度经常会异常大或异常小。即使不做强化学习训练GAN的时候梯度裁剪也用得很多。注意梯度裁剪阈值一般设0.5或1.0过大不起作用过小会让训练变慢。需要根据实验调节。4.5 一个悲伤但真实的案例Adam训练到后期loss不再下降我想分享一个实际踩坑的完整过程。有个二分类任务数据基本干净我用Adam 学习率0.001训练loss在30个epoch左右降到了0.3附近但之后50个epoch几乎原地不动。我以为是模型容量不够各种加层数、加宽度毫无起色。直到后来翻了PyTorch论坛才意识到问题可能出在Adam的超参数epsilon上。Adam更新公式里有个防止除零的极小常数默认是1e-8。当loss已经很接近收敛值时梯度本身很小加上自适应学习率的分母也在变小更新步长会被压得特别小loss就卡死了。调法有两条路一是把epsilon调大到1e-6或1e-4让步长不至于过小二是后期切换到SGD配合小学习率继续微调。我在这个任务上把epsilon调到1e-4后loss从0.3降到了0.15左右。这种细节常规教程很少提到但实际工程里价值巨大。4.6 优化器选择的最终建议给同样在入门的朋友几句掏心窝的建议刚接触深度学习无脑用Adam就好。它容错率高几乎不用调参就能看到收敛趋势等模型和数据流程都稳定了尝试换成SGD Momentummomentum默认0.9往往能得到更好的最终效果如果做的是图像分类、目标检测这类已经高度工程化的任务直接参考经典论文里的优化器配置不要自己另辟蹊径训练日志要记录优化器、学习率、batch size、loss曲线方便每次改动后对比——我的感受是深度学习调参70%靠经验判断30%靠实验记录没有记录就无从判断5. 一个值得认真做的小实验优化器与学习率组合对比如果你正处于原理看了很多但实际还没完全串起来的阶段我建议你动手做一个小实验把本篇提到的损失函数、优化器、学习率都串起来验证一遍。实验设计很简单在CIFAR-10或FashionMNIST上搭一个3层全连接网络或一个简单CNN分别用SGD学习率0.01、Momentum0.01、Adam0.001训练同样的epoch数记录每组的loss曲线和验证集精度最后画一张对比图。做这个实验有几个明确的预期收获你会亲眼看到SGD收敛有多慢Adam有多少鲁棒你会理解收敛快和精度高是两个不同维度你会发现同样的优化器换一个学习率效果天差地别你会开始主动调整超参数而不是只会跑通一个默认模型这个实验花费不了多少时间但对建立深度学习直觉特别有效。毕竟光看文档和公式很难真正理解Adam为什么好用SGD为什么获得更好的泛化能力——只有自己跑过印象才够深。回过头来神经网络搭建是骨架损失函数是目标梯度优化方法是从当前状态走向目标的路径。三者缺一不可也只有当它们被放在同一个训练流程里反复调试你才算真正入门了深度学习。下一篇回顾我打算写正则化、数据增强和模型调优的细节这些都是让模型从能跑变成跑得好的关键步骤到时候继续分享我的踩坑记录。