简介这份资源是面向人工智能、深度学习方向的毕业设计与课程设计参考项目聚焦人脸情绪识别这一细分课题适合具备Python基础、希望理解CNN表情分类完整链路的本科或研究生使用。压缩包共11个文件约11.89MB包含3个Python脚本分别承担训练、推理与主流程逻辑另有h5与json模型权重及结构文件、caffemodel与prototxt人脸检测模型、fer2013.csv训练数据、README说明文档及示例图片覆盖从数据到部署的完整环节。项目以FER-2013数据集训练卷积神经网络输出可复用的情绪识别模型并借助YOLO或SSD类检测器快速定位人脸再裁剪归一化后送入分类网络形成检测加识别的两阶段方案。已有60人学习读者可据此掌握数据预处理、模型训练调参、推理接口封装与项目结构组织等实操经验并在此基础上替换数据集或网络结构完成二次开发。1. 从一张课堂截图说起人脸情绪识别到底在识别什么去年帮一个做在线教育的朋友看他们课堂状态检测的原型需求很朴素摄像头拍到学生脸判断他是不是走神、烦躁或者困惑。他们一开始想直接上通用情绪识别 API结果发现接口返回的happy/neutral/angry跟课堂场景对不上而且延迟高、按调用量计费几十路并发成本直接起飞。这就是基于深度学习的人脸情绪识别系统最真实的落地动机——你需要一个能自己控制、能按场景微调、能塞进自己业务管线的模型而不是一个黑盒接口。这个标题拆开看有三层人脸检测对齐归一化、情绪分类标签体系常见 7 类愤怒、厌恶、恐惧、开心、悲伤、惊讶、中性、深度学习CNN 主干 迁移学习。它适合两类人一是想拿它当深度学习实战项目练手的入门者二是要在自己产品里嵌一个情绪分析模块的工程师。下面我按数据怎么准备 → 模型怎么搭 → 怎么训 → 怎么部署 → 坑在哪的顺序把一套能跑通的方案讲清楚。2. 数据准备从 FER2013 到你自己场景的样本2.1 为什么选 FER2013 作为起点它的坑在哪公开数据集里FER2013 是绕不开的起点。它包含约 3.5 万张 48×48 灰度人脸图7 类情绪格式是 CSV每行一个像素序列加一个标签。选它的理由很直接体量小、下载快、社区教程多适合先把整条链路跑通。但它的坑也很明显——分辨率低、标注噪声大很多恐惧和惊讶肉眼都难分、类别不均衡厌恶类样本极少。我一般会先做两件事一是把 CSV 还原成图片目录结构方便用 ImageFolder 或自定义 Dataset 加载二是统计每类样本数对长尾类别做加权或过采样。下面这段脚本把 FER2013 的 CSV 拆成 train/val 两个目录import pandas as pd import numpy as np from PIL import Image import os from sklearn.model_selection import train_test_split # FER2013 的 CSV 没有表头第一列是情绪标签第二列是像素串 df pd.read_csv(fer2013.csv) emotion_map {0: angry, 1: disgust, 2: fear, 3: happy, 4: sad, 5: surprise, 6: neutral} def save_split(sub_df, split_name): for _, row in sub_df.iterrows(): label emotion_map[row[emotion]] out_dir os.path.join(data, split_name, label) os.makedirs(out_dir, exist_okTrue) # 像素串是空格分隔的 2304 个值reshape 成 48x48 pixels np.array(row[pixels].split(), dtypenp.uint8).reshape(48, 48) img Image.fromarray(pixels) img.save(os.path.join(out_dir, f{row.name}.png)) train_df, val_df train_test_split(df, test_size0.1, stratifydf[emotion], random_state42) save_split(train_df, train) save_split(val_df, val)逻辑说明stratifydf[emotion]保证切分后训练集和验证集的类别比例一致避免验证集里某个类别一张都没有。row.name是 pandas 索引天然唯一拿来当文件名不会冲突。参数上test_size0.1是经验值数据量小的时候验证集别超过 15%否则训练样本不够。2.2 人脸检测与对齐别跳过这一步直接把整张图 resize 成 48×48 丢给模型是新手最常见的翻车点。背景、光照、头部姿态都会干扰。正确做法是先用人脸检测器OpenCV 的 Haar 或 DNN 模块、MTCNN、RetinaFace 都行框出人脸再按眼睛位置做对齐最后裁剪成正方形。我一般用 OpenCV 的 DNN 人脸检测器因为它不依赖额外深度学习框架部署时轻量import cv2 import numpy as np # OpenCV DNN 人脸检测模型输入 300x300 net cv2.dnn.readNetFromCaffe( deploy.prototxt, res10_300x300_ssd_iter_140000.caffemodel) def detect_and_crop(img, conf_thresh0.5, margin0.2): h, w img.shape[:2] blob cv2.dnn.blobFromImage(cv2.resize(img, (300, 300)), 1.0, (300, 300), (104.0, 177.0, 123.0)) net.setInput(blob) detections net.forward() faces [] for i in range(detections.shape[2]): confidence detections[0, 0, i, 2] if confidence conf_thresh: continue box detections[0, 0, i, 3:7] * np.array([w, h, w, h]) x1, y1, x2, y2 box.astype(int) # 向外扩 margin保留一点下巴和额头 bw, bh x2 - x1, y2 - y1 x1 max(0, int(x1 - bw * margin)) y1 max(0, int(y1 - bh * margin)) x2 min(w, int(x2 bw * margin)) y2 min(h, int(y2 bh * margin)) faces.append(img[y1:y2, x1:x2]) return faces逻辑说明conf_thresh0.5是召回和误检的平衡点课堂场景人多可以降到 0.4单人场景可以提到 0.6。margin0.2向外扩 20%是因为检测框常常切掉下巴而嘴角和下巴对情绪判断很关键。检测到多张脸时按框面积排序取最大的通常就是主体。提示对齐这一步如果嫌麻烦至少要做按检测框裁剪 灰度化 直方图均衡化这三步能把跨光照的准确率拉高好几个点。3. 模型搭建CNN 主干怎么选、迁移学习怎么接3.1 从零搭一个轻量 CNN 还是直接上 ResNet这是选型第一个岔路口。如果你的数据就是 FER2013 这种 48×48 灰度图从零搭一个 4 层卷积的小网络就够参数量小、训练快、部署友好。如果你有自己的高清彩色数据或者想冲更高准确率用 ResNet18 / MobileNetV3 做迁移学习更划算。我给一个从零搭的基线网络结构清晰适合先跑通import torch import torch.nn as nn class EmotionCNN(nn.Module): def __init__(self, num_classes7): super().__init__() self.features nn.Sequential( # 输入 1x48x48 nn.Conv2d(1, 32, 3, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.Conv2d(32, 32, 3, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2), # 24x24 nn.Conv2d(32, 64, 3, padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.Conv2d(64, 64, 3, padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2), # 12x12 nn.Conv2d(64, 128, 3, padding1), nn.BatchNorm2d(128), nn.ReLU(), nn.MaxPool2d(2), # 6x6 ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Dropout(0.5), nn.Linear(128, num_classes) ) def forward(self, x): return self.classifier(self.features(x))逻辑说明每个卷积后接 BatchNorm 和 ReLU 是标配BN 能加速收敛、缓解梯度问题。两次卷积再池化是为了在浅层提取更丰富的纹理。AdaptiveAvgPool2d(1)把任意尺寸特征图压成 1×1这样输入尺寸变化时全连接层不用改。Dropout(0.5)放在分类头前抑制过拟合——FER2013 这种小数据集上dropout 几乎是必开的。3.2 迁移学习的正确接法用 ResNet18 时别直接把第一层改成单通道就完事。常见做法是把预训练权重加载进来第一层卷积的权重在通道维度上求平均适配灰度输入然后冻结前面若干层只训后面的 stage 和分类头。import torchvision.models as models def build_resnet18(num_classes7, freeze_until6): model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT) # 第一层原本是 3 通道按通道平均压成 1 通道 old_conv model.conv1 new_conv nn.Conv2d(1, old_conv.out_channels, kernel_sizeold_conv.kernel_size, strideold_conv.stride, paddingold_conv.padding, biasFalse) with torch.no_grad(): new_conv.weight.copy_(old_conv.weight.mean(dim1, keepdimTrue)) model.conv1 new_conv # 冻结前 freeze_until 个 children children list(model.children()) for child in children[:freeze_until]: for p in child.parameters(): p.requires_grad False model.fc nn.Linear(model.fc.in_features, num_classes) return model逻辑说明mean(dim1)把三通道权重平均成单通道比随机初始化收敛快得多。freeze_until6是经验值ResNet18 的 children 顺序是 conv1、bn1、relu、maxpool、layer1~4、avgpool、fc冻结到 layer1 之前让浅层通用特征不动只微调高层语义。如果你的数据量和 FER2013 差不多冻结多一点数据量大就少冻甚至全放开。注意迁移学习时学习率要调小通常设成从头训练的 1/10比如 1e-4否则预训练权重会被大步长直接冲垮。4. 训练与调参让模型真正收敛的几个关键设置4.1 损失函数、优化器和学习率调度类别不均衡是情绪识别的常态厌恶类可能只有几百张。直接用 CrossEntropyLoss 会让模型偏向多数类。解决办法是给损失函数传类别权重from collections import Counter import numpy as np # 统计训练集每类样本数 labels [label for _, label in train_dataset.samples] counts Counter(labels) total sum(counts.values()) # 权重与频次成反比 weights torch.tensor( [total / (len(counts) * counts[i]) for i in range(len(counts))], dtypetorch.float32) criterion nn.CrossEntropyLoss(weightweights) optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max50)逻辑说明total / (len(counts) * counts[i])是标准的逆频次加权样本越少权重越大。AdamW比 Adam 多了正确的权重衰减实现泛化更好。CosineAnnealingLR让学习率按余弦曲线从 1e-3 降到接近 0前期快后期稳比阶梯下降平滑。T_max50对应总 epoch 数。4.2 数据增强别用会破坏情绪特征的变换情绪识别里水平翻转要慎用——左右脸对称性对情绪影响不大翻转一般安全但垂直翻转、大角度旋转会破坏面部结构绝对不能用。我常用的增强组合是随机小角度旋转±10°、随机裁剪、亮度对比度微调、随机擦除。from torchvision import transforms train_tf transforms.Compose([ transforms.Grayscale(num_output_channels1), transforms.Resize((48, 48)), transforms.RandomRotation(10), # 小角度别超 15 transforms.RandomAffine(degrees0, translate(0.1, 0.1)), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.RandomErasing(p0.25, scale(0.02, 0.1)), transforms.ToTensor(), transforms.Normalize(mean[0.5], std[0.5]), ]) val_tf transforms.Compose([ transforms.Grayscale(num_output_channels1), transforms.Resize((48, 48)), transforms.ToTensor(), transforms.Normalize(mean[0.5], std[0.5]), ])逻辑说明RandomRotation(10)控制在 ±10°再大嘴角位置就失真了。RandomErasing模拟遮挡口罩、手挡脸提升鲁棒性p0.25别太高否则欠拟合。验证集只做 resize 和归一化保证评估一致。Normalize(mean[0.5], std[0.5])把灰度值从 [0,1] 映射到 [-1,1]配合 BN 收敛更稳。4.3 训练循环里必须盯的三个量训练循环本身不复杂但有三处容易忽略一是每个 epoch 后在验证集上算混淆矩阵光看准确率会骗你二是保存最佳权重而不是最后一个 epoch三是早停。best_acc 0.0 patience, wait 8, 0 for epoch in range(50): model.train() for imgs, labels in train_loader: imgs, labels imgs.to(device), labels.to(device) optimizer.zero_grad() loss criterion(model(imgs), labels) loss.backward() optimizer.step() scheduler.step() model.eval() correct, total 0, 0 with torch.no_grad(): for imgs, labels in val_loader: imgs, labels imgs.to(device), labels.to(device) preds model(imgs).argmax(dim1) correct (preds labels).sum().item() total labels.size(0) acc correct / total if acc best_acc: best_acc acc torch.save(model.state_dict(), best.pth) wait 0 else: wait 1 if wait patience: print(fearly stop at epoch {epoch}) break逻辑说明scheduler.step()放在 epoch 末尾配合 CosineAnnealing 按 epoch 更新。torch.save只存state_dict()比存整个模型小且加载灵活。patience8表示验证准确率连续 8 个 epoch 不涨就停避免过拟合和浪费算力。混淆矩阵建议用 sklearn 的confusion_matrix单独打印重点看恐惧/惊讶悲伤/中性这两组最容易混的类别。5. 避坑与排查那些让我返工三次的问题5.1 验证准确率虚高上线就崩现象验证集准确率 65%部署到实际摄像头画面后掉到 40% 以下。原因训练数据是 FER2013 的规整人脸实际画面有背景、侧脸、光照不均分布不一致。解决训练时加入实际场景的样本哪怕每类只标一两百张同时把前面的人脸检测对齐流程接进推理管线保证输入分布一致。5.2 模型对某一类完全没反应现象混淆矩阵里厌恶类几乎全被预测成愤怒。原因厌恶类样本太少加权后仍然学不动。解决除了损失加权对少数类做过采样或者用 focal loss 替代交叉熵让模型聚焦难样本。也可以考虑把厌恶和愤怒合并成一类看业务是否接受。5.3 推理速度慢单路视频跑不到实时现象单张 GPU 推理要 30ms多路并发直接卡死。原因模型太大或没做推理优化。解决换 MobileNetV3 这类轻量主干用 ONNX Runtime 或 TensorRT 导出加速批处理推理把多路画面攒成一个 batch。实测 MobileNetV3 ONNX Runtime 能把单张降到 5ms 以内。5.4 训练 loss 不降一直震荡现象loss 在 1.9 附近来回跳准确率不动。原因学习率太大或者数据归一化没做对。解决先把学习率降到 1e-4 试检查 Normalize 的 mean/std 是否和输入匹配确认标签没有错位比如 CSV 第一列被当成索引读了。5.5 换了自己的数据后准确率反而下降现象用自己标注的数据微调准确率不升反降。原因标注标准不一致或者样本量太少导致过拟合。解决先统一标注规范给标注员一份带边界案例的说明微调时冻结更多层、调小学习率数据量少于每类 500 张时别全量微调。6. 部署与进阶把模型塞进真实业务的两个技巧模型训完只是开始真正决定能不能用的是部署形态。我一般走两条路服务端用 FastAPI 包一层客户端或边缘设备用 ONNX Runtime。先看导出 ONNX 并做推理的最小示例import torch import onnxruntime as ort import numpy as np # 导出 model.eval() dummy torch.randn(1, 1, 48, 48) torch.onnx.export(model, dummy, emotion.onnx, input_names[input], output_names[logits], dynamic_axes{input: {0: batch}}, opset_version11) # 推理 sess ort.InferenceSession(emotion.onnx, providers[CPUExecutionProvider]) def predict(face_gray): # face_gray: 48x48 uint8 x face_gray.astype(np.float32) / 255.0 x (x - 0.5) / 0.5 x x[None, None, :, :] # NCHW logits sess.run([logits], {input: x})[0] return int(logits.argmax())逻辑说明dynamic_axes把 batch 维设成动态这样服务端可以一次推多张。opset_version11兼容性好别盲目追高。预处理必须和训练时完全一致——除以 255 再减均值除标准差顺序错了结果全乱。ONNX Runtime 的 CPU provider 在普通服务器上就够用有 GPU 就换CUDAExecutionProvider。第二个技巧是加一层时序平滑。单帧情绪识别抖动很大同一个人连续几帧可能一会儿中性一会儿开心。做法是维护一个长度为 N 的滑动窗口对 logits 做平均再取 argmaxfrom collections import deque class SmoothPredictor: def __init__(self, window7): self.buf deque(maxlenwindow) def update(self, logits): self.buf.append(logits) avg np.mean(self.buf, axis0) return int(avg.argmax())window7对应约 0.2 秒30fps既能压抖动又不至于延迟太明显。窗口太大反应迟钝太小没效果这个值我调过好几轮7 到 10 之间比较稳。最后说个验证方法别只看整体准确率按人分组做交叉验证。同一个人出现在训练集和验证集里准确率会虚高。正确做法是按 subject id 划分保证验证集里的人训练时没见过。这一步做完你得到的数字才是能拿去跟业务方交代的。这套方案我从数据到部署完整跑过最大的教训是情绪识别里数据质量和标注一致性比模型结构重要得多我见过太多人花一周调网络却不肯花半天统一标注规范。先把数据和对齐做扎实再谈模型。希望帮到你。本文还有配套的精品资源点击获取