尧图网页设计 
简介这套基于Python卷积神经网络CNN的图像分类系统是适合毕业设计、课程设计及项目初期演示的完整资料包。资源面向计算机相关专业在校学生、教师或企业开发者覆盖从LeNet-5、AlexNet到GoogLeNet、ResNet的经典CNN模型实现并提供TensorFlow与PyTorch两套框架代码可用于图像分类任务的训练、测试与结果可视化。包体共22个文件以13个py源码文件为主配合2个pyc编译文件、训练好的模型与数据集、说明文档、前端页面脚本及配置信息整体压缩包仅62KB结构清晰便于按目录直接运行和二次开发。据发布者说明该项目为个人高分毕设已获导师认可并通过答辩代码经过测试可正常运行。目前已有132人浏览学习适合希望在CNN图像分类方向快速获得可运行基线系统的读者。1. 基于Python卷积神经网络CNN的图像分类系统毕业设计为什么绕不开它一份题目写着“基于Python卷积神经网络CNN的图像分类系统”的毕业设计拿到手时大多数人会纠结同一个问题到底是自己从零写一个CNN还是拿现成源码跑通就交差从我跟过的实际案例看这两种选择都容易翻车。纯调包的结果是论文里讲不清楚原理答辩时一问“卷积核为什么设3×3”就卡壳纯手写则会在数据预处理和训练调参上消耗大量时间最后系统稳定性还未必达标。真正值得做的是把数据准备、CNN结构设计、训练验证、模型保存与加载这一整条链路完整走通交付一个在本地能运行、结果能复现的系统。这个方向适合作本科毕设也适合作研究生入门课题因为卷积层的作用、数据集划分的必要性、模型持久化这些知识点全部能在项目里落到代码上。下文按一条最稳妥的落地方案展开从数据集准备开始一直写到模型封装和精度验证每段都给出可以直接复制的代码和参数解释。2. 图像分类数据集怎么做目录划分、数据增强与PyTorch环境搭建2.1 训练集、验证集、测试集为什么要分成三份而不是两份很多初学者习惯把数据只分成训练集和测试集训练时看着测试集的准确率挑模型最后填在论文里的数字自然是虚高的。正确做法是分成三份训练集负责更新权重验证集负责调整超参数和决定在哪一轮停止训练测试集只在所有决定做完之后跑一次用来报告最终效果。这个原则对所有图像分类算法都适用CNN尤其敏感因为模型容量大、训练轮数一多就会开始记忆训练集。第一次做目录划分时我建议直接按类别建子目录这样后面用PyTorch的ImageFolder加载数据时可以零配置读入。import os import shutil import random # 原始图片假设放在 origin/类别名/ 下面 src_root origin target_root data # 固定随机种子保证每次划分结果一致 random.seed(42) for class_name in os.listdir(src_root): class_dir os.path.join(src_root, class_name) images os.listdir(class_dir) random.shuffle(images) n_train int(len(images) * 0.7) n_val int(len(images) * 0.15) # 剩余 15% 自动落到 test splits { train: images[:n_train], val: images[n_train:n_train n_val], test: images[n_train n_val:], } for phase, imgs in splits.items(): save_dir os.path.join(target_root, phase, class_name) os.makedirs(save_dir, exist_okTrue) for img in imgs: shutil.copy(os.path.join(class_dir, img), os.path.join(save_dir, img))这段代码做了三件事打乱图片顺序、按7:1.5:1.5比例切片、把文件复制到目标目录。之所以用复制而不是移动是为了保留原始数据如果划分比例想调整重跑一次即可不用怕原始数据被破坏。划分完成后检查一下每个类别在train目录里的数量。如果发现某个类别的图片明显偏少这个信号后面一定要处理否则模型会对样本多的类别产生强烈偏向后面第4章会专门说这个坑。2.2 Python环境搭建与依赖组合一次装对不折腾图像分类系统最常用的运行时环境是Python加PyTorch。这里涉及python安装、numpy安装等基础操作如果你已经在电脑上装好了Python 3.10以上版本建议用虚拟环境隔离项目依赖避免和别的项目互相污染。conda create -n cnn python3.10 -y conda activate cnn pip install torch torchvision numpy opencv-python pillow matplotlibtorch是深度学习框架本体torchvision提供数据集加载工具和预训练模型接口numpy负责数组运算opencv-python和pillow都用于图片读取matplotlib用来画训练曲线。按上面的命令装完之后可以用下面这段代码验证环境是否可用import torch import torchvision print(torch.__version__) print(torchvision.__version__) print(torch.cuda.is_available())如果你的显卡是NVIDIA且装好了CUDA驱动最后一行会输出True后续训练可以用GPU加速。没有GPU也不用慌小规模数据集用CPU训练完全可行只是训练时间会拉长到几倍。我一般建议有N卡的同学直接装CUDA版PyTorch没显卡的同学在代码里做好device判断让模型自动选择CPU还是GPU运行。2.3 数据增强与归一化训练集和验证集为什么不能用同一套变换数据加载这一步最容易写错因为训练集和验证集的预处理不能完全一样。训练集需要数据增强来扩展数据分布验证集和测试集只做基础缩放和归一化不增加随机扰动否则每次验证的输入都不一样无法稳定评估模型效果。from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder from torchvision import transforms # 训练集随机水平翻转 随机旋转 随机裁切 train_transform transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(10), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) # 验证集/测试集只做缩放、ToTensor和归一化 eval_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) train_dataset ImageFolder(data/train, transformtrain_transform) val_dataset ImageFolder(data/val, transformeval_transform) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers2) val_loader DataLoader(val_dataset, batch_size32, shuffleFalse, num_workers2)train_transform里最需要注意的不是Resize而是RandomCrop它把256×256的图随机裁成224×224相当于每次训练看到的是同一张图的不同局部这是CNN图像分类系统提升泛化能力性价比最高的手段。RandomHorizontalFlip等于把训练数据翻倍对对称性较强的图像很有效。RandomRotation和ColorJitter则模拟拍摄角度和光线变化让模型不依赖颜色和方向的表象。Normalize的三个通道均值和标准差用的是ImageNet的统计值这是行业惯例。如果换用自己的统计值效果差异不大但沿用ImageNet的数值好处是以后想切换成迁移学习模型时预处理流程可以直接复用不用再调一遍。3. CNN模型完整代码三层卷积结构、训练循环与关键参数设置3.1 网络结构设计三层卷积加自适应池化为什么是稳妥起点CNN卷积神经网络的核心是卷积层它用一组可学习的卷积核在图像上滑动每个卷积核负责提取一种局部特征比如边缘、纹理、颜色块。卷积层之后接池化层做下采样减小特征图尺寸保留主要信息。这里选择一个三层卷积加全连接分类头的结构参数量适中对中小规模数据集不容易过拟合训练速度也快。import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( # 第一层卷积3通道输入16个卷积核3x3大小padding1保持尺寸 nn.Conv2d(3, 16, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 第二层卷积16 - 32 nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 第三层卷积32 - 64 nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( # 自适应池化解决全连接层输入尺寸必须固定死的问题 nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(64, 128), nn.ReLU(inplaceTrue), nn.Dropout(p0.5), nn.Linear(128, num_classes), ) def forward(self, x): x self.features(x) x self.classifier(x) return x卷积核大小选3×3是近年来的主流选择两个3×3卷积堆叠的感受野相当于一个5×5卷积但参数量更少。每层卷积后接ReLU激活函数引入非线性否则多层线性变换叠加起来还是线性变换网络再深也学不出复杂特征。MaxPool2d每次把特征图尺寸减半既降低计算量又让后续卷积能看到更大范围的特征。AdaptiveAvgPool2d是简化设计的关键它把任意尺寸的特征图池化成1×1这样无论输入图片是224还是256全连接层都不需要改维度换数据集时可以少改一个参数。3.2 训练循环与关键参数交叉熵损失、Adam优化器、学习率设定网络结构定义好之后进入训练环节。图像分类最常用的损失函数是交叉熵损失它把模型输出的每个类别的得分转成概率分布然后和真实标签求差异。优化器这里选Adam它对学习率的敏感度比原生SGD低对第一次跑通流程更友好。import torch import torch.nn as nn from torch.utils.data import DataLoader device torch.device(cuda if torch.cuda.is_available() else cpu) model SimpleCNN(num_classeslen(train_dataset.classes)).to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr3e-4) best_val_acc 0.0 num_epochs 30 for epoch in range(num_epochs): model.train() running_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) _, predicted outputs.max(dim1) total labels.size(0) correct predicted.eq(labels).sum().item() train_loss running_loss / total train_acc correct / total # 每轮结束后验证 model.eval() val_correct 0 val_total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted outputs.max(dim1) val_total labels.size(0) val_correct predicted.eq(labels).sum().item() val_acc val_correct / val_total print(fEpoch {epoch1}: train_loss{train_loss:.4f}, train_acc{train_acc:.4f}, val_acc{val_acc:.4f}) if val_acc best_val_acc: best_val_acc val_acc torch.save(model.state_dict(), best_model.pth)这段训练代码里有一个很容易被忽略的设计验证时用model.eval()切换模式并用torch.no_grad()关闭梯度计算。如果不加这两行验证过程也会计算梯度、缓存中间变量既浪费显存又可能因为Dropout在推理时仍然随机丢弃神经元导致验证结果忽高忽低。学习率3e-4是Adam在中小型图片分类任务上的一个稳妥起点。如果训练集很大可以试着改到1e-3如果网络更深或数据量少1e-4更安全。实际跑的时候如果train_loss不降反而上升说明学习率过大如果降得太慢则说明学习率偏小这两个信号后面专章讨论。保存模型用model.state_dict()而不是直接保存整个model对象。state_dict只包含权重参数文件体积小跨Python和PyTorch版本兼容性好。把保存时机放在验证准确率刷新之后这就是“选择验证集上最好的模型”而不是“最后一轮的模型”能避免训练后期过拟合导致精度回退的问题。3.3 训练曲线怎么看准确率与Loss的对应关系训练跑起来之后光看命令行打印的数字是不够的建议用matplotlib把loss和accuracy曲线画出来保存成图片放进毕业论文里。需要关注两个规律训练集loss不断下降是正常现象但如果val_acc长期不涨甚至开始掉说明模型开始过拟合训练集和验证集准确率之间的gap正常在几个百分点gap拉大到十个点以上就要考虑加Dropout、加数据增强或减小模型容量。4. CNN图像分类避坑指南过拟合、学习率、显存与类别不均衡的排查4.1 训练集准确率极高、验证集不涨过拟合怎么识别和压制这是一个很经典的现场train_acc一路上升到95%以上val_acc卡在70%不动再多跑几个epochtrain_acc到了98%val_acc反而跌到65%。现象背后的原因是模型把训练集的细节甚至噪声都背了下来比如背景、固定拍摄角度、图片里的水印这些模式在验证集上不存在。解决思路按优先级排列第一检查训练集和验证集的预处理是否一致很多人验证集忘了做Normalize数值范围不对会导致验证准确率明显偏低第二增大数据增强强度尤其是RandomCrop和RandomHorizontalFlip第三把Dropout比例从0.5提到0.6或0.7第四减小模型容量减少卷积层通道数。建议一次只改一个变量改完重新训练再判断不要同时改三个否则无法知道是哪一步起的效果。4.2 损失函数不下降学习率不是越大越好torch.optim.Adam虽然对学习率不敏感但依然有边界。我见过不少初学同学把lr设成0.1结果loss在2.0附近震荡完全不动。原因是Adam在默认参数下对学习率有缩放过大的lr导致参数更新步长太大loss在最优解附近来回越过无法收敛。排查方式很简单。打印前几个epoch的loss如果loss在几百甚至几千的位置或者不断在某个值上下剧烈跳动先用学习率衰减重跑optimizer torch.optim.Adam(model.parameters(), lr1e-4) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size10, gamma0.5)scheduler每隔10个epoch把学习率乘0.5。这个做法对训练后期很有用前期用略大的学习率快速下降后期用较小的学习率精细收敛。如果1e-4仍然不降再试1e-5同时检查输入图片是否全部变成了黑图或全零张量ToTensor之后数值范围是0到1Normalize之后才可能出现负数如果数据加载顺序写错输入进模型的就是无效数据。4.3 显卡显存爆掉batch size和输入尺寸的调整顺序GPU显存不够时报错通常是CUDA out of memory原因是同时放进GPU的图片数量太多或者单张图片尺寸太大。解决办法第一个想到的应该是减小batch size把32改成16或8显存占用线性下降。如果降到4还不行减小输入图片尺寸训练阶段用160×160而不是224×224既能降低显存占用还能顺带加快训练速度。显存优化还有两个容易被忽略的点验证阶段要带着torch.no_grad()不写的话验证时也会累积计算图训练中间不需要的中间变量要即时释放尤其是用openCV读取的大尺寸图片读完立刻缩放再进DataLoader流程。至于num_workers它影响的是数据读取速度而不是显存num_workers调太高反而可能报DataLoader worker进程错误一般的Windows电脑设成2Linux服务器设成4就够了。4.4 类别不均衡导致模型一边倒加权采样替代手动删图图像分类数据集里类别样本数量差距大是常态比如猫有5000张狗有300张。出现这种情况时模型倾向于把所有图片都预测成猫因为总体的正确率已经很高了。手动删图并不好会浪费已有标注数据复制少数类图片则容易过拟合。更好的方式是让训练时的采样器多抽少数类样本。from collections import Counter from torch.utils.data import WeightedRandomSampler labels [label for _, label in train_dataset.samples] counts Counter(labels) weights [1.0 / counts[label] for label in labels] sampler WeightedRandomSampler(weights, num_sampleslen(labels), replacementTrue) train_loader DataLoader( train_dataset, batch_size32, samplersampler, num_workers2, )WeightedRandomSampler的思路是样本越稀少的类别单个样本被抽中的概率越高。权重取类别样本数的倒数样本数1000的权重是0.001样本数100的权重是0.01少的类别在每一轮被抽到的次数会增多整个训练过程变得相对均衡。注意使用sampler之后不能再传shuffleTrue否则会报错因为sampler本身就负责打乱顺序。4.5 多次训练结果波动大随机种子没固定代码每次运行的结果都不一样训练集准确率差出几个百分点这种情况多半是随机性没有固定。数据打乱、模型权重初始化、Dropout、数据增强里的随机翻转裁切都会带来随机性。复现实验和写论文都要养成固定随机种子的习惯。import random import numpy as np def set_seed(seed42): random.seed(seed) np.random.seed(seed) os.environ[PYTHONHASHSEED] str(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True set_seed(42)在训练脚本最开头调用set_seed之后再跑多次主要指标会稳定得多。cudnn.deterministicTrue会让卷积算法固定下来代价是运行速度略微下降但对毕业设计来说可复现性比那点性能重要得多。5. 把训练好的CNN模型变成系统模型保存、加载与单张图片预测5.1 模型保存的两种方式state_dict与完整checkpoint训练结束后只保存state_dict虽然体积小但缺失了模型结构和类别名信息加载时还要手动重建模型。对于可交付的毕业设计系统更推荐把模型权重、类别列表、输入尺寸打包成一个字典这样对方拿到文件后不需要知道任何训练细节就能直接推理。checkpoint { model_state_dict: model.state_dict(), class_names: train_dataset.classes, num_classes: len(train_dataset.classes), input_size: 224, } torch.save(checkpoint, image_classifier.pth)加载的时候按顺序拆开即可。需要注意的是model的实例化必须和训练时一致用同一个SimpleCNN类传入num_classes参数。如果加载时报尺寸不匹配最常见的错误就是这个num_classes和训练时不一致导致全连接层最后的Linear输出维度对不上。5.2 单张图片预测脚本预处理必须与训练完全一致模型部署到本地系统后用户输入一张图片就要得到分类结果。这里最容易踩坑的地方是推理时的预处理和训练时不一致比如训练用RandomCrop推理却用了CenterCrop随机裁剪出来的内容分布和中心裁剪差异很大精度会掉。推理时应该完全复刻验证集的transform。import torch from PIL import Image from torchvision import transforms def predict_image(image_path, checkpoint_path): ckpt torch.load(checkpoint_path, map_locationcpu) model SimpleCNN(num_classesckpt[num_classes]) model.load_state_dict(ckpt[model_state_dict]) model.eval() class_names ckpt[class_names] transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) image Image.open(image_path).convert(RGB) x transform(image).unsqueeze(0) # 增加batch维度形状从(3,224,224)变成(1,3,224,224) with torch.no_grad(): logits model(x) probs torch.softmax(logits, dim1) pred_idx logits.argmax(dim1).item() return class_names[pred_idx], probs[0][pred_idx].item()predict_image返回两个值第一个是预测类别名第二个是对应的置信度。为什么不直接取argmax对应的类别就完事还要算softmax概率因为实际交付时用户更关心“这个结果有多可信”。置信度低于0.5时系统里应该提示用户图片不清晰或类别不确定引导重新上传而不是给出一个自信的错误预测。Image.open之后加convert(RGB)是为了强制统一通道数避免PNG图片带透明通道导致形状变成4通道而报错。5.3 给系统加一个简单的命令行入口图形界面不是所有毕设都必须做但命令行入口应该有的。一个没有入口的系统在演示时只能改代码运行演示效果大打折扣。可以用argparse写一个干净的命令行版本。import argparse if __name__ __main__: parser argparse.ArgumentParser(descriptionCNN image classification) parser.add_argument(--image, typestr, requiredTrue, helppath to input image) parser.add_argument(--checkpoint, typestr, defaultimage_classifier.pth) args parser.parse_args() class_name, confidence predict_image(args.image, args.checkpoint) print(fPrediction: {class_name}, confidence: {confidence:.4f})这样在命令行执行python predict.py --image test.jpg就能看到输出。如果后面想再套一个Web界面predict_image作为核心函数可以直接被Flask或FastAPI调用不需要改模型代码。这也是系统分层的好处模型推理写成纯函数界面和模型逻辑解耦自己调试和答辩演示都会轻松很多。6. 用混淆矩阵和迁移学习验证模型把分类精度再推一步6.1 混淆矩阵找出模型把哪些类别互相认错整体准确率之外分类系统更需要看的是哪些类别在互相混淆。比如猫和狗在姿态相近时被认错说明模型学到的是背景或轮廓这类表层特征而不是更本质的品种特征。用验证集跑一遍全部预测然后生成混淆矩阵能直观看到问题集中在哪里。from sklearn.metrics import confusion_matrix import matplotlib.pyplot as plt all_preds, all_labels [], [] model.eval() with torch.no_grad(): for images, labels in val_loader: images images.to(device) outputs model(images) preds outputs.argmax(dim1).cpu().numpy() all_preds.extend(preds) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) print(cm)混淆矩阵对角线的值越大越好非对角线上的值集中出现在第i行第j列说明第i类真实标签被模型预测成了第j类。看到哪一类普遍被认到另一类上去优先做的不是调网络而是回看这一类图片的质量和数量。如果发现某一类的图片大多有特定背景色模型很可能学的是背景而不是物体本身解决办法是换数据集或增加带不同背景的样本。6.2 迁移学习收益在小数据集上专业领域的分类提效明显自己从零训练的CNN在数据量有限时往往只能做到80%左右的准确率。如果追求更高精度迁移学习是最短路径。常见做法是把训练好的ResNet18保留卷积部分权重替换最后面的全连接层然后只微调后面的层。from torchvision import models base_model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT) base_model.fc nn.Linear(base_model.fc.in_features, num_classes)迁移学习的核心前提是预训练模型的卷积部分已经学会了通用的边缘、纹理、形状特征这些特征对大多数图像任务都有用。微调时可以把base_model卷积层参数的requires_grad设为False这样只有最后一层全连接在更新参数训练速度快且不容易过拟合适合几百到几千张的小数据集大几千张以上的数据集更适合全参数微调精度上限更高。6.3 交付前最后一步用测试集重新评估一次整个系统完成之后最容易被忽略的是“测试集只准用一次”这条纪律。调参期间只能用验证集所有决定做完后再从test目录加载一次数据计算最终准确率和混淆矩阵。这个数字才是论文结果和答辩展示的数据来源。我自己踩过的坑是调参调到最后顺手在测试集上多试了几轮结果测试集已经失去了“没见过”的意义最后只能重新划分数据再跑一遍完整流程白白多花了一天时间。现在回想起来一次过训练一个CNN分类系统的关键不在于把网络写得多复杂而在于数据划分、预处理对齐、训练参数和模型保存这些看起来常规的环节每一步都严格自洽少一个地方忘记对齐最终精度都会被拖累几个百分点。希望这篇笔记帮你把这些坑提前绕开照着跑通自己的毕业设计系统。本文还有配套的精品资源点击获取 基于Python卷积神经网络CNN的图像分类系统实战指南
简介这套基于Python卷积神经网络CNN的图像分类系统是适合毕业设计、课程设计及项目初期演示的完整资料包。资源面向计算机相关专业在校学生、教师或企业开发者覆盖从LeNet-5、AlexNet到GoogLeNet、ResNet的经典CNN模型实现并提供TensorFlow与PyTorch两套框架代码可用于图像分类任务的训练、测试与结果可视化。包体共22个文件以13个py源码文件为主配合2个pyc编译文件、训练好的模型与数据集、说明文档、前端页面脚本及配置信息整体压缩包仅62KB结构清晰便于按目录直接运行和二次开发。据发布者说明该项目为个人高分毕设已获导师认可并通过答辩代码经过测试可正常运行。目前已有132人浏览学习适合希望在CNN图像分类方向快速获得可运行基线系统的读者。1. 基于Python卷积神经网络CNN的图像分类系统毕业设计为什么绕不开它一份题目写着“基于Python卷积神经网络CNN的图像分类系统”的毕业设计拿到手时大多数人会纠结同一个问题到底是自己从零写一个CNN还是拿现成源码跑通就交差从我跟过的实际案例看这两种选择都容易翻车。纯调包的结果是论文里讲不清楚原理答辩时一问“卷积核为什么设3×3”就卡壳纯手写则会在数据预处理和训练调参上消耗大量时间最后系统稳定性还未必达标。真正值得做的是把数据准备、CNN结构设计、训练验证、模型保存与加载这一整条链路完整走通交付一个在本地能运行、结果能复现的系统。这个方向适合作本科毕设也适合作研究生入门课题因为卷积层的作用、数据集划分的必要性、模型持久化这些知识点全部能在项目里落到代码上。下文按一条最稳妥的落地方案展开从数据集准备开始一直写到模型封装和精度验证每段都给出可以直接复制的代码和参数解释。2. 图像分类数据集怎么做目录划分、数据增强与PyTorch环境搭建2.1 训练集、验证集、测试集为什么要分成三份而不是两份很多初学者习惯把数据只分成训练集和测试集训练时看着测试集的准确率挑模型最后填在论文里的数字自然是虚高的。正确做法是分成三份训练集负责更新权重验证集负责调整超参数和决定在哪一轮停止训练测试集只在所有决定做完之后跑一次用来报告最终效果。这个原则对所有图像分类算法都适用CNN尤其敏感因为模型容量大、训练轮数一多就会开始记忆训练集。第一次做目录划分时我建议直接按类别建子目录这样后面用PyTorch的ImageFolder加载数据时可以零配置读入。import os import shutil import random # 原始图片假设放在 origin/类别名/ 下面 src_root origin target_root data # 固定随机种子保证每次划分结果一致 random.seed(42) for class_name in os.listdir(src_root): class_dir os.path.join(src_root, class_name) images os.listdir(class_dir) random.shuffle(images) n_train int(len(images) * 0.7) n_val int(len(images) * 0.15) # 剩余 15% 自动落到 test splits { train: images[:n_train], val: images[n_train:n_train n_val], test: images[n_train n_val:], } for phase, imgs in splits.items(): save_dir os.path.join(target_root, phase, class_name) os.makedirs(save_dir, exist_okTrue) for img in imgs: shutil.copy(os.path.join(class_dir, img), os.path.join(save_dir, img))这段代码做了三件事打乱图片顺序、按7:1.5:1.5比例切片、把文件复制到目标目录。之所以用复制而不是移动是为了保留原始数据如果划分比例想调整重跑一次即可不用怕原始数据被破坏。划分完成后检查一下每个类别在train目录里的数量。如果发现某个类别的图片明显偏少这个信号后面一定要处理否则模型会对样本多的类别产生强烈偏向后面第4章会专门说这个坑。2.2 Python环境搭建与依赖组合一次装对不折腾图像分类系统最常用的运行时环境是Python加PyTorch。这里涉及python安装、numpy安装等基础操作如果你已经在电脑上装好了Python 3.10以上版本建议用虚拟环境隔离项目依赖避免和别的项目互相污染。conda create -n cnn python3.10 -y conda activate cnn pip install torch torchvision numpy opencv-python pillow matplotlibtorch是深度学习框架本体torchvision提供数据集加载工具和预训练模型接口numpy负责数组运算opencv-python和pillow都用于图片读取matplotlib用来画训练曲线。按上面的命令装完之后可以用下面这段代码验证环境是否可用import torch import torchvision print(torch.__version__) print(torchvision.__version__) print(torch.cuda.is_available())如果你的显卡是NVIDIA且装好了CUDA驱动最后一行会输出True后续训练可以用GPU加速。没有GPU也不用慌小规模数据集用CPU训练完全可行只是训练时间会拉长到几倍。我一般建议有N卡的同学直接装CUDA版PyTorch没显卡的同学在代码里做好device判断让模型自动选择CPU还是GPU运行。2.3 数据增强与归一化训练集和验证集为什么不能用同一套变换数据加载这一步最容易写错因为训练集和验证集的预处理不能完全一样。训练集需要数据增强来扩展数据分布验证集和测试集只做基础缩放和归一化不增加随机扰动否则每次验证的输入都不一样无法稳定评估模型效果。from torch.utils.data import DataLoader from torchvision.datasets import ImageFolder from torchvision import transforms # 训练集随机水平翻转 随机旋转 随机裁切 train_transform transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(p0.5), transforms.RandomRotation(10), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) # 验证集/测试集只做缩放、ToTensor和归一化 eval_transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) train_dataset ImageFolder(data/train, transformtrain_transform) val_dataset ImageFolder(data/val, transformeval_transform) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers2) val_loader DataLoader(val_dataset, batch_size32, shuffleFalse, num_workers2)train_transform里最需要注意的不是Resize而是RandomCrop它把256×256的图随机裁成224×224相当于每次训练看到的是同一张图的不同局部这是CNN图像分类系统提升泛化能力性价比最高的手段。RandomHorizontalFlip等于把训练数据翻倍对对称性较强的图像很有效。RandomRotation和ColorJitter则模拟拍摄角度和光线变化让模型不依赖颜色和方向的表象。Normalize的三个通道均值和标准差用的是ImageNet的统计值这是行业惯例。如果换用自己的统计值效果差异不大但沿用ImageNet的数值好处是以后想切换成迁移学习模型时预处理流程可以直接复用不用再调一遍。3. CNN模型完整代码三层卷积结构、训练循环与关键参数设置3.1 网络结构设计三层卷积加自适应池化为什么是稳妥起点CNN卷积神经网络的核心是卷积层它用一组可学习的卷积核在图像上滑动每个卷积核负责提取一种局部特征比如边缘、纹理、颜色块。卷积层之后接池化层做下采样减小特征图尺寸保留主要信息。这里选择一个三层卷积加全连接分类头的结构参数量适中对中小规模数据集不容易过拟合训练速度也快。import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes10): super().__init__() self.features nn.Sequential( # 第一层卷积3通道输入16个卷积核3x3大小padding1保持尺寸 nn.Conv2d(3, 16, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 第二层卷积16 - 32 nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 第三层卷积32 - 64 nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( # 自适应池化解决全连接层输入尺寸必须固定死的问题 nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(64, 128), nn.ReLU(inplaceTrue), nn.Dropout(p0.5), nn.Linear(128, num_classes), ) def forward(self, x): x self.features(x) x self.classifier(x) return x卷积核大小选3×3是近年来的主流选择两个3×3卷积堆叠的感受野相当于一个5×5卷积但参数量更少。每层卷积后接ReLU激活函数引入非线性否则多层线性变换叠加起来还是线性变换网络再深也学不出复杂特征。MaxPool2d每次把特征图尺寸减半既降低计算量又让后续卷积能看到更大范围的特征。AdaptiveAvgPool2d是简化设计的关键它把任意尺寸的特征图池化成1×1这样无论输入图片是224还是256全连接层都不需要改维度换数据集时可以少改一个参数。3.2 训练循环与关键参数交叉熵损失、Adam优化器、学习率设定网络结构定义好之后进入训练环节。图像分类最常用的损失函数是交叉熵损失它把模型输出的每个类别的得分转成概率分布然后和真实标签求差异。优化器这里选Adam它对学习率的敏感度比原生SGD低对第一次跑通流程更友好。import torch import torch.nn as nn from torch.utils.data import DataLoader device torch.device(cuda if torch.cuda.is_available() else cpu) model SimpleCNN(num_classeslen(train_dataset.classes)).to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr3e-4) best_val_acc 0.0 num_epochs 30 for epoch in range(num_epochs): model.train() running_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) _, predicted outputs.max(dim1) total labels.size(0) correct predicted.eq(labels).sum().item() train_loss running_loss / total train_acc correct / total # 每轮结束后验证 model.eval() val_correct 0 val_total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted outputs.max(dim1) val_total labels.size(0) val_correct predicted.eq(labels).sum().item() val_acc val_correct / val_total print(fEpoch {epoch1}: train_loss{train_loss:.4f}, train_acc{train_acc:.4f}, val_acc{val_acc:.4f}) if val_acc best_val_acc: best_val_acc val_acc torch.save(model.state_dict(), best_model.pth)这段训练代码里有一个很容易被忽略的设计验证时用model.eval()切换模式并用torch.no_grad()关闭梯度计算。如果不加这两行验证过程也会计算梯度、缓存中间变量既浪费显存又可能因为Dropout在推理时仍然随机丢弃神经元导致验证结果忽高忽低。学习率3e-4是Adam在中小型图片分类任务上的一个稳妥起点。如果训练集很大可以试着改到1e-3如果网络更深或数据量少1e-4更安全。实际跑的时候如果train_loss不降反而上升说明学习率过大如果降得太慢则说明学习率偏小这两个信号后面专章讨论。保存模型用model.state_dict()而不是直接保存整个model对象。state_dict只包含权重参数文件体积小跨Python和PyTorch版本兼容性好。把保存时机放在验证准确率刷新之后这就是“选择验证集上最好的模型”而不是“最后一轮的模型”能避免训练后期过拟合导致精度回退的问题。3.3 训练曲线怎么看准确率与Loss的对应关系训练跑起来之后光看命令行打印的数字是不够的建议用matplotlib把loss和accuracy曲线画出来保存成图片放进毕业论文里。需要关注两个规律训练集loss不断下降是正常现象但如果val_acc长期不涨甚至开始掉说明模型开始过拟合训练集和验证集准确率之间的gap正常在几个百分点gap拉大到十个点以上就要考虑加Dropout、加数据增强或减小模型容量。4. CNN图像分类避坑指南过拟合、学习率、显存与类别不均衡的排查4.1 训练集准确率极高、验证集不涨过拟合怎么识别和压制这是一个很经典的现场train_acc一路上升到95%以上val_acc卡在70%不动再多跑几个epochtrain_acc到了98%val_acc反而跌到65%。现象背后的原因是模型把训练集的细节甚至噪声都背了下来比如背景、固定拍摄角度、图片里的水印这些模式在验证集上不存在。解决思路按优先级排列第一检查训练集和验证集的预处理是否一致很多人验证集忘了做Normalize数值范围不对会导致验证准确率明显偏低第二增大数据增强强度尤其是RandomCrop和RandomHorizontalFlip第三把Dropout比例从0.5提到0.6或0.7第四减小模型容量减少卷积层通道数。建议一次只改一个变量改完重新训练再判断不要同时改三个否则无法知道是哪一步起的效果。4.2 损失函数不下降学习率不是越大越好torch.optim.Adam虽然对学习率不敏感但依然有边界。我见过不少初学同学把lr设成0.1结果loss在2.0附近震荡完全不动。原因是Adam在默认参数下对学习率有缩放过大的lr导致参数更新步长太大loss在最优解附近来回越过无法收敛。排查方式很简单。打印前几个epoch的loss如果loss在几百甚至几千的位置或者不断在某个值上下剧烈跳动先用学习率衰减重跑optimizer torch.optim.Adam(model.parameters(), lr1e-4) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size10, gamma0.5)scheduler每隔10个epoch把学习率乘0.5。这个做法对训练后期很有用前期用略大的学习率快速下降后期用较小的学习率精细收敛。如果1e-4仍然不降再试1e-5同时检查输入图片是否全部变成了黑图或全零张量ToTensor之后数值范围是0到1Normalize之后才可能出现负数如果数据加载顺序写错输入进模型的就是无效数据。4.3 显卡显存爆掉batch size和输入尺寸的调整顺序GPU显存不够时报错通常是CUDA out of memory原因是同时放进GPU的图片数量太多或者单张图片尺寸太大。解决办法第一个想到的应该是减小batch size把32改成16或8显存占用线性下降。如果降到4还不行减小输入图片尺寸训练阶段用160×160而不是224×224既能降低显存占用还能顺带加快训练速度。显存优化还有两个容易被忽略的点验证阶段要带着torch.no_grad()不写的话验证时也会累积计算图训练中间不需要的中间变量要即时释放尤其是用openCV读取的大尺寸图片读完立刻缩放再进DataLoader流程。至于num_workers它影响的是数据读取速度而不是显存num_workers调太高反而可能报DataLoader worker进程错误一般的Windows电脑设成2Linux服务器设成4就够了。4.4 类别不均衡导致模型一边倒加权采样替代手动删图图像分类数据集里类别样本数量差距大是常态比如猫有5000张狗有300张。出现这种情况时模型倾向于把所有图片都预测成猫因为总体的正确率已经很高了。手动删图并不好会浪费已有标注数据复制少数类图片则容易过拟合。更好的方式是让训练时的采样器多抽少数类样本。from collections import Counter from torch.utils.data import WeightedRandomSampler labels [label for _, label in train_dataset.samples] counts Counter(labels) weights [1.0 / counts[label] for label in labels] sampler WeightedRandomSampler(weights, num_sampleslen(labels), replacementTrue) train_loader DataLoader( train_dataset, batch_size32, samplersampler, num_workers2, )WeightedRandomSampler的思路是样本越稀少的类别单个样本被抽中的概率越高。权重取类别样本数的倒数样本数1000的权重是0.001样本数100的权重是0.01少的类别在每一轮被抽到的次数会增多整个训练过程变得相对均衡。注意使用sampler之后不能再传shuffleTrue否则会报错因为sampler本身就负责打乱顺序。4.5 多次训练结果波动大随机种子没固定代码每次运行的结果都不一样训练集准确率差出几个百分点这种情况多半是随机性没有固定。数据打乱、模型权重初始化、Dropout、数据增强里的随机翻转裁切都会带来随机性。复现实验和写论文都要养成固定随机种子的习惯。import random import numpy as np def set_seed(seed42): random.seed(seed) np.random.seed(seed) os.environ[PYTHONHASHSEED] str(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True set_seed(42)在训练脚本最开头调用set_seed之后再跑多次主要指标会稳定得多。cudnn.deterministicTrue会让卷积算法固定下来代价是运行速度略微下降但对毕业设计来说可复现性比那点性能重要得多。5. 把训练好的CNN模型变成系统模型保存、加载与单张图片预测5.1 模型保存的两种方式state_dict与完整checkpoint训练结束后只保存state_dict虽然体积小但缺失了模型结构和类别名信息加载时还要手动重建模型。对于可交付的毕业设计系统更推荐把模型权重、类别列表、输入尺寸打包成一个字典这样对方拿到文件后不需要知道任何训练细节就能直接推理。checkpoint { model_state_dict: model.state_dict(), class_names: train_dataset.classes, num_classes: len(train_dataset.classes), input_size: 224, } torch.save(checkpoint, image_classifier.pth)加载的时候按顺序拆开即可。需要注意的是model的实例化必须和训练时一致用同一个SimpleCNN类传入num_classes参数。如果加载时报尺寸不匹配最常见的错误就是这个num_classes和训练时不一致导致全连接层最后的Linear输出维度对不上。5.2 单张图片预测脚本预处理必须与训练完全一致模型部署到本地系统后用户输入一张图片就要得到分类结果。这里最容易踩坑的地方是推理时的预处理和训练时不一致比如训练用RandomCrop推理却用了CenterCrop随机裁剪出来的内容分布和中心裁剪差异很大精度会掉。推理时应该完全复刻验证集的transform。import torch from PIL import Image from torchvision import transforms def predict_image(image_path, checkpoint_path): ckpt torch.load(checkpoint_path, map_locationcpu) model SimpleCNN(num_classesckpt[num_classes]) model.load_state_dict(ckpt[model_state_dict]) model.eval() class_names ckpt[class_names] transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) image Image.open(image_path).convert(RGB) x transform(image).unsqueeze(0) # 增加batch维度形状从(3,224,224)变成(1,3,224,224) with torch.no_grad(): logits model(x) probs torch.softmax(logits, dim1) pred_idx logits.argmax(dim1).item() return class_names[pred_idx], probs[0][pred_idx].item()predict_image返回两个值第一个是预测类别名第二个是对应的置信度。为什么不直接取argmax对应的类别就完事还要算softmax概率因为实际交付时用户更关心“这个结果有多可信”。置信度低于0.5时系统里应该提示用户图片不清晰或类别不确定引导重新上传而不是给出一个自信的错误预测。Image.open之后加convert(RGB)是为了强制统一通道数避免PNG图片带透明通道导致形状变成4通道而报错。5.3 给系统加一个简单的命令行入口图形界面不是所有毕设都必须做但命令行入口应该有的。一个没有入口的系统在演示时只能改代码运行演示效果大打折扣。可以用argparse写一个干净的命令行版本。import argparse if __name__ __main__: parser argparse.ArgumentParser(descriptionCNN image classification) parser.add_argument(--image, typestr, requiredTrue, helppath to input image) parser.add_argument(--checkpoint, typestr, defaultimage_classifier.pth) args parser.parse_args() class_name, confidence predict_image(args.image, args.checkpoint) print(fPrediction: {class_name}, confidence: {confidence:.4f})这样在命令行执行python predict.py --image test.jpg就能看到输出。如果后面想再套一个Web界面predict_image作为核心函数可以直接被Flask或FastAPI调用不需要改模型代码。这也是系统分层的好处模型推理写成纯函数界面和模型逻辑解耦自己调试和答辩演示都会轻松很多。6. 用混淆矩阵和迁移学习验证模型把分类精度再推一步6.1 混淆矩阵找出模型把哪些类别互相认错整体准确率之外分类系统更需要看的是哪些类别在互相混淆。比如猫和狗在姿态相近时被认错说明模型学到的是背景或轮廓这类表层特征而不是更本质的品种特征。用验证集跑一遍全部预测然后生成混淆矩阵能直观看到问题集中在哪里。from sklearn.metrics import confusion_matrix import matplotlib.pyplot as plt all_preds, all_labels [], [] model.eval() with torch.no_grad(): for images, labels in val_loader: images images.to(device) outputs model(images) preds outputs.argmax(dim1).cpu().numpy() all_preds.extend(preds) all_labels.extend(labels.numpy()) cm confusion_matrix(all_labels, all_preds) print(cm)混淆矩阵对角线的值越大越好非对角线上的值集中出现在第i行第j列说明第i类真实标签被模型预测成了第j类。看到哪一类普遍被认到另一类上去优先做的不是调网络而是回看这一类图片的质量和数量。如果发现某一类的图片大多有特定背景色模型很可能学的是背景而不是物体本身解决办法是换数据集或增加带不同背景的样本。6.2 迁移学习收益在小数据集上专业领域的分类提效明显自己从零训练的CNN在数据量有限时往往只能做到80%左右的准确率。如果追求更高精度迁移学习是最短路径。常见做法是把训练好的ResNet18保留卷积部分权重替换最后面的全连接层然后只微调后面的层。from torchvision import models base_model models.resnet18(weightsmodels.ResNet18_Weights.DEFAULT) base_model.fc nn.Linear(base_model.fc.in_features, num_classes)迁移学习的核心前提是预训练模型的卷积部分已经学会了通用的边缘、纹理、形状特征这些特征对大多数图像任务都有用。微调时可以把base_model卷积层参数的requires_grad设为False这样只有最后一层全连接在更新参数训练速度快且不容易过拟合适合几百到几千张的小数据集大几千张以上的数据集更适合全参数微调精度上限更高。6.3 交付前最后一步用测试集重新评估一次整个系统完成之后最容易被忽略的是“测试集只准用一次”这条纪律。调参期间只能用验证集所有决定做完后再从test目录加载一次数据计算最终准确率和混淆矩阵。这个数字才是论文结果和答辩展示的数据来源。我自己踩过的坑是调参调到最后顺手在测试集上多试了几轮结果测试集已经失去了“没见过”的意义最后只能重新划分数据再跑一遍完整流程白白多花了一天时间。现在回想起来一次过训练一个CNN分类系统的关键不在于把网络写得多复杂而在于数据划分、预处理对齐、训练参数和模型保存这些看起来常规的环节每一步都严格自洽少一个地方忘记对齐最终精度都会被拖累几个百分点。希望这篇笔记帮你把这些坑提前绕开照着跑通自己的毕业设计系统。本文还有配套的精品资源点击获取