简介本资源是一套基于孪生神经网络实现点选识别验证码的完整项目源码面向计算机、人工智能、通信工程等专业的在校学生、教师及企业员工适合作为毕业设计、课程设计、作业或项目初期立项演示也适合具备一定基础的小白进阶学习。压缩包共12个文件约284KB包含7个Python脚本、2张PNG图片、1个TXT说明、1个CFG配置文件及1个Markdown文档涵盖模型定义、训练、预测与工具模块结构清晰便于按模块阅读。项目代码均经过测试运行成功答辩评审平均分达96分已有110人学习下载。读者可从中获得孪生网络与YOLOv3-tiny结合的点选识别完整方案、训练与推理脚本、配置参数及README说明既能直接运行复现也可在此基础上修改扩展用于其他识别任务或二次开发是学习神经网络实战与验证码识别的实用参考。1. 点选验证码识别为什么难从一次翻车现场说起做过爬虫或者自动化测试的人大概率都遇到过这种验证码一张图里散落着几个汉字或图标下面一行提示「请依次点击 天、地、人」。这就是点选识别。它比传统的字符验证码难得多——不是识别出字符就行还得知道每个字符在图上的坐标并且按提示的顺序点。我第一次接这类需求时用普通 CNN 分类模型硬套识别准确率不到 40%因为模型根本不知道「哪个字在哪个位置」。这个资源解决的正是这个问题用孪生神经网络Siamese Network做点选验证码的字符匹配与定位。核心思路不是让模型直接输出坐标而是把「提示字符」和「图中候选区域」分别编码成特征向量比较相似度相似度最高的区域就是目标位置。资源包里包含完整的 Python 源码、训练好的模型文件、VGG16 骨干网络实现、YOLOv3-tiny 配置文件、数据集以及文档说明是一套可以直接跑起来的毕设级项目。适合计算机相关专业学生做课程设计或毕设也适合想入门孪生网络实战的开发者。2. 孪生网络做点选识别的原理与工程选型2.1 为什么是孪生网络而不是目标检测点选验证码的字符类别是动态的——今天提示「春夏秋冬」明天可能提示「甲乙丙丁」。如果用 YOLO 或 Faster R-CNN 这类目标检测模型分类头是固定的每换一批字符就得重新标注、重新训练工程上不可接受。孪生网络的优势在于它学的是「相似度度量」而不是「类别判定」输入两张图输出它们的特征距离。只要距离足够小就认为是同一个字符。这样无论提示字符是什么都能通过比对找到图中对应位置。具体到这个项目流程分两步。第一步用 YOLOv3-tiny 做字符区域检测把图中所有候选字符框出来配置文件就是包里的yolov3-tiny.cfg。第二步用孪生网络提取每个候选区域的特征向量与提示字符的特征向量逐一比对取相似度最高的作为点击目标。这种「检测 匹配」的架构比端到端回归坐标更稳定因为检测和匹配可以独立调试出了问题容易定位是哪个环节的锅。2.2 代码结构与关键文件说明拿到源码包后先别急着跑train.py。花十分钟把文件结构理清楚后面调参会快很多。核心文件如下文件名作用备注siamese.py孪生网络主体结构定义包含特征提取和距离计算vgg16.pyVGG16 骨干网络实现可替换为其他 backbonetrain.py训练脚本需要配置数据集路径predict.py推理脚本输入图片输出点击坐标pre.py数据预处理字符区域裁剪与归一化config.py全局参数配置学习率、batch size 等utils.py工具函数图像读写、坐标变换requirement.txt依赖清单建议用虚拟环境安装model.png是网络结构示意图beeb1dc9cdf4f18a98a51d631745ba75.png应该是训练曲线或效果展示图。dianxuan-main是项目主目录。数据集没有单独列出文件名但根据pre.py的逻辑应该是按类别分文件夹存放的字符小图。2.3 环境搭建与依赖安装这个项目基于 Python依赖不会太复杂但版本兼容性要注意。我一般会先建一个干净的虚拟环境避免和系统里的包打架。# 创建虚拟环境Python 3.7 或 3.8 比较稳 python -m venv venv_dianxuan # 激活环境 # Windows: venv_dianxuan\Scripts\activate # Linux/Mac: source venv_dianxuan/bin/activate # 安装依赖建议逐行执行方便看报错 pip install torch torchvision pip install opencv-python pip install numpy pip install pillow pip install tqdmrequirement.txt里可能列了具体版本号但 PyTorch 版本和 CUDA 驱动强相关。如果你没有 GPU装 CPU 版就行训练会慢但推理够用。装完 torch 后跑一句python -c import torch; print(torch.__version__)确认没报错。常见坑是 numpy 版本过高导致np.float被移除如果遇到AttributeError: module numpy has no attribute float降级到 1.23 以下即可。2.4 数据准备与预处理逻辑点选识别的数据集构造和普通分类不一样。你需要准备的是「字符小图 标签」的形式而不是整张验证码图。pre.py的作用就是从原始验证码中切出每个字符区域归一化到统一尺寸通常是 32x32 或 64x64然后按类别存好。# pre.py 中的核心预处理逻辑示意 import cv2 import os import numpy as np def crop_and_save(img_path, boxes, label, save_dir): img_path: 原始验证码图片路径 boxes: 字符区域坐标列表 [(x1,y1,x2,y2), ...] label: 该图对应的提示字符列表 save_dir: 保存根目录 img cv2.imread(img_path) for box, char in zip(boxes, label): x1, y1, x2, y2 box crop img[y1:y2, x1:x2] # 统一缩放到 64x64保持字符不变形 crop cv2.resize(crop, (64, 64)) # 按字符类别建文件夹 char_dir os.path.join(save_dir, char) os.makedirs(char_dir, exist_okTrue) # 用时间戳避免重名 cv2.imwrite(os.path.join(char_dir, f{os.path.basename(img_path)}_{x1}.png), crop)这段代码的关键参数是boxes和label的对应关系。boxes 通常来自标注工具或 YOLO 的检测结果label 是验证码提示的字符顺序。注意cv2.resize的插值方式默认双线性在字符边缘会产生模糊建议用cv2.INTER_AREA缩小、cv2.INTER_CUBIC放大。另外字符类别文件夹名不要用中文避免编码问题。3. 训练孪生网络从配置到收敛的完整流程3.1 config.py 里的关键参数怎么设打开config.py你会看到一堆参数。别被吓到真正影响训练效果的就这么几个# config.py 关键参数解读 class Config: # 输入图像尺寸和预处理保持一致 image_size 64 # 特征向量维度太小欠拟合太大过拟合 embedding_dim 128 # 学习率孪生网络对学习率敏感建议 1e-4 起步 lr 0.0001 # batch size显存不够就降到 16 或 8 batch_size 32 # 训练轮数观察 loss 曲线一般 50-100 轮足够 epochs 80 # 距离阈值推理时判断是否匹配 threshold 0.5 # 数据集根目录 data_root ./dataset # 模型保存路径 save_path ./checkpointsembedding_dim是孪生网络的核心参数。它决定了每个字符被压缩成多长的向量。太小比如 32会导致不同字符的特征区分不开太大比如 512在小数据集上容易过拟合。128 是个比较稳的中间值。threshold需要根据验证集上的 ROC 曲线来调0.5 只是初始值实际部署时可能要调到 0.3 或 0.7。3.2 训练脚本执行与日志观察配置改好后直接跑训练python train.py --config config.py --gpu 0如果没有 GPU把--gpu参数去掉或设为 -1。训练开始后终端会打印每个 epoch 的 loss 和准确率。重点看两个指标训练 loss 是否稳定下降验证集准确率是否跟着涨。如果训练 loss 降但验证准确率不涨说明过拟合了需要加数据增强或减小 embedding_dim。# train.py 中损失函数的核心逻辑对比损失 import torch import torch.nn.functional as F def contrastive_loss(embedding1, embedding2, label, margin1.0): embedding1, embedding2: 两个样本的特征向量 label: 1 表示同类0 表示不同类 margin: 不同类样本的最小距离间隔 # 计算欧氏距离 distance F.pairwise_distance(embedding1, embedding2) # 同类样本距离越小越好不同类样本距离要大于 margin loss torch.mean( label * distance.pow(2) (1 - label) * F.relu(margin - distance).pow(2) ) return loss对比损失的精髓在margin参数。它告诉模型不同类样本的特征距离至少要拉开到 margin 以上否则就要惩罚。margin 设太小模型学不到区分性设太大训练难以收敛。常见做法是从 1.0 开始观察正负样本距离分布再微调。3.3 推理脚本 predict.py 的调用方式训练完成后用predict.py做推理。这个脚本的输入是一张验证码图片和提示字符输出是每个字符的点击坐标。python predict.py --image test.jpg --chars 天,地,人 --model checkpoints/best.pth# predict.py 核心推理流程简化版 import cv2 import torch from siamese import SiameseNetwork from utils import detect_characters, extract_features def predict(image_path, prompt_chars, model_path): # 加载模型 model SiameseNetwork() model.load_state_dict(torch.load(model_path)) model.eval() # 读取图片 img cv2.imread(image_path) # 第一步检测所有候选字符区域 boxes detect_characters(img) # 基于 YOLOv3-tiny # 第二步提取每个候选区域的特征 candidate_features [] for box in boxes: crop img[box[1]:box[3], box[0]:box[2]] crop cv2.resize(crop, (64, 64)) feat extract_features(model, crop) candidate_features.append(feat) # 第三步提取提示字符的特征并匹配 results [] for char in prompt_chars: char_img render_char(char) # 将字符渲染成标准图 char_feat extract_features(model, char_img) # 计算与所有候选的相似度 distances [torch.dist(char_feat, cf).item() for cf in candidate_features] best_idx distances.index(min(distances)) results.append(boxes[best_idx]) return results这里有个容易忽略的点提示字符需要先渲染成图片再提取特征。render_char函数要用和训练数据一致的字体和尺寸否则特征分布对不上匹配会失败。我一般会准备一个字体文件用 PIL 渲染成 64x64 的白底黑字图。3.4 用 YOLOv3-tiny 做字符检测的配置要点yolov3-tiny.cfg是字符检测的配置文件。和通用目标检测不同字符检测的 anchor box 要重新聚类。验证码里的字符通常比较小且密集默认的 COCO anchor 不合适。# 用 k-means 重新聚类 anchor需要先准备好标注框数据 python utils.py --kmeans --data annotations/ --num_clusters 6聚类结果替换到 cfg 文件里的anchors行。另外yolov3-tiny.cfg最后几层的classes要改成你的字符类别数。如果字符集是 500 个常用汉字classes 就是 500。但实际项目中点选验证码的字符集往往更大这时候不建议用 YOLO 做分类只让它输出「有字符」的框分类交给孪生网络。4. 避坑与排查那些让我熬夜的报错4.1 现象训练 loss 不下降一直卡在 0.69 左右原因0.69 约等于 ln(2)说明模型输出完全随机二分类没有学到任何东西。最常见的原因是数据标签错了——同类样本对和不同类样本对的比例严重失衡或者标签 0/1 写反了。解决先检查数据加载器打印几个 batch 的 label 看看。然后统计正负样本比例如果正样本只有 5%需要用加权采样或调整 loss 权重。另外确认contrastive_loss里label的含义1 是同类还是不同类要和数据生成逻辑对齐。4.2 现象推理时所有字符都匹配到同一个位置原因特征向量坍缩了。孪生网络训练时如果只优化距离没有足够的负样本约束模型会把所有输入映射到同一个点距离全为 0自然全匹配到第一个候选。解决增加负样本比例或者在 loss 里加一个正则项惩罚特征向量的方差过小。简单做法是每个 batch 里保证正负样本对半开。另外检查embedding_dim是不是太小了128 以下容易坍缩。4.3 现象YOLO 检测框偏移严重字符被切掉一半原因yolov3-tiny.cfg里的 anchor 尺寸和实际字符大小不匹配。默认 anchor 是针对 COCO 数据集的验证码字符通常更小。解决用 k-means 重新聚类 anchor或者手动改 cfg 文件里的anchors行把数值改小。另外检查输入图像的 letterbox 处理如果直接 resize 不保持宽高比框的坐标会错位。4.4 现象predict.py 报错 “CUDA out of memory”原因推理时没有加torch.no_grad()或者 batch 太大。孪生网络推理时其实不需要梯度加上上下文管理器能省很多显存。解决在推理代码外层包with torch.no_grad():。如果还爆把候选区域分批提取特征不要一次性全塞进去。另外确认模型加载后调用了.eval()否则 BatchNorm 层会继续更新统计量既慢又占显存。4.5 现象换了一批验证码准确率从 90% 掉到 30%原因域偏移。训练数据的字体、颜色、背景和实际场景不一致。孪生网络虽然泛化能力比分类网络强但对字体变化仍然敏感。解决在预处理阶段做颜色抖动、随机裁剪、高斯模糊等增强。如果目标场景的字体已知把该字体渲染的样本加入训练集。另外可以冻结 VGG16 的前几层只微调后面的层保留通用特征。5. 进阶技巧用半监督方式扩充数据集这个项目自带的数据集规模通常不会太大而孪生网络对数据量有一定要求。我常用的一个技巧是半监督自训练先用现有数据训练一个初始模型然后用它去预测未标注的验证码把高置信度的结果加入训练集迭代几轮。# 半监督自训练伪代码 import os import shutil def self_training(model, unlabeled_dir, threshold0.9): model: 已训练的孪生网络 unlabeled_dir: 未标注验证码目录 threshold: 置信度阈值距离小于该值才采纳 for img_name in os.listdir(unlabeled_dir): img_path os.path.join(unlabeled_dir, img_name) # 用模型预测 results, distances predict_with_confidence(img_path, model) # 只保留高置信度样本 if max(distances) threshold: # 把预测结果作为伪标签加入训练集 save_pseudo_label(img_path, results) print(f采纳: {img_name}, 距离: {max(distances):.4f}) else: print(f跳过: {img_name}, 距离过大)这个方法的坑在于置信度阈值不好定。太高了没几个样本能采纳太低了引入噪声反而降低效果。我的经验是先用 0.9 跑一轮看采纳率如果低于 10% 就放宽到 0.95 或换用相对距离和次优距离的比值。另外伪标签样本的 loss 权重可以调低一些比如 0.5避免噪声主导训练。还有一个实用技巧是「难例挖掘」。训练过程中把那些模型判断错误的样本单独存下来下一轮训练时提高它们的采样概率。具体做法是在 DataLoader 里给每个样本一个权重初始为 1每错一次加 0.1。这样模型会逐渐聚焦到边界样本上收敛更快。验证模型是否真的学到了东西不要只看准确率。我一般会做两个检查一是把特征向量用 t-SNE 降维可视化看同类字符是否聚在一起、不同类是否分开二是构造对抗样本比如把字符旋转 15 度或加噪声看距离是否仍然稳定。如果旋转后距离暴涨说明模型学的是纹理而不是形状泛化能力有限。从那以后我每次训练孪生网络都会先跑一个 sanity check用随机初始化的模型推理一遍确认输出距离在 0.5 左右完全随机然后再开始训练。这个习惯帮我省了很多「训练半天发现数据加载错了」的时间。希望帮到你。本文还有配套的精品资源点击获取