判断一张图片到底属于已知类别还是来自分布之外的未知数据是所有“可信视觉分类”系统都会遇到的工程问题。VeriCam 站在这个角度给出的不是一套花哨的端到端大模型而是一个更接近科研基线的东西在未知数据分类场景下把“验证”这件事做成可重复评估、可对比结果、可接业务接口的标准流程。下面这篇文章不假设你已经拿到了官方一键整合包而是把 VeriCam 这类验证基线的核心思路、本地复现路径、评测方法和接口化方式拆开讲清楚。即使你手上只有论文标题和少量实验描述也可以照着这个流程把基线先跑起来。1. 核心能力速览先给结论。VeriCam 从命名上看是 Camera 与 Verification 的组合重点场景应该是摄像头或视觉数据中的人、物、场景验证。它的目的不是让你拿到一张图就强行分进某个类别而是在分类结果之外增加一道验证闸门判断输入数据是否来自已知类如果是归入正确的类如果不是触发“未知”告警。能力项说明项目定位面向未知数据分类的验证基线核心问题已知类置信度判断、未知样本拒识、类别归属典型输入图像、图片目录、视频帧、批量图片路径主要输出已知/未知判定、Top-1 类别、置信度、特征距离依赖框架Python、PyTorch、torchvisionOpenCV 辅助特征提取预训练 CNN/Transformer 骨干网络验证方式特征归一化 距离/相似度 阈值判定是否支持 API可用 FastAPI / Flask 自行封装是否支持批量任务支持按目录批量验证输出 JSONL/CSV推荐硬件GPU 优先CPU 可进行推理但速度受限显存占用取决于骨干网络与 batch size需按实测观察适合读者算法工程师、测试开发、视觉应用研发、学术复现人员这个表格是一个“目标能力清单”。如果你拿到的 VeriCam 官方代码只实现了其中一部分也没有关系——验证基线最重要的不是功能多而是单次实验结果能稳定反映模型对未知数据的判断能力。2. VeriCam 解决什么问题常规图像分类训练时数据集只有一个闭合类别集合比如训练 100 类测试也就测这 100 类。真实系统没有那么理想。摄像头在固定区域拍到一个人这个人可能属于员工库也可能是陌生来访者摄像头拍到一个零件可能是产线定义的 10 类缺陷也可能是从来没见过的新缺陷。这时候如果模型只能从 100 类里挑一个就会被迫把“未知”塞进某个“已知”标签结果往往是一本正经地给错答案。VeriCam 要解决的问题正是这种“闭合集分类不够用需要开放集验证”的情况。它把任务重新拆成两层第一层是“确认是否认识”即验证Verification。输入一张图片先判断它在已知语义空间里有没有足够可靠的依据。没有依据就直接拒绝不让它进入后续类别分类。第二层是“确认认识后分类”也就是分类Classification。在验证通过的条件下再把它映射到最相似的已知类别并给出置信度。很多团队会直接用 Softmax 概率作为是否相信预测结果的依据。Softmax 概率天然有归一化看起来 0.95 就是可信。但在分布外的未知样本上Softmax 的置信度往往虚高一个从没见过的图像也可能输出一个非常高的预测分数。VeriCam 这类基线做验证时通常不会只看 Softmax而是把特征层拿来做距离度量。因为特征空间的分布信息比分类头最后的概率更有判别力尤其是当类别数量很多、样本很杂的时候。所以 VeriCam 作为验证基线真正要求你建立的是这样一套能力从训练集或者预训练模型中得到有效的特征表示对已知类别建立特征中心或者特征分布模型用样本到已知类中心的距离来判定“已知/未知”支持阈值调整让验证更严格或更宽松能在不同数据域、不同骨干网络下做基线对比。这套东西搭建完成之后它既是一套实验基线也是一个可以被 API 化的验证服务。下面我们从环境开始逐步把它落地。3. 环境准备与前置条件无论你打算复现 VeriCam 论文还是要把它改造成公司内部工具环境准备都应该先固定下来。建议使用 Python 3.9 或 3.10 版本配合 PyTorch 2.x。新版本 PyTorch 对 CUDA 的支持比较直接安装指令可以从 PyTorch 官网按当前显卡驱动生成不建议使用系统自带的老旧环境。需要确认的前置项包括操作系统Windows 10/11、Ubuntu 20.04/22.04 都可以服务器推荐 UbuntuPython 虚拟环境使用 conda 或者 venv 隔离项目依赖GPU 驱动NVIDIA 用户先确认nvidia-smi能正常运行并记录 CUDA 版本PyTorch安装对应 CUDA 版本的 torch、torchvision特征提取库torchvision 自带 ResNet、EfficientNet、ViT如果需要更多骨干网络可以安装timm数据与特征处理库numpy、pandas、scikit-learn、tqdm图像处理库opencv-python、PillowAPI 封装库fastapi、uvicorn、python-multipart配置文件读取PyYAML。如果本机没有 GPU先用 CPU 跑一个小实验也可以。预训练 ResNet 骨干对单张 224×224 图像做特征提取的速度并不算太慢至少能验证流程是否跑通再决定是否迁移到 GPU 服务器。下面给一个通用的依赖清单实际使用时要根据当前 PyTorch 版本调整# 安装项目基础依赖具体版本以官方 requirements 为准 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install numpy pandas scikit-learn opencv-python pillow tqdm pyyaml pip install fastapi uvicorn python-multipart timm安装完成后用下面这段代码做一次快速健康检查。重点不是模型是否下载成功而是 CUDA 可用性和 PyTorch 版本是否能匹配import torch import torchvision print(PyTorch:, torch.__version__) print(torchvision:, torchvision.__version__) print(CUDA available:, torch.cuda.is_available()) if torch.cuda.is_available(): print(GPU:, torch.cuda.get_device_name(0))如果CUDA available为 False不要马上认为是代码问题先查驱动和被 PyTorch 识别的 CUDA 版本。驱动过旧无法支撑新版本 PyTorch 是很常见的现象。4. 从零搭建 VeriCam 验证基线在没有官方完整代码的情况下从零搭一个可运行的 VeriCam 风格验证基线并不复杂。下面这套模板把流程拆成四个模块特征提取、类别特征中心构建、阈值校准、推理验证。你可以根据实际数据集和 backbone 自由替换。4.1 目录结构推荐先固定目录结构避免后面数据和模型文件散落得到处都是。vericam_baseline/ ├── config.yaml ├── data/ │ ├── gallery/ │ │ ├── known_class_01/ │ │ ├── known_class_02/ │ │ └── known_class_03/ │ ├── query_known/ │ └── query_unknown/ ├── models/ ├── features/ │ ├── gallery_features.npy │ └── query_features.npy ├── build_index.py ├── verify.py ├── evaluate.py └── api_server.pygallery存放已知类别的注册样本用于构建类别中心query_known和query_unknown分别是测试阶段的已知类和未知类图片。如果你的数据量很大可以把图片路径写进一个 CSV 文件由脚本读取。4.2 配置文件把骨干网络、特征维度、阈值、输入尺寸写进 YAML方便做对比实验# config.yaml 通用模板 backbone: resnet50 pretrained: true image_size: 224 feature_dim: 2048 batch_size: 32 num_workers: 4 device: cuda threshold: 0.55 similarity_metric: cosine data: gallery_root: ./data/gallery query_known_root: ./data/query_known query_unknown_root: ./data/query_unknown paths: gallery_features: ./features/gallery_features.npy query_features: ./features/query_features.npy需要留意的是feature_dim会随骨干网络变化。ResNet50 默认分类头输出 1000 类我们通常使用倒数第二层或者平均池化后的 2048 维特征ViT 的 CLS token 可能是 768 维或者 1024 维。如果你使用timm可以直接通过模型参数读取特征维度避免手写出错。4.3 特征提取模块实现特征提取是整个验证基线的核心。下面示例使用 torchvision 自带的 ResNet50去掉最后的全连接分类头只保留特征向量import os import torch import numpy as np from PIL import Image from torchvision import transforms from torchvision.models import resnet50, ResNet50_Weights class FeatureExtractor: def __init__(self, devicecuda): self.device device if torch.cuda.is_available() else cpu self.model resnet50(weightsResNet50_Weights.IMAGENET1K_V2) self.model.fc torch.nn.Identity() self.model.eval() self.model.to(self.device) self.preprocess transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ) ]) def extract(self, image_path): image Image.open(image_path).convert(RGB) tensor self.preprocess(image).unsqueeze(0).to(self.device) with torch.no_grad(): feature self.model(tensor) return feature.cpu().numpy()[0] / np.linalg.norm(feature.cpu().numpy()[0])这里比较关键的操作是输出前做了一次 L2 归一化。后续计算余弦相似度时归一化后的特征点积就等于余弦相似度既能减少光照、对比度等无关因素影响也让距离阈值在不同数据集上更有可比性。4.4 构建已知类别特征中心已知类别的特征中心可以直接对 gallery 内所有样本的特征取平均也可以使用更稳健的类内特征中心估计。典型做法是第一轮全量提取特征然后按类别计算平均向量并再次归一化。下面是一个目录遍历版本import os import json import numpy as np from extractor import FeatureExtractor def build_gallery_index(gallery_root, extractor, target_path): class_names sorted(os.listdir(gallery_root)) centers {} sample_counts {} for class_name in class_names: class_dir os.path.join(gallery_root, class_name) if not os.path.isdir(class_dir): continue features [] for image_name in os.listdir(class_dir): image_path os.path.join(class_dir, image_name) if not image_name.lower().endswith((.jpg, .jpeg, .png)): continue try: feature extractor.extract(image_path) features.append(feature) except Exception as e: print(fskip {image_path}: {e}) if features: center np.mean(features, axis0) center center / np.linalg.norm(center) centers[class_name] center sample_counts[class_name] len(features) np.save(target_path, centers) with open(centers.json, w, encodingutf-8) as f: json.dump(sample_counts, f, ensure_asciiFalse, indent2) print(build index done, centers.keys())实际业务中 gallery 可能来自不同批次、不同设备建议先抽出一个小验证集做特征质量分析。如果同一类样本特征分布分散类中心就不适合用简单平均需要改用高斯分布模型或者子类中心。5. 功能测试与效果验证VeriCam 作为分类的验证基线不能只看一两个例子就下结论。它的输出需要统计指标来支撑。测试流程应该覆盖“已知类正确接受”“未知类正确拒绝”“已知类误拒”“未知类误收”四种情况。5.1 测试数据准备准备两组未知样本时要注意一组来自训练集中完全没有出现过的语义类别比如训练集是动物未知类可以放交通工具另一组来自同一类但不同拍照场景比如训练集是某厂区工人的上半身未知类却是相似工服但不同部门的访客。第二组未知样本更难更贴近真实业务。5.2 阈值校准验证开始前先确定相似度阈值。实际做法是保留一部分已知类和未知类样本作为“验证集”不参与特征中心构建只用来挑选阈值。代码上如果使用余弦相似度那么“验证通过”代表相似度高于某个值。下面的函数演示了单张图像如何验证def verify_image(image_path, extractor, centers, threshold0.55): feature extractor.extract(image_path) best_similarity -1.0 best_class None for class_name, center in centers.items(): similarity float(np.dot(feature, center)) if similarity best_similarity: best_similarity similarity best_class class_name if best_similarity threshold: return { status: known, predicted_class: best_class, similarity: round(best_similarity, 4), threshold: threshold } return { status: unknown, predicted_class: None, similarity: round(best_similarity, 4), threshold: threshold }这里阈值的作用非常直接threshold越低越容易放过未知数据threshold越高越可能把已知数据误判成未知。后续评估时要画出不同阈值下的接受率曲线而不是只报告一组数字。5.3 结果报告与指标对一批 query 图片做完整验证后建议至少输出以下指标指标含义建议报告方式FAR未知样本被误判为已知的比例百分比越低越好FRR已知样本被误判为未知的比例百分比越低越好AUROC区分已知/未知的平均能力0.5~1.0越大越好Top-1 Accuracy已知样本中判定正确类别的比例百分比开放集 F1综合已知分类与未知拒识的分数建议另写函数计算evaluate.py可以循环读取 query 目录汇总状态再调 scikit-learn 计算 ROC。代码不需要复杂关键是整理成可重复运行的脚本import os import numpy as np from sklearn.metrics import roc_auc_score, roc_curve def collect_scores(query_root, extractor, centers): labels [] similarities [] predictions [] true_classes [] for cls_name in sorted(os.listdir(query_root)): cls_dir os.path.join(query_root, cls_name) if not os.path.isdir(cls_dir): continue for image_name in os.listdir(cls_dir): if not image_name.lower().endswith((.jpg, .jpeg, .png)): continue image_path os.path.join(cls_dir, image_name) feature extractor.extract(image_path) score max(float(np.dot(feature, center)) for center in centers.values()) similarities.append(score) true_classes.append(cls_name) return np.array(similarities), np.array(true_classes)这份评估结果可以横向对比不同骨干网络的验证能力。比如 ResNet50、EfficientNet、ViT-B/16 在同一批未知数据上的 AUROC 差异往往比顶层设计调参更明显。6. 接口 API 与批量任务基线跑通后下一步通常是接成内部服务。把 verify 函数封装为一个 HTTP 接口让前端、巡检程序或后端服务可以直接调用。下面是 FastAPI 的最小实现适合作为 VeriCam 类验证服务的通用模板from fastapi import FastAPI, UploadFile, File import numpy as np from extractor import FeatureExtractor from services import load_centers, verify_vector app FastAPI() extractor FeatureExtractor(devicecuda) centers load_centers(features/gallery_features.npy) app.post(/api/verify) async def api_verify(file: UploadFile File(...), threshold: float 0.55): # 实际生产环境应先将图片落盘或读入内存再交给特征提取器 image_bytes await file.read() feature extractor.extract_from_bytes(image_bytes) result, similarity verify_vector(feature, centers, threshold) return { status: result, similarity: round(similarity, 4), threshold: threshold, }启动接口服务的命令可以使用 uvicorn。这里必须说明具体端口和 host 要按你的部署环境调整如果本机只有单机调试避免绑定到公网地址uvicorn api_server:app --host 127.0.0.1 --port 8000接口启动后用 curl 测试curl -X POST http://127.0.0.1:8000/api/verify?threshold0.55 \ -F file./data/query_unknown/unknown_001.jpg批量任务建议不要一个请求开一个线程去调接口。更好的做法是先写一个批量推理脚本把图片特征一次性提取出来再统一做相似度计算最后输出 CSV 或 JSONL。理由很简单批量脚本可以控制 batch size、打日志、失败重试而 HTTP 长任务容易出现超时。批量处理的典型逻辑python verify.py --input_dir ./data/query_large --output ./outputs/verify_result.csv --gpu 0对应的 CSV 列可以包括图片路径、预测类别、相似度、是否已知。如果遇到网络图片或者摄像头视频流需要额外维护来源 ID用来关联后续业务工单。7. 资源占用与性能观察实际观察资源占用时重点看几个维度特征提取阶段的 GPU 显存、CPU 内存、单张推理耗时、批处理吞吐量。显存占用主要由输入分辨率和 batch size 决定。分辨率从 224×224 提升到 512×512显存占用会成倍增长batch size 从 1 调整到 16显存占用也会明显上升。没有固定答案最稳妥的流程是在命令行打开实时监控例如 Linux 上执行nvidia-smi -l 2Windows 下可以用任务管理器的 GPU 一栏观察占用。第一次测试建议先把 batch size 设为 1跑通后再逐步增大直到显存接近上限但还没有触发 OOM 的位置。CPU 推理虽然慢但对嵌入式设备或者没有 GPU 的测试环境仍有价值。如果使用 ResNet50 做特征提取一张 224×224 图在 CPU 上通常需要几百毫秒到几秒不等具体取决于 CPU 核心数、图像解码速度和是否开启了 OpenMP。批量任务建议用多进程加载图片而不是在主线程里逐张处理。如果显存不够有四个常用降载手段:降低输入分辨率用 160×160 或 128×128 做特征提取但注意与训练时分布尽量一致减小 batch size从 32 降到 8甚至降到 1使用轻量骨干MobileNet、EfficientNet-B0 的特征维度更低关闭梯度并开启torch.no_grad()保存模型时使用 FP16 推理。这里不建议一上来就改动输入分辨率。因为预训练模型对正态化之后的固定分辨率更敏感随意改动可能损失验证精度。先减小 batch size 是最安全的做法。8. 常见问题与排查方法搭建和运行验证基线时下面这些问题出现频率最高。问题现象可能原因排查方式解决方案CUDA available为 False显卡驱动过旧或 PyTorch 未安装 CUDA 版本检查nvidia-smi与 torch.version.cuda更新驱动并重装匹配的 PyTorch特征提取时显存不足batch size 过大或分辨率过高观察 nvidia-smi降低 batch size关闭其他显存任务所有图片都被判为 unknown阈值设置过高或特征中心构建失败打印相似度分布调整阈值检查 gallery 样本是否正常提取未知数据相似度全部偏高未知样本与已知类别分布太过接近分析特征空间可视化增加更明显的未知类别或提升骨干网络语义能力加载本地图片报权限错误路径或中文目录编码问题打印完整路径确认使用绝对路径并确认图片目录可访问FastAPI 上传文件超时图片过大或同步特征提取耗时太长查看日志和请求耗时改用异步任务队列前端返回任务 ID 后轮询不同机器结果不一致环境版本或随机操作造成的差异固定 random seed 和 torch.backends 配置固定依赖版本并在库脚本开头设置 seed除了表格里的常见问题还有一个很容易被忽视的坑测试集和训练集数据泄漏。如果 gallery 里的图与 query_known 的图来自同一次拍摄、同一场景、几乎相同的压缩率那么验证分数会虚高。评估结果只能说明“这套基线在这个数据切片上过拟合得很好”不能证明真实场景可用。正确做法是让用于构建特征中心的样本和用于测试的样本尽量来源独立。至少保证没有经过裁剪、缩放或调色后直接从 gallery 复制到 query 的情况。9. 最佳实践与使用建议如果 VeriCam 要成为团队内部可信赖的验证基线建议从一开始就建立以下工程规范。第一所有配置都进入版本管理。特征维度、骨干网络、输入尺寸、阈值都不要散落在代码里。使用 YAML 或 JSON 统一管理每次实验记录 commit 号方便回滚到“上次指标更高”的版本。第二第一次测试永远用最小数据量。先用 3 个已知类、每个类 5 张图和 10 张未知图跑通流程再扩展到全量数据。这样出现问题时可以一眼判断是数据结构问题还是模型问题不会因为海量日志浪费调试时间。第三把模型文件和数据文件分开。预训练权重属于大文件不适合放在代码仓库图片数据集同样如此。目录结构建议为models/、data/、outputs/并在.gitignore中忽略模型和临时特征文件。第四设计接口时要控制访问范围。如果服务只需要测试环境使用优先绑定127.0.0.1。如果部署到服务器要通过 API Token、签名或者反向代理做访问控制。验证服务一旦能被外部直接调用可能会被用来试探类别分布从而暴露系统决策边界。第五涉及人脸、车牌照、员工照片或包含个人信息的图像时必须先确认数据来源和授权范围。合法合规是基线能不能从实验室走到生产环境的先决条件。如果数据来自摄像头要核查隐私协议和脱敏方式如果使用开源数据集要阅读其 License不要默认可以商用。第六不要只报告准确率。验证场景的坑很多时候不在“分对的概率”而在“拒识的代价”。误把陌生人放行和误把员工拒绝在门禁、考勤、安防场景里的业务成本完全不同。因此实验报告里必须同时给出 FAR 和 FRR并且描述你如何校准阈值。10. 总结与下一步VeriCam 这类验证基线真正值得投入时间的地方是它迫使你把“未知数据”明确地纳入了评估体系。常规图像分类只解决类别之间的边界验证基线还要解决已知类别与未知空间的边界。这才是工程生产环境里真正难处理的问题。最容易踩的坑是误以为阈值越高越安全或者误以为同一套阈值可以通用于所有数据域。更稳妥的思路是先建立特征库再做阈值扫描最终用 AUROC 和 FAR/FRR 曲线记录能力而不是拍脑袋定一个相似度数值。如果接下来要扩展建议先做两个方向一是替换骨干网络对比 ResNet、ViT、EfficientNet 在未知数据上的区分度二是引入更接近真实场景的未知数据分布比如同设备不同时段、不同天气、低分辨率图像。这些都是围绕验证基线最直接、也最有业务价值的实验。建议把这篇文章对应的目录结构、脚本模板保存下来后面做其他分类验证项目时可以直接复用。