尧图网页设计 
简介这是一套基于Python与PyQt构建的图像语义分割桌面软件源码面向计算机、人工智能、通信、自动化等专业的在校学生与开发者可用于毕业设计、课程设计、作业或项目初期立项演示也适合具备一定基础的小白进阶学习。资源包共153个文件约8.74MB以37个py源码文件为核心辅以85个svg界面图标、7个yaml配置、3个md说明文档及qss样式、ui界面、qrc资源等结构完整、便于二次开发。软件支持mobilenet、resnet50等8种模型覆盖从界面交互到模型推理的完整流程。目前已有248人学习下载。代码均经测试运行成功答辩评审平均分达96分下载后可按README说明快速上手并在此基础上修改扩展功能适合作为语义分割方向的实践参考与学习模板。1. 从一张截图到可运行软件PythonPyQt 图像语义分割工具到底解决什么问题你手里有一张街景照片想把里面的人、车、路面、天空逐像素分开最直接的办法是跑一个语义分割模型。但模型跑完输出的是张灰度掩码图每个像素值对应一个类别 ID直接看根本分不清谁是谁。这时候就需要一个 GUI 工具把原图和彩色掩码并排显示最好还能切换模型、调参数、导出结果。基于 Python PyQt 的图像语义分割软件就是干这个的它把 MobileNet、ResNet50 等 8 个骨干网络封装成统一接口用 PyQt 搭出桌面界面让不写代码的人也能完成分割推理。适合做课程设计、算法验证、标注辅助的从业者也适合想学 PyQt 工程化落地的 Python 开发者。热词里 python gui、pyqt、mobilenet、resnet50 都指向同一个需求把模型装进界面而不是停在 notebook 里。2. 八个模型怎么选MobileNet 与 ResNet50 的取舍逻辑2.1 骨干网络差异与推理速度实测对比语义分割模型通常由骨干网络backbone和分割头head组成。骨干负责提取特征分割头负责上采样还原分辨率。MobileNet 系列用深度可分离卷积替代标准卷积参数量和计算量大幅下降ResNet50 用残差连接解决深层网络退化问题特征表达能力更强但计算量大约是 MobileNetV2 的 4 到 5 倍。在 512×512 输入下用同一台无独立显卡的笔记本 CPU 推理MobileNetV2 单帧约 0.3 到 0.5 秒ResNet50 约 1.5 到 2.5 秒。如果做实时预览或低配设备部署优先选 MobileNet如果追求精度且能接受等待选 ResNet50。8 个模型里通常包含 MobileNetV2、MobileNetV3、ResNet50、ResNet101 及其变体选型时先看你的硬件和延迟容忍度再看数据集复杂度。2.2 用统一接口封装 8 个模型的代码骨架不管选哪个骨干对外都暴露同样的predict(image) - mask接口。下面是一个模型工厂的骨架用字典注册 8 个模型避免在 GUI 里写一堆 if-else。# model_factory.py import torch import torchvision.models.segmentation as seg_models # 注册表模型名 - 构造函数 MODEL_REGISTRY { mobilenet_v2: lambda num_classes: seg_models.deeplabv3_mobilenet_v3_large( weightsNone, num_classesnum_classes ), resnet50: lambda num_classes: seg_models.deeplabv3_resnet50( weightsNone, num_classesnum_classes ), # 其余 6 个模型按同样方式注册保持键名与 GUI 下拉框一致 } def build_model(name: str, num_classes: int, ckpt_path: str None): if name not in MODEL_REGISTRY: raise ValueError(f未知模型: {name}) model MODEL_REGISTRY[name](num_classes) if ckpt_path: state torch.load(ckpt_path, map_locationcpu) model.load_state_dict(state) model.eval() return model逻辑说明MODEL_REGISTRY把模型名映射到构造函数GUI 下拉框的选项直接从这个字典的键生成新增模型只需加一行。build_model负责实例化并加载权重eval()关闭 dropout 和 batchnorm 的训练行为。参数说明num_classes必须和训练时一致否则最后一层卷积维度对不上ckpt_path为 None 时使用随机权重仅用于界面联调正式推理必须传入训练好的权重。常见做法是把权重文件放在weights/目录下文件名与模型名对应加载时自动匹配。2.3 预处理与后处理的参数对齐模型推理前要把 PIL 图像转成 tensor 并归一化推理后要把输出 logits 转成类别掩码再映射成颜色。这两步的参数必须和训练时完全一致否则精度会莫名其妙下降。# inference.py import numpy as np import torch from torchvision import transforms # 与训练一致的归一化参数 preprocess transforms.Compose([ transforms.Resize((512, 512)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) # 21 类 VOC 调色板按类别 ID 索引 PALETTE np.array([ [0, 0, 0], [128, 0, 0], [0, 128, 0], [128, 128, 0], [0, 0, 128], [128, 0, 128], [0, 128, 128], [128, 128, 128], [64, 0, 0], [192, 0, 0], [64, 128, 0], [192, 128, 0], [64, 0, 128], [192, 0, 128], [64, 128, 128], [192, 128, 128], [0, 64, 0], [128, 64, 0], [0, 192, 0], [128, 192, 0], [0, 64, 128] ], dtypenp.uint8) def predict(model, image): tensor preprocess(image).unsqueeze(0) # 增加 batch 维度 with torch.no_grad(): output model(tensor)[out] # DeepLabV3 输出是字典 mask output.argmax(dim1).squeeze(0).cpu().numpy() color_mask PALETTE[mask] # 类别 ID 映射为 RGB return mask, color_mask逻辑说明preprocess中的 Resize 尺寸、Normalize 均值方差必须与训练脚本一致这是最常见的精度翻车点。output[out]是因为 torchvision 的 DeepLabV3 返回 OrderedDict如果换成分割头不同的模型这里要相应调整。argmax(dim1)在类别维度取最大值得到每个像素的类别 ID。参数说明PALETTE的行数必须大于等于num_classes否则索引越界如果自定义数据集类别数不是 21需要同步修改调色板。推理时用torch.no_grad()关闭梯度能省约 30% 显存并提速。3. PyQt 界面搭建从下拉框到图像显示的完整链路3.1 主窗口布局与信号槽连接PyQt 的核心是信号槽机制用户操作控件触发信号槽函数响应。主窗口用 QVBoxLayout 纵向排列顶部放模型选择下拉框和推理按钮中间用 QLabel 显示原图和分割结果底部放状态栏显示推理耗时。# main_window.py from PyQt5.QtWidgets import (QMainWindow, QWidget, QVBoxLayout, QHBoxLayout, QComboBox, QPushButton, QLabel, QFileDialog, QStatusBar) from PyQt5.QtGui import QPixmap, QImage from PyQt5.QtCore import Qt import time class MainWindow(QMainWindow): def __init__(self, model_names): super().__init__() self.setWindowTitle(图像语义分割工具) self.resize(1000, 600) self.model None central QWidget() self.setCentralWidget(central) layout QVBoxLayout(central) # 顶部控制栏 top_bar QHBoxLayout() self.model_combo QComboBox() self.model_combo.addItems(model_names) # 从模型注册表键名填充 self.btn_load QPushButton(加载图片) self.btn_run QPushButton(开始分割) top_bar.addWidget(self.model_combo) top_bar.addWidget(self.btn_load) top_bar.addWidget(self.btn_run) layout.addLayout(top_bar) # 图像显示区 img_layout QHBoxLayout() self.label_origin QLabel(原图) self.label_result QLabel(分割结果) for lb in (self.label_origin, self.label_result): lb.setAlignment(Qt.AlignCenter) lb.setMinimumSize(400, 400) lb.setStyleSheet(border: 1px solid #ccc;) img_layout.addWidget(self.label_origin) img_layout.addWidget(self.label_result) layout.addLayout(img_layout) self.setStatusBar(QStatusBar()) self.btn_load.clicked.connect(self.on_load) self.btn_run.clicked.connect(self.on_run) self.current_image None def on_load(self): path, _ QFileDialog.getOpenFileName(self, 选择图片, , Images (*.png *.jpg *.jpeg)) if path: self.current_image path pixmap QPixmap(path).scaled(400, 400, Qt.KeepAspectRatio) self.label_origin.setPixmap(pixmap) def on_run(self): if not self.current_image: self.statusBar().showMessage(请先加载图片) return # 实际推理逻辑在下一节接入 self.statusBar().showMessage(f当前模型: {self.model_combo.currentText()})逻辑说明QComboBox.addItems直接接收模型名列表保证界面选项与后端注册表同步。on_load用QFileDialog选图并缩放显示Qt.KeepAspectRatio防止图片变形。on_run先做空值检查再触发推理避免用户没选图就点按钮导致崩溃。参数说明setMinimumSize(400, 400)保证图像区域不会因窗口缩小而消失scaled的宽高是显示尺寸不影响实际推理用的原图分辨率。3.2 把推理结果渲染到 QLabel 的完整代码推理返回的是 numpy 数组要转成 QImage 再转 QPixmap 才能显示。这一步的坑在于 numpy 数组的内存布局和 QImage 的通道顺序。# 在 MainWindow 中补充 import numpy as np from PyQt5.QtGui import QImage, QPixmap def numpy_to_qpixmap(self, arr: np.ndarray) - QPixmap: arr: HxWx3 uint8 RGB h, w, ch arr.shape # QImage 需要连续内存且通道顺序为 RGB bytes_per_line ch * w qimg QImage(arr.data, w, h, bytes_per_line, QImage.Format_RGB888) return QPixmap.fromImage(qimg.copy()) # copy 防止底层内存被回收 def on_run(self): if not self.current_image: self.statusBar().showMessage(请先加载图片) return from PIL import Image from model_factory import build_model from inference import predict model_name self.model_combo.currentText() self.statusBar().showMessage(f正在加载 {model_name} ...) self.model build_model(model_name, num_classes21, ckpt_pathfweights/{model_name}.pth) image Image.open(self.current_image).convert(RGB) t0 time.time() mask, color_mask predict(self.model, image) cost time.time() - t0 pixmap self.numpy_to_qpixmap(color_mask) self.label_result.setPixmap(pixmap.scaled(400, 400, Qt.KeepAspectRatio)) self.statusBar().showMessage(f{model_name} 推理完成耗时 {cost:.2f}s)逻辑说明numpy_to_qpixmap中QImage直接引用 numpy 数组的内存如果不copy()数组被垃圾回收后 QPixmap 会显示花屏或崩溃这是 PyQt 图像显示的血泪经验。on_run里先加载模型再推理耗时统计包含模型加载时间如果只想统计推理时间把t0移到predict之前。参数说明Format_RGB888对应三通道 RGB如果输入是 RGBA 要改成Format_RGBA8888bytes_per_line必须显式传入否则宽不是 4 的倍数时图像会错位。3.3 模型切换时的资源释放与线程安全在 GUI 里直接跑推理会阻塞主线程界面卡死。正确做法是把推理放到 QThread 里通过信号把结果传回主线程更新界面。同时切换模型时要释放旧模型避免内存越用越多。# worker.py from PyQt5.QtCore import QThread, pyqtSignal from PIL import Image from inference import predict class InferenceWorker(QThread): finished pyqtSignal(object, float) # color_mask, cost failed pyqtSignal(str) def __init__(self, model, image_path): super().__init__() self.model model self.image_path image_path def run(self): try: image Image.open(self.image_path).convert(RGB) import time t0 time.time() _, color_mask predict(self.model, image) self.finished.emit(color_mask, time.time() - t0) except Exception as e: self.failed.emit(str(e))逻辑说明QThread子类重写run在里面执行耗时推理完成后emit信号。主线程连接finished信号到更新界面的槽函数连接failed到错误提示。参数说明pyqtSignal(object, float)中 object 用于传 numpy 数组float 传耗时。切换模型时先self.worker.wait()等待旧线程结束再del self.model并调用torch.cuda.empty_cache()如果用了 GPU否则显存不会立即释放。4. 避坑与排查8 个模型跑起来才会遇到的 5 个问题4.1 现象切换模型后推理结果全是黑色原因新模型权重没加载成功load_state_dict时 key 不匹配但被strictFalse静默忽略或者权重文件路径写错导致加载了随机权重。解决加载权重时打印missing_keys和unexpected_keys确认没有大量缺失检查weights/目录下文件名是否与下拉框选项完全一致注意大小写。4.2 现象界面点击按钮后卡死十几秒原因推理在主线程执行PyQt 事件循环被阻塞窗口无法重绘。解决按 3.3 节用 QThread 把推理放到子线程主线程只负责界面更新。如果不想引入线程至少在耗时操作前调用QApplication.processEvents()但这只是权宜之计长时间任务仍会卡顿。4.3 现象分割结果颜色和预期类别对不上原因调色板PALETTE的索引顺序与训练时类别 ID 映射不一致或者模型输出通道数大于调色板行数导致越界。解决确认训练时类别 ID 到名称的映射表按同样顺序排列调色板在predict里加断言assert mask.max() len(PALETTE)越界时直接报错而不是显示错误颜色。4.4 现象ResNet50 模型加载时报显存不足原因ResNet50 参数量大如果同时保留了之前 MobileNet 的模型实例显存叠加导致 OOM。解决切换模型前先del旧模型并调用torch.cuda.empty_cache()如果显存仍然不够把输入尺寸从 512 降到 320或者改用 CPU 推理并接受更慢的速度。4.5 现象打包成 exe 后找不到权重文件原因PyInstaller 打包后工作目录变了相对路径weights/xxx.pth指向临时解压目录。解决用sys._MEIPASS获取打包后的资源根目录权重文件通过--add-data参数打包进去代码里用os.path.join(sys._MEIPASS, weights, name)拼接路径。开发阶段和打包阶段用同一套路径解析函数避免两套逻辑。5. 进阶技巧用 ONNX 导出把推理速度再压一截PyTorch 模型在 CPU 上推理有框架开销导出成 ONNX 后用 onnxruntime 跑MobileNet 类模型通常能再快 20% 到 40%。导出时注意动态轴设置否则换输入尺寸会报错。# export_onnx.py import torch from model_factory import build_model model build_model(mobilenet_v2, num_classes21, ckpt_pathweights/mobilenet_v2.pth) dummy torch.randn(1, 3, 512, 512) torch.onnx.export( model, dummy, mobilenet_v2.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch, 2: height, 3: width}, output: {0: batch, 2: height, 3: width}}, opset_version11 )逻辑说明dynamic_axes把 batch 和空间维度设为动态这样同一个 onnx 文件可以处理不同尺寸输入。opset_version11兼容性较好如果用到较新的算子可以升到 12 或 13。导出后用onnxruntime.InferenceSession加载输入输出名与导出时一致。参数说明dummy的尺寸只影响导出时的图结构不影响动态轴的实际推理尺寸如果导出后精度下降明显检查是否有算子不被支持而回退到了 CPU 实现。验证 ONNX 和 PyTorch 输出是否一致用同一张图分别推理比较 argmax 后的掩码差异像素占比低于 0.1% 可以认为无损。import numpy as np import onnxruntime as ort sess ort.InferenceSession(mobilenet_v2.onnx) # 假设 tensor 是预处理后的 numpy 数组形状 1x3x512x512 onnx_out sess.run([output], {input: tensor.numpy()})[0] torch_out model(torch.from_numpy(tensor.numpy()))[out].detach().numpy() diff (onnx_out.argmax(1) ! torch_out.argmax(1)).mean() print(f掩码差异像素占比: {diff:.4%})我一般会在导出后跑这个对比脚本差异超过 1% 就回去查算子兼容性而不是直接替换推理后端。踩过一次坑某版本 opset 下 interpolate 算子行为不一致导致上采样结果偏移半个像素掩码边缘全错。后来固定 opset 版本并加了这个对比步骤再没翻车过。希望帮到你。本文还有配套的精品资源点击获取 Python+PyQt图像语义分割工具：8个模型集成与界面开发实战
简介这是一套基于Python与PyQt构建的图像语义分割桌面软件源码面向计算机、人工智能、通信、自动化等专业的在校学生与开发者可用于毕业设计、课程设计、作业或项目初期立项演示也适合具备一定基础的小白进阶学习。资源包共153个文件约8.74MB以37个py源码文件为核心辅以85个svg界面图标、7个yaml配置、3个md说明文档及qss样式、ui界面、qrc资源等结构完整、便于二次开发。软件支持mobilenet、resnet50等8种模型覆盖从界面交互到模型推理的完整流程。目前已有248人学习下载。代码均经测试运行成功答辩评审平均分达96分下载后可按README说明快速上手并在此基础上修改扩展功能适合作为语义分割方向的实践参考与学习模板。1. 从一张截图到可运行软件PythonPyQt 图像语义分割工具到底解决什么问题你手里有一张街景照片想把里面的人、车、路面、天空逐像素分开最直接的办法是跑一个语义分割模型。但模型跑完输出的是张灰度掩码图每个像素值对应一个类别 ID直接看根本分不清谁是谁。这时候就需要一个 GUI 工具把原图和彩色掩码并排显示最好还能切换模型、调参数、导出结果。基于 Python PyQt 的图像语义分割软件就是干这个的它把 MobileNet、ResNet50 等 8 个骨干网络封装成统一接口用 PyQt 搭出桌面界面让不写代码的人也能完成分割推理。适合做课程设计、算法验证、标注辅助的从业者也适合想学 PyQt 工程化落地的 Python 开发者。热词里 python gui、pyqt、mobilenet、resnet50 都指向同一个需求把模型装进界面而不是停在 notebook 里。2. 八个模型怎么选MobileNet 与 ResNet50 的取舍逻辑2.1 骨干网络差异与推理速度实测对比语义分割模型通常由骨干网络backbone和分割头head组成。骨干负责提取特征分割头负责上采样还原分辨率。MobileNet 系列用深度可分离卷积替代标准卷积参数量和计算量大幅下降ResNet50 用残差连接解决深层网络退化问题特征表达能力更强但计算量大约是 MobileNetV2 的 4 到 5 倍。在 512×512 输入下用同一台无独立显卡的笔记本 CPU 推理MobileNetV2 单帧约 0.3 到 0.5 秒ResNet50 约 1.5 到 2.5 秒。如果做实时预览或低配设备部署优先选 MobileNet如果追求精度且能接受等待选 ResNet50。8 个模型里通常包含 MobileNetV2、MobileNetV3、ResNet50、ResNet101 及其变体选型时先看你的硬件和延迟容忍度再看数据集复杂度。2.2 用统一接口封装 8 个模型的代码骨架不管选哪个骨干对外都暴露同样的predict(image) - mask接口。下面是一个模型工厂的骨架用字典注册 8 个模型避免在 GUI 里写一堆 if-else。# model_factory.py import torch import torchvision.models.segmentation as seg_models # 注册表模型名 - 构造函数 MODEL_REGISTRY { mobilenet_v2: lambda num_classes: seg_models.deeplabv3_mobilenet_v3_large( weightsNone, num_classesnum_classes ), resnet50: lambda num_classes: seg_models.deeplabv3_resnet50( weightsNone, num_classesnum_classes ), # 其余 6 个模型按同样方式注册保持键名与 GUI 下拉框一致 } def build_model(name: str, num_classes: int, ckpt_path: str None): if name not in MODEL_REGISTRY: raise ValueError(f未知模型: {name}) model MODEL_REGISTRY[name](num_classes) if ckpt_path: state torch.load(ckpt_path, map_locationcpu) model.load_state_dict(state) model.eval() return model逻辑说明MODEL_REGISTRY把模型名映射到构造函数GUI 下拉框的选项直接从这个字典的键生成新增模型只需加一行。build_model负责实例化并加载权重eval()关闭 dropout 和 batchnorm 的训练行为。参数说明num_classes必须和训练时一致否则最后一层卷积维度对不上ckpt_path为 None 时使用随机权重仅用于界面联调正式推理必须传入训练好的权重。常见做法是把权重文件放在weights/目录下文件名与模型名对应加载时自动匹配。2.3 预处理与后处理的参数对齐模型推理前要把 PIL 图像转成 tensor 并归一化推理后要把输出 logits 转成类别掩码再映射成颜色。这两步的参数必须和训练时完全一致否则精度会莫名其妙下降。# inference.py import numpy as np import torch from torchvision import transforms # 与训练一致的归一化参数 preprocess transforms.Compose([ transforms.Resize((512, 512)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) # 21 类 VOC 调色板按类别 ID 索引 PALETTE np.array([ [0, 0, 0], [128, 0, 0], [0, 128, 0], [128, 128, 0], [0, 0, 128], [128, 0, 128], [0, 128, 128], [128, 128, 128], [64, 0, 0], [192, 0, 0], [64, 128, 0], [192, 128, 0], [64, 0, 128], [192, 0, 128], [64, 128, 128], [192, 128, 128], [0, 64, 0], [128, 64, 0], [0, 192, 0], [128, 192, 0], [0, 64, 128] ], dtypenp.uint8) def predict(model, image): tensor preprocess(image).unsqueeze(0) # 增加 batch 维度 with torch.no_grad(): output model(tensor)[out] # DeepLabV3 输出是字典 mask output.argmax(dim1).squeeze(0).cpu().numpy() color_mask PALETTE[mask] # 类别 ID 映射为 RGB return mask, color_mask逻辑说明preprocess中的 Resize 尺寸、Normalize 均值方差必须与训练脚本一致这是最常见的精度翻车点。output[out]是因为 torchvision 的 DeepLabV3 返回 OrderedDict如果换成分割头不同的模型这里要相应调整。argmax(dim1)在类别维度取最大值得到每个像素的类别 ID。参数说明PALETTE的行数必须大于等于num_classes否则索引越界如果自定义数据集类别数不是 21需要同步修改调色板。推理时用torch.no_grad()关闭梯度能省约 30% 显存并提速。3. PyQt 界面搭建从下拉框到图像显示的完整链路3.1 主窗口布局与信号槽连接PyQt 的核心是信号槽机制用户操作控件触发信号槽函数响应。主窗口用 QVBoxLayout 纵向排列顶部放模型选择下拉框和推理按钮中间用 QLabel 显示原图和分割结果底部放状态栏显示推理耗时。# main_window.py from PyQt5.QtWidgets import (QMainWindow, QWidget, QVBoxLayout, QHBoxLayout, QComboBox, QPushButton, QLabel, QFileDialog, QStatusBar) from PyQt5.QtGui import QPixmap, QImage from PyQt5.QtCore import Qt import time class MainWindow(QMainWindow): def __init__(self, model_names): super().__init__() self.setWindowTitle(图像语义分割工具) self.resize(1000, 600) self.model None central QWidget() self.setCentralWidget(central) layout QVBoxLayout(central) # 顶部控制栏 top_bar QHBoxLayout() self.model_combo QComboBox() self.model_combo.addItems(model_names) # 从模型注册表键名填充 self.btn_load QPushButton(加载图片) self.btn_run QPushButton(开始分割) top_bar.addWidget(self.model_combo) top_bar.addWidget(self.btn_load) top_bar.addWidget(self.btn_run) layout.addLayout(top_bar) # 图像显示区 img_layout QHBoxLayout() self.label_origin QLabel(原图) self.label_result QLabel(分割结果) for lb in (self.label_origin, self.label_result): lb.setAlignment(Qt.AlignCenter) lb.setMinimumSize(400, 400) lb.setStyleSheet(border: 1px solid #ccc;) img_layout.addWidget(self.label_origin) img_layout.addWidget(self.label_result) layout.addLayout(img_layout) self.setStatusBar(QStatusBar()) self.btn_load.clicked.connect(self.on_load) self.btn_run.clicked.connect(self.on_run) self.current_image None def on_load(self): path, _ QFileDialog.getOpenFileName(self, 选择图片, , Images (*.png *.jpg *.jpeg)) if path: self.current_image path pixmap QPixmap(path).scaled(400, 400, Qt.KeepAspectRatio) self.label_origin.setPixmap(pixmap) def on_run(self): if not self.current_image: self.statusBar().showMessage(请先加载图片) return # 实际推理逻辑在下一节接入 self.statusBar().showMessage(f当前模型: {self.model_combo.currentText()})逻辑说明QComboBox.addItems直接接收模型名列表保证界面选项与后端注册表同步。on_load用QFileDialog选图并缩放显示Qt.KeepAspectRatio防止图片变形。on_run先做空值检查再触发推理避免用户没选图就点按钮导致崩溃。参数说明setMinimumSize(400, 400)保证图像区域不会因窗口缩小而消失scaled的宽高是显示尺寸不影响实际推理用的原图分辨率。3.2 把推理结果渲染到 QLabel 的完整代码推理返回的是 numpy 数组要转成 QImage 再转 QPixmap 才能显示。这一步的坑在于 numpy 数组的内存布局和 QImage 的通道顺序。# 在 MainWindow 中补充 import numpy as np from PyQt5.QtGui import QImage, QPixmap def numpy_to_qpixmap(self, arr: np.ndarray) - QPixmap: arr: HxWx3 uint8 RGB h, w, ch arr.shape # QImage 需要连续内存且通道顺序为 RGB bytes_per_line ch * w qimg QImage(arr.data, w, h, bytes_per_line, QImage.Format_RGB888) return QPixmap.fromImage(qimg.copy()) # copy 防止底层内存被回收 def on_run(self): if not self.current_image: self.statusBar().showMessage(请先加载图片) return from PIL import Image from model_factory import build_model from inference import predict model_name self.model_combo.currentText() self.statusBar().showMessage(f正在加载 {model_name} ...) self.model build_model(model_name, num_classes21, ckpt_pathfweights/{model_name}.pth) image Image.open(self.current_image).convert(RGB) t0 time.time() mask, color_mask predict(self.model, image) cost time.time() - t0 pixmap self.numpy_to_qpixmap(color_mask) self.label_result.setPixmap(pixmap.scaled(400, 400, Qt.KeepAspectRatio)) self.statusBar().showMessage(f{model_name} 推理完成耗时 {cost:.2f}s)逻辑说明numpy_to_qpixmap中QImage直接引用 numpy 数组的内存如果不copy()数组被垃圾回收后 QPixmap 会显示花屏或崩溃这是 PyQt 图像显示的血泪经验。on_run里先加载模型再推理耗时统计包含模型加载时间如果只想统计推理时间把t0移到predict之前。参数说明Format_RGB888对应三通道 RGB如果输入是 RGBA 要改成Format_RGBA8888bytes_per_line必须显式传入否则宽不是 4 的倍数时图像会错位。3.3 模型切换时的资源释放与线程安全在 GUI 里直接跑推理会阻塞主线程界面卡死。正确做法是把推理放到 QThread 里通过信号把结果传回主线程更新界面。同时切换模型时要释放旧模型避免内存越用越多。# worker.py from PyQt5.QtCore import QThread, pyqtSignal from PIL import Image from inference import predict class InferenceWorker(QThread): finished pyqtSignal(object, float) # color_mask, cost failed pyqtSignal(str) def __init__(self, model, image_path): super().__init__() self.model model self.image_path image_path def run(self): try: image Image.open(self.image_path).convert(RGB) import time t0 time.time() _, color_mask predict(self.model, image) self.finished.emit(color_mask, time.time() - t0) except Exception as e: self.failed.emit(str(e))逻辑说明QThread子类重写run在里面执行耗时推理完成后emit信号。主线程连接finished信号到更新界面的槽函数连接failed到错误提示。参数说明pyqtSignal(object, float)中 object 用于传 numpy 数组float 传耗时。切换模型时先self.worker.wait()等待旧线程结束再del self.model并调用torch.cuda.empty_cache()如果用了 GPU否则显存不会立即释放。4. 避坑与排查8 个模型跑起来才会遇到的 5 个问题4.1 现象切换模型后推理结果全是黑色原因新模型权重没加载成功load_state_dict时 key 不匹配但被strictFalse静默忽略或者权重文件路径写错导致加载了随机权重。解决加载权重时打印missing_keys和unexpected_keys确认没有大量缺失检查weights/目录下文件名是否与下拉框选项完全一致注意大小写。4.2 现象界面点击按钮后卡死十几秒原因推理在主线程执行PyQt 事件循环被阻塞窗口无法重绘。解决按 3.3 节用 QThread 把推理放到子线程主线程只负责界面更新。如果不想引入线程至少在耗时操作前调用QApplication.processEvents()但这只是权宜之计长时间任务仍会卡顿。4.3 现象分割结果颜色和预期类别对不上原因调色板PALETTE的索引顺序与训练时类别 ID 映射不一致或者模型输出通道数大于调色板行数导致越界。解决确认训练时类别 ID 到名称的映射表按同样顺序排列调色板在predict里加断言assert mask.max() len(PALETTE)越界时直接报错而不是显示错误颜色。4.4 现象ResNet50 模型加载时报显存不足原因ResNet50 参数量大如果同时保留了之前 MobileNet 的模型实例显存叠加导致 OOM。解决切换模型前先del旧模型并调用torch.cuda.empty_cache()如果显存仍然不够把输入尺寸从 512 降到 320或者改用 CPU 推理并接受更慢的速度。4.5 现象打包成 exe 后找不到权重文件原因PyInstaller 打包后工作目录变了相对路径weights/xxx.pth指向临时解压目录。解决用sys._MEIPASS获取打包后的资源根目录权重文件通过--add-data参数打包进去代码里用os.path.join(sys._MEIPASS, weights, name)拼接路径。开发阶段和打包阶段用同一套路径解析函数避免两套逻辑。5. 进阶技巧用 ONNX 导出把推理速度再压一截PyTorch 模型在 CPU 上推理有框架开销导出成 ONNX 后用 onnxruntime 跑MobileNet 类模型通常能再快 20% 到 40%。导出时注意动态轴设置否则换输入尺寸会报错。# export_onnx.py import torch from model_factory import build_model model build_model(mobilenet_v2, num_classes21, ckpt_pathweights/mobilenet_v2.pth) dummy torch.randn(1, 3, 512, 512) torch.onnx.export( model, dummy, mobilenet_v2.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch, 2: height, 3: width}, output: {0: batch, 2: height, 3: width}}, opset_version11 )逻辑说明dynamic_axes把 batch 和空间维度设为动态这样同一个 onnx 文件可以处理不同尺寸输入。opset_version11兼容性较好如果用到较新的算子可以升到 12 或 13。导出后用onnxruntime.InferenceSession加载输入输出名与导出时一致。参数说明dummy的尺寸只影响导出时的图结构不影响动态轴的实际推理尺寸如果导出后精度下降明显检查是否有算子不被支持而回退到了 CPU 实现。验证 ONNX 和 PyTorch 输出是否一致用同一张图分别推理比较 argmax 后的掩码差异像素占比低于 0.1% 可以认为无损。import numpy as np import onnxruntime as ort sess ort.InferenceSession(mobilenet_v2.onnx) # 假设 tensor 是预处理后的 numpy 数组形状 1x3x512x512 onnx_out sess.run([output], {input: tensor.numpy()})[0] torch_out model(torch.from_numpy(tensor.numpy()))[out].detach().numpy() diff (onnx_out.argmax(1) ! torch_out.argmax(1)).mean() print(f掩码差异像素占比: {diff:.4%})我一般会在导出后跑这个对比脚本差异超过 1% 就回去查算子兼容性而不是直接替换推理后端。踩过一次坑某版本 opset 下 interpolate 算子行为不一致导致上采样结果偏移半个像素掩码边缘全错。后来固定 opset 版本并加了这个对比步骤再没翻车过。希望帮到你。本文还有配套的精品资源点击获取