尧图网页设计 
简介面向岩石裂缝定量分析与CT岩心图像分割需求提供一套基于Python的完整语义分割项目源码与配套数据集适合毕业设计、期末大作业及课程设计场景使用也可作为相关研究方向的入门参考。项目包含图像预处理、数据增强、模型训练与结果预测等关键环节代码结构清晰且逐段添加注释降低再实现门槛部署简单无需复杂环境配置并可根据实际数据调整参数进行二次开发。资源共11个文件以3个Python脚本为核心涵盖数据增强与均值统计等实用功能另附6张岩石、混凝土和CT岩心等不同对象的JPG样例图、1份Markdown说明文档及代码库辅助配置文件压缩包仅1.13MB轻量紧凑便于快速部署与测试。目前已有226人浏览/学习说明该课题方向具备一定参考热度。借助这些源码与标注样例使用者既可对照不同场景图片检验分割效果也可在现有代码基础上扩展改进适合用于课程设计展示、毕业设计打磨及个人工程能力积累。1. 岩石裂缝与CT岩心语义分割为什么值得亲手跑一遍源码拿到这套“基于python的岩石裂缝与CT岩心语义分割源码数据集”核心解决的事就一句话输入一张岩石表面照片或CT扫描切片输出一张逐像素打上“裂缝/孔隙/岩块/背景”标签的分割掩膜。岩石裂缝分割和CT岩心裂隙分析长期依赖阈值分割或边缘检测一遇到光照不均、矿物纹理干扰、细裂纹断裂传统方法就花式翻车语义分割算法能把局部纹理和全局上下文一起学鲁棒性明显高一个台阶。适合三类人做岩土、储层CT分析的硕博生矿山边坡和隧道掌子面的视觉监测工程师以及想拿一个带标注的垂直领域数据集把U-Net、FCN、DeepLabV3这套路线完整跑通的新手。有源码和数据集在手数据整理、训练、验证、定量分析的闭环才算真正立起来。下面我就从数据组织讲到参数调优再到底层细节一次性拆开。2. 先把数据理顺裂缝照片与CT切片标注的差异和目录规范2.1 表面照片与CT切片在标注上的本质差异岩石表面裂缝照片和CT岩心切片看起来都是“灰度图裂缝线”但标注逻辑完全是两回事。表面照片是三维表面在二维平面的投影光照会制造阴影裂缝边缘没有严格物理边界标注更多依赖人的判读裂缝宽度、延伸方向的主观性很大。CT切片是体数据按层厚重建出来的二维断面裂缝在密度上的差异相对稳定灰度和空间分辨率由扫描参数决定典型噪声是环形伪影而不是光照阴影。这直接决定了标注规范和后续训练策略。处理CT数据我一般会特别关注体素间距和各向异性切片厚度和面内分辨率不一致时同一个裂缝在横向和纵向的像素占比差异很大。处理表面照片就要留意阴影区和矿物反光因为靠单张照片无法区分“光照射出的边界”和“真实裂纹边界”这跟遥感图像语义分割里“阴影当水体、玻璃当道路”是同一类问题只是对象换成了岩芯。数据集里如果两类数据都有最好的做法是分别建标注任务不要混在一个目录里无差别训练。表面照片建议用Labelme或LabelImg这类多边形标注工具去做CT切片由于是逐层重复结构更推荐在3D Slicer的Segment Editor里标注后导出或者直接在2D层面按固定间隔切片标注。标注语义上至少保留三个类别背景、岩石基质、裂缝孔隙如果有独立研究价值单独加第四类。还有一个常被忽略的问题是标注一致性。裂缝细、断点多不同人画出来的掩膜差距可以很大。我会在标注前定两条硬规则裂缝宽度低于3个像素的一律不标长度小于整张图5%的孤立短线不进入掩膜。这么做不是为了抹掉细节而是要让训练目标保持稳定否则模型对噪声过敏验证集上指标忽高忽低。2.2 目录结构与掩膜格式一个能直接进训练代码的规范拿到源码包之后先别急着装环境第一步是把数据集整理成代码默认认识的目录结构。最常见的做法是分成 images 和 masks 两个总目录再按场景分子目录。对应到表面裂缝与CT岩心两类数据我建议data/ ├── crack_surface/ │ ├── images/ │ │ ├── outcrop_001.jpg │ │ └── ... │ └── masks/ │ ├── outcrop_001.png │ └── ... └── ct_core/ ├── images/ │ ├── core_scan_0001.png │ └── ... └── masks/ ├── core_scan_0001.png └── ...文件名必须严格一一对应而且掩膜统一用PNG不要用JPG。JPG的压缩算法会在裂缝边缘引入块效应和伪影模型会把这些当成真实纹理去学。下面这张表是我常用的掩膜格式约定文件通道模式像素含义说明imagesRGB或灰度像素值反映图像亮度CT切片通常单通道灰度表面照片为RGBmasksP模式索引图像素值即类别索引0背景、1基质、2裂缝辅助文件JSON/CSV记录原始分辨率、CT窗位窗宽保证可复现这里有个容易踩坑的点标注工具导出的掩膜大多是RGB三通道彩色图每个像素的颜色代表一个类别直接喂给PyTorch的CrossEntropyLoss会变成三通道“监督”训练根本不收敛。真正的做法是先转成单通道索引图。下面这段转换脚本基于PIL调色板最稳妥from PIL import Image import numpy as np # 定义调色板index - RGB顺序必须与标注工具导出颜色一致 palette { 0: (0, 0, 0), # 背景 1: (128, 128, 128), # 岩石基质 2: (255, 0, 0), # 裂缝 } def rgb_mask_to_index(rgb_png: str, out_png: str) - None: img Image.open(rgb_png).convert(RGB) arr np.array(img) h, w, _ arr.shape idx np.zeros((h, w), dtypenp.uint8) for cls, rgb in palette.items(): mask (arr[:, :, 0] rgb[0]) (arr[:, :, 1] rgb[1]) (arr[:, :, 2] rgb[2]) idx[mask] cls Image.fromarray(idx, modeP).save(out_png, optimizeFalse) import glob for p in glob.glob(data/crack_surface/masks/*.png): rgb_mask_to_index(p, p.replace(.png, _idx.png))这段代码把纯色RGB掩膜逐类别比对生成单通道P模式的索引图。PIL的P模式每像素一个字节后续用np.array读出来就是0/1/2索引传给损失函数前不需要再做任何映射。调色板顺序必须与标注工具导出的颜色严格对应否则类别错位后整个模型都在学错误映射。如果不确定颜色值先统计几个样本的像素颜色分布再反向构建调色板。2.3 切块、归一化与数据增强的默认参数岩石裂缝和CT切片原图通常都很大CT单张可能是1024×1024表面照片甚至上千像素直接整图进网络既显存不够裂缝细线在降采样后也直接丢了。通用做法是先切块再训练。我一般用512×512窗口步长设为窗口的0.5或0.75让块与块之间重叠避免裂缝恰好在切割线上被切成两半也顺手做了在线数据扩充。预处理有两个关键参数。第一个是灰度归一化表面照片用常规的mean/std归一化即可但CT图像要先做窗宽窗位处理直接把原始HU值线性拉伸到0-255会丢失岩石内部的密度层次。第二个是数据增强裂缝数据天然缺正样本因为裂缝只占整图1%到5%像素我常用的组合是随机水平翻转、垂直翻转、90度整数倍旋转、随机亮度对比度扰动、小幅尺度抖动。弹性形变慎用它会扭曲裂缝的几何形态如果后续要做裂缝宽度定量分析任何空间形变增强都会污染测量结果。增强要在损失统计之前同步考虑。Online Random Erasing或CutMix这类强增强对裂缝细线结构是毁灭性的线状目标被随机擦除后模型学不到有效特征常出现训练loss下降但验证IoU纹丝不动的“假学习”。另外别忘了设置RandomSeed否则每次跑实验的数据增强路径不一致复现实验时你会以为自己改动模型起了作用其实只是随机种子变了。数据就绪后再进入模型和训练环节。3. 让分割源码跑通工程结构、最小训练命令与首次验证3.1 源码包里的模块划分与调用链一套结构清晰的语义分割源码无论PyTorch还是TensorFlow模块都应该能明显分成五块数据加载器、数据增强流水线、模型结构定义、训练引擎、评测与推理脚本。我拿到任何项目源码第一件事就是看目录里有没有这五类文件以及有没有requirements.txt或environment.yml。环境依赖用pip还是conda装不是重点重点是先建独立虚拟环境别把pythonnumpy库或torch装进系统全局版本一冲突就等着重新配环境。常见的目录结构如下semantic-segmentation/ ├── configs/ # 各场景的训练配置 ├── dataset/ # Dataset类、数据预处理、切块逻辑 ├── models/ # unet.py / deeplabv3p.py / fcn.py ├── losses/ # 混合损失函数实现 ├── tools/ │ ├── train.py # 训练入口 │ ├── predict.py # 单张/批量推理 │ └── eval.py # IoU / Dice / PA 评估 └── requirements.txt调用链从tools/train.py出发读取配置文件实例化Dataset和DataLoader定义模型和优化器进入epoch循环同时在验证集上跑指标。源码里最值得先读的是Dataset的__getitem__它决定了图像、掩膜、增强三者的同步机制。很多搬运项目跑不通问题不在模型而在Dataset里图像和掩膜尺寸不一致或增强没有同时作用于两者。检查方法很简单训练前把第一个batch的图像和掩膜各存一张png肉眼比对边缘是否对齐。3.2 最小训练命令与配置文件解读先看配置文件。以PyTorch生态为例配置信息集中在yaml文件里核心字段包括数据集路径、输入尺寸、batch size、学习率、epoch数、保存间隔和验证间隔。越是成熟的源码包越倾向于把训练参数外置到配置文件而不是硬编码在train.py里方便你针对同一数据集快速做多组对比实验。一个最小化的配置示例如下data_root: ./data train_split: ./data/splits/train.txt # 每行一张图像相对路径 val_split: ./data/splits/val.txt img_size: [512, 512] batch_size: 8 epochs: 120 optimizer: adamw lr: 0.0003 weight_decay: 0.05 model: unet backbone: resnet34 num_classes: 3 loss: dicebce val_interval: 5 save_dir: ./checkpoints解释几个关键参数。img_size是切块后的训练尺寸在显存允许范围内越大越好裂缝这类细线目标对分辨率极其敏感512×512比256×256在裂缝连通性上通常有明确提升。batch size在单卡上尽量贴近8或16低于4时BatchNorm统计不稳定而裂缝分割的样本方差又很大。lr0.0003搭配AdamW是我的默认起点在裂缝分割这种中等规模数据集上通常不会一开始就发散。如果只有一张显卡且显存小于等于11GB把batch size降到2同时用梯度累积来模拟更大的batch。训练命令一般就是cd semantic-segmentation pip install -r requirements.txt python tools/train.py --config configs/crack_ct.yaml训练过程中要盯的日志字段不只是loss还有验证集的mean IoU、Dice以及单类IoU。裂缝数据集上常见现象是总loss在下降但IoU长期贴在低位这是类别极端不平衡的征兆解法在下一章展开。保存的checkpoint通常包含模型权重和优化器状态eval.py一般要求传入best checkpoint路径。如果你想断了接着训还要看train.py是否支持--resume参数这个参数会加载checkpoint里的epoch、优化器和学习率调度器状态没有它就得从头来费时还容易过拟合。3.3 在CPU或单卡上缩量跑通全流程验证源码包刚下载回来别急着上全量数据。我给自己定了一条规矩先用8到16张图像、2个epoch、小尺寸把路径、数据加载、损失计算、梯度反传、保存checkpoint这条链路先跑通再换全量数据开长训练。这样排错半径小任何一个环节报错都只跟最小环路有关。缩量验证的操作序列如下mkdir -p /tmp/smoke/images /tmp/smoke/masks ls data/crack_surface/images | head -8 | xargs -I{} cp data/crack_surface/images/{} /tmp/smoke/images/ ls data/crack_surface/masks | head -8 | xargs -I{} cp data/crack_surface/masks/{} /tmp/smoke/masks/ python tools/train.py --config configs/smoke.yaml --epochs 2smoke.yaml里只改两处data_root指向/tmp/smokeimg_size缩到256batch size直接设2。这一步跑完没报错且能打出第一个epoch的loss说明环境、依赖、数据、代码四者都通了。接下来全量训练出现异常时你自然知道问题大概率出在数据量增大后才暴露的边界情况例如某张图像尺寸不一致、掩膜文件缺失、内存不足或CPU进程数设置过高。从我的血泪经验看缩量验证太值得做了。它能区分“环境没配好”和“代码有bug”这两类麻烦把问题暴露在几分钟内而不是在全量训练两小时后闪退重来。4. 模型选型与参数调优裂缝场景下的网络、损失与超参4.1 从FCN到U-Net、DeepLabV3裂缝场景该选谁语义分割算法路线不少但真正能落地到岩石裂缝和CT岩心的最常用的还是三条FCN、U-Net、DeepLabV3。选型逻辑要放在裂缝本身的特点上看目标细、占比低、边界模糊、连通性重要。先看对比表模型优势短板适合场景FCN结构简单是语义分割算法的baseline最容易调通上采样粗糙细裂缝易断线算法对比、快速验证数据质量U-Net跳跃连接保留浅层细节对细线召回率高少样本也能收敛大尺度上下文建模偏弱表面照片、CT切片裂缝分割首选DeepLabV3ASPP多尺度上下文强边界预测平滑显存占用高训练更慢岩石纹理复杂、裂缝尺度跨度大的数据FCN作为语义分割算法里的经典基线理论意义大于工程意义。它把全连接层换成卷积层配合转置卷积上采样让输出尺寸与输入一致结构简单但上采样比较粗糙对细裂缝的边界和断裂恢复不够好适合做评估底数。U-Net则是编码-解码结构配合跳跃连接把深层语义信息和浅层空间细节拼在一起对线状目标的召回率显著更高。岩石表面照片和CT切片有个共同特点背景纹理复杂但整体结构简单没有城市街景那么多非刚性目标因此U-Net的浅层细节保留能力很容易换来好效果。裂缝分割这条赛道上U-Net类模型始终是主流而且对小样本更加友好。如果你后续要对比backbone用segmentation_models_pytorch这类库最省事一行代码从resnet34切到efficientnet。注意骨干网络的输入通道数CT岩心切片是单通道灰度图网络第一层in_channels要改成1这个参数极容易被忽略结果要么shape mismatch报错要么静默地用三通道副本训练导致效果变差。DeepLabV3的ASPP模块用多尺度空洞卷积聚合上下文对表面照片这类背景复杂的目标区分更好但计算成本比U-Net明显高。CT切片背景相对均一多尺度收益不如表面照片明显所以不是无脑选它。遥感图像语义分割中常用的“更大backbone更高精度”经验在裂缝场景下要打个折扣因为裂缝本身很细ResNet50以下的下采样特征图分辨率太低细节早丢光了用ResNet34往往比ResNet50更合适。4.2 损失函数与评价指标类别不平衡的破解裂缝分割最核心的问题不是模型容量是类别极端不平衡。一张512×512图像里裂缝可能只有几千像素占比小于1%直接用CrossEntropy会把每个像素都往背景上推训练很快陷入预测全背景的“假收敛”。破解办法有两条路一是给损失函数加类别权重二是换用对不平衡不敏感的损失函数。我常用的组合是0.5×DiceLoss加0.5×CrossEntropyDice天然对前景占比不敏感联合CE保持逐像素梯度信号。import torch import torch.nn.functional as F class DiceBCELoss(torch.nn.Module): def __init__(self, smooth1.0, weightNone): super().__init__() self.smooth smooth self.weight weight def forward(self, logits, targets): # logits: [B, C, H, W]targets: [B, H, W]值是类别索引 ce F.cross_entropy(logits, targets, weightself.weight) probs F.softmax(logits, dim1) # 只对裂缝类计算Dice背景和基质占比太大 crack_prob probs[:, 2] crack_target (targets 2).float() inter (crack_prob * crack_target).sum() dice 1 - (2.0 * inter self.smooth) / (crack_prob.sum() crack_target.sum() self.smooth) return 0.5 * ce 0.5 * diceweight参数可以按频率反比给三个类别赋权例如背景0.2、基质1.0、裂缝5.0但要注意别把裂缝权重设太高否则模型会过度召回预测出一片假裂缝。评价指标上裂缝分割最常报告mIoU和Dice系数另外必须单列裂缝类IoU只看平均会掩盖裂缝的真实表现——背景占绝大数像素裂缝IoU只有15%时平均IoU仍可能超过80%这种“平均指标幻觉”是很多论文和实验日志里最常见的假象。我把三个指标在实际裂缝任务里的行为差异列一下指标对裂缝的敏感度说明mIoU中平均交并比被背景主导Dice较高与IoU单调相关对小目标更敏感裂缝类IoU最高单独关注裂缝必须单独报我一般以裂缝类IoU为主指标Dice为辅助mIoU只作为整体参考。训练时每个epoch记录这三个指标取验证集上裂缝IoU最高的一次作为best checkpoint。4.3 训练超参数的推荐区间与调试思路学习率、epoch、权重衰减、优化器这四样决定训练成败。裂缝数据集规模大多在几千到几万张训练epoch设在80到150之间配早停法在验证IoU多轮不涨后截断。优化器用AdamWlr在3e-4到3e-5区间按batch size伸缩batch size 16对应3e-4batch size 4要降到1e-4附近。权重衰减0.05在ResNet backbone上效果不错轻量自研骨干网络可降到0.01。学习率预热值得用。裂缝样本方差大一上来就高学习率容易让模型陷在劣势区域。常见做法是前5到10个epoch线性预热再接cosine退火。有个经验验证集上loss不高但IoU很低一般不是学习率问题而是损失函数与评价目标错位——例如只用了CE没加Dice模型把每类都预测成差不多的概率分布。最后提一句监控。除了loss曲线我还会把每轮验证的裂缝IoU、预测裂缝面积占比两个标量拉出来一起看。预测面积占比如果剧烈波动多半是某几张验证图里有强噪声或标注错误优先去查数据而不是调参。用TensorBoard记录的字段固定为total_loss、dice_loss、ce_loss、crack_iou这样每次实验日志对齐方便横向对比。5. 避坑裂缝分割里五个高频翻车现场与排查思路5.1 预测结果几乎全黑类别不平衡把模型推进“死区”现象训练loss正常下降验证集预测图上裂缝区域几乎全黑或者所有像素都被预测成背景。原因CrossEntropy作为唯一损失背景像素占比超过98%模型只要全部判为背景就能把loss压到很低梯度不再推动裂缝类别的预测。这不是模型容量问题是损失设计问题。解决换成Dice加Focal或加权CE的组合单独监控裂缝类IoU。另外做类平衡采样每次batch里确保至少有一部分含裂缝的图像Dice损失的回传信号会强很多。如果预测依然偏保守把裂缝权重再调高一点或者将Dice的分母改成“预测面积目标面积”的计算形式缓解小目标造成的梯度振荡。5.2 CT图像用错归一化窗宽窗位没做信息直接丢现象CT岩心切片上模型预测结果噪声极大肉眼看得出裂纹发育带模型却输出一团乱。原因把CT原始存储值当普通图像直接做0-255归一化。岩心CT的密度分辨力集中在特定窗口全范围线性拉伸会拉低岩石与背景的对比度网络学不到有效信号。解决预处理里加入窗宽窗位调整先对HU值做截断再映射到0-255之后再做常规归一化。这里给出一个窗口函数def hu_window(img, ww1500, wl500): # img: numpy数组HU值ww为窗宽wl为窗位 lower wl - ww / 2.0 upper wl ww / 2.0 img np.clip(img, lower, upper) img (img - lower) / (upper - lower) return (img * 255.0).astype(np.uint8)注意ww和wl不要照抄任何文章的数值。正确做法是把数据集的HU直方图画出来岩石主体峰值附近的范围就是窗位峰值的两倍宽作为窗宽。换一套扫描设备或电压这套参数就要重新标定。5.3 切块拼接处出现明显接缝推理时没有处理重叠区域现象预测大图后按网格拼接相邻patch边界有一条条亮纹裂缝跨patch处断裂错位。原因patch边缘上下文不足模型在边缘的置信度低于中心重叠区域没有融合直接硬拼。解决推理时采用带重叠的滑动窗口重叠率至少25%重叠区域用高斯加权或简单平均值融合。更稳妥的是输入patch大于输出patch例如输入512×512只取中心384×384作为有效输出边缘预测直接丢弃让模型“多看一圈再下笔”。这个方法对表面照片和CT都适用代价是推理时间增加一半左右但质量提升明显。5.4 掩膜变成全1结果RGB掩膜转索引时调色板错位现象训练初期loss很低验证时整个区域都是同一个类别或某几类完全没有。原因标注工具导出的掩膜是RGB的P模式或PNG24代码直接resize后类别索引被插值变成非整数或混合像素。不同标注工具的调色板顺序不一致也会造成类别错位。解决按2.2节的离线转换先把所有掩膜统一成P模式索引图resize时掩膜用最近邻插值而不用双线性边缘才不会被光滑。检查方法训练第一个epoch打印mask的unique值应该正好是0、1、2这三个整数多出的值多半是插值混入的坏标签。还有一个隐藏问题mask路径和image路径如果在不同子目录文件名必须完全一致多一个后缀或少一个后缀训练时要么报错要么错位。5.5 验证指标虚高裂缝仍断断续续数据划分泄漏了空间上下文现象验证集IoU非常高换新数据预测质量严重下滑裂缝连通性差。原因随机划分训练集和验证集时同一张大图的不同切块被拆到两边切块之间有重叠验证集实际上“见过”训练集同源图像的大部分像素指标虚高。解决按母图维度划分数据同一张岩石照片的所有切块要么全进训练集要么全进验证集。交叉验证用GroupKFoldgroup列就是图像文件名前缀。CT序列同理按“扫描文件ID”分组而不是按切片分组。用这个方式重新划分后裂缝IoU通常会掉5到10个点这才是真实泛化水平。以上五个坑每一条都是我在实际项目里反复遇到的现象、原因、解决路径按顺序对照即可基本覆盖了从数据处理到训练部署的绝大多数返工场景。6. 从掩膜到结论连通域过滤与裂缝宽度测量的收尾技巧训练完只是第一步。很多研究场景需要从预测掩膜里量出裂缝宽度、长度、密度直接数像素会混入大量噪声。这里给一个后处理技巧连通域过滤去噪再用骨架化求宽度分布。它既是验证分割质量的手段也直接撑起定量分析结论。这个方法特别适合CT岩心分割因为孔隙、微裂缝、噪声响应的灰度范围接近但连通域特征差别明显。import numpy as np from skimage import measure, morphology def clean_crack_mask(mask, min_area30): labeled measure.label(mask, connectivity1) props measure.regionprops(labeled) clean np.zeros_like(mask, dtypenp.uint8) for prop in props: if prop.area min_area: clean[labeled prop.label] 1 return clean def crack_width_distribution(mask, pixel_spacing_mm0.1): skel morphology.skeletonize(mask) dist morphology.distance_transform_edt(mask) width_px dist[skel] * 2.0 width_mm width_px[width_px 0] * pixel_spacing_mm return width_mm第一段代码按区域面积过滤掉零星噪声点min_area根据最小裂缝面积设置几十个像素的孤立响应可以直接舍弃保留连通裂缝的主体。第二段用骨架化提取裂缝中心线在骨架位置读取距离变换值作为半径乘2得到该点裂缝宽度再乘体素物理尺寸换算成毫米。pixel_spacing_mm必须来源于CT扫描参数或照片的空间分辨率标定别拍脑袋定如果只关心像素宽度就省略最后一步。后处理最大的收益在于能当回归测试用。每训练完一个版本在固定验证集上跑一次宽度直方图跟人工标注的宽度统计对比差值能直接告诉你模型边界是偏膨胀还是偏收缩比看IoU更能定位系统性偏差。我自己的习惯是每次换数据源都先跑一遍宽度分布直方图存档一旦新数据导致直方图形状明显变化就回头排查训练环节而不是傻等重新标注。这套源码和数据集的价值正在于把“裂缝分割”从论文里的指标变成一个能产出定量结论的工程闭环。希望帮到你。本文还有配套的精品资源点击获取 岩石裂缝与CT岩心语义分割：从源码到定量分析的完整工程实践
简介面向岩石裂缝定量分析与CT岩心图像分割需求提供一套基于Python的完整语义分割项目源码与配套数据集适合毕业设计、期末大作业及课程设计场景使用也可作为相关研究方向的入门参考。项目包含图像预处理、数据增强、模型训练与结果预测等关键环节代码结构清晰且逐段添加注释降低再实现门槛部署简单无需复杂环境配置并可根据实际数据调整参数进行二次开发。资源共11个文件以3个Python脚本为核心涵盖数据增强与均值统计等实用功能另附6张岩石、混凝土和CT岩心等不同对象的JPG样例图、1份Markdown说明文档及代码库辅助配置文件压缩包仅1.13MB轻量紧凑便于快速部署与测试。目前已有226人浏览/学习说明该课题方向具备一定参考热度。借助这些源码与标注样例使用者既可对照不同场景图片检验分割效果也可在现有代码基础上扩展改进适合用于课程设计展示、毕业设计打磨及个人工程能力积累。1. 岩石裂缝与CT岩心语义分割为什么值得亲手跑一遍源码拿到这套“基于python的岩石裂缝与CT岩心语义分割源码数据集”核心解决的事就一句话输入一张岩石表面照片或CT扫描切片输出一张逐像素打上“裂缝/孔隙/岩块/背景”标签的分割掩膜。岩石裂缝分割和CT岩心裂隙分析长期依赖阈值分割或边缘检测一遇到光照不均、矿物纹理干扰、细裂纹断裂传统方法就花式翻车语义分割算法能把局部纹理和全局上下文一起学鲁棒性明显高一个台阶。适合三类人做岩土、储层CT分析的硕博生矿山边坡和隧道掌子面的视觉监测工程师以及想拿一个带标注的垂直领域数据集把U-Net、FCN、DeepLabV3这套路线完整跑通的新手。有源码和数据集在手数据整理、训练、验证、定量分析的闭环才算真正立起来。下面我就从数据组织讲到参数调优再到底层细节一次性拆开。2. 先把数据理顺裂缝照片与CT切片标注的差异和目录规范2.1 表面照片与CT切片在标注上的本质差异岩石表面裂缝照片和CT岩心切片看起来都是“灰度图裂缝线”但标注逻辑完全是两回事。表面照片是三维表面在二维平面的投影光照会制造阴影裂缝边缘没有严格物理边界标注更多依赖人的判读裂缝宽度、延伸方向的主观性很大。CT切片是体数据按层厚重建出来的二维断面裂缝在密度上的差异相对稳定灰度和空间分辨率由扫描参数决定典型噪声是环形伪影而不是光照阴影。这直接决定了标注规范和后续训练策略。处理CT数据我一般会特别关注体素间距和各向异性切片厚度和面内分辨率不一致时同一个裂缝在横向和纵向的像素占比差异很大。处理表面照片就要留意阴影区和矿物反光因为靠单张照片无法区分“光照射出的边界”和“真实裂纹边界”这跟遥感图像语义分割里“阴影当水体、玻璃当道路”是同一类问题只是对象换成了岩芯。数据集里如果两类数据都有最好的做法是分别建标注任务不要混在一个目录里无差别训练。表面照片建议用Labelme或LabelImg这类多边形标注工具去做CT切片由于是逐层重复结构更推荐在3D Slicer的Segment Editor里标注后导出或者直接在2D层面按固定间隔切片标注。标注语义上至少保留三个类别背景、岩石基质、裂缝孔隙如果有独立研究价值单独加第四类。还有一个常被忽略的问题是标注一致性。裂缝细、断点多不同人画出来的掩膜差距可以很大。我会在标注前定两条硬规则裂缝宽度低于3个像素的一律不标长度小于整张图5%的孤立短线不进入掩膜。这么做不是为了抹掉细节而是要让训练目标保持稳定否则模型对噪声过敏验证集上指标忽高忽低。2.2 目录结构与掩膜格式一个能直接进训练代码的规范拿到源码包之后先别急着装环境第一步是把数据集整理成代码默认认识的目录结构。最常见的做法是分成 images 和 masks 两个总目录再按场景分子目录。对应到表面裂缝与CT岩心两类数据我建议data/ ├── crack_surface/ │ ├── images/ │ │ ├── outcrop_001.jpg │ │ └── ... │ └── masks/ │ ├── outcrop_001.png │ └── ... └── ct_core/ ├── images/ │ ├── core_scan_0001.png │ └── ... └── masks/ ├── core_scan_0001.png └── ...文件名必须严格一一对应而且掩膜统一用PNG不要用JPG。JPG的压缩算法会在裂缝边缘引入块效应和伪影模型会把这些当成真实纹理去学。下面这张表是我常用的掩膜格式约定文件通道模式像素含义说明imagesRGB或灰度像素值反映图像亮度CT切片通常单通道灰度表面照片为RGBmasksP模式索引图像素值即类别索引0背景、1基质、2裂缝辅助文件JSON/CSV记录原始分辨率、CT窗位窗宽保证可复现这里有个容易踩坑的点标注工具导出的掩膜大多是RGB三通道彩色图每个像素的颜色代表一个类别直接喂给PyTorch的CrossEntropyLoss会变成三通道“监督”训练根本不收敛。真正的做法是先转成单通道索引图。下面这段转换脚本基于PIL调色板最稳妥from PIL import Image import numpy as np # 定义调色板index - RGB顺序必须与标注工具导出颜色一致 palette { 0: (0, 0, 0), # 背景 1: (128, 128, 128), # 岩石基质 2: (255, 0, 0), # 裂缝 } def rgb_mask_to_index(rgb_png: str, out_png: str) - None: img Image.open(rgb_png).convert(RGB) arr np.array(img) h, w, _ arr.shape idx np.zeros((h, w), dtypenp.uint8) for cls, rgb in palette.items(): mask (arr[:, :, 0] rgb[0]) (arr[:, :, 1] rgb[1]) (arr[:, :, 2] rgb[2]) idx[mask] cls Image.fromarray(idx, modeP).save(out_png, optimizeFalse) import glob for p in glob.glob(data/crack_surface/masks/*.png): rgb_mask_to_index(p, p.replace(.png, _idx.png))这段代码把纯色RGB掩膜逐类别比对生成单通道P模式的索引图。PIL的P模式每像素一个字节后续用np.array读出来就是0/1/2索引传给损失函数前不需要再做任何映射。调色板顺序必须与标注工具导出的颜色严格对应否则类别错位后整个模型都在学错误映射。如果不确定颜色值先统计几个样本的像素颜色分布再反向构建调色板。2.3 切块、归一化与数据增强的默认参数岩石裂缝和CT切片原图通常都很大CT单张可能是1024×1024表面照片甚至上千像素直接整图进网络既显存不够裂缝细线在降采样后也直接丢了。通用做法是先切块再训练。我一般用512×512窗口步长设为窗口的0.5或0.75让块与块之间重叠避免裂缝恰好在切割线上被切成两半也顺手做了在线数据扩充。预处理有两个关键参数。第一个是灰度归一化表面照片用常规的mean/std归一化即可但CT图像要先做窗宽窗位处理直接把原始HU值线性拉伸到0-255会丢失岩石内部的密度层次。第二个是数据增强裂缝数据天然缺正样本因为裂缝只占整图1%到5%像素我常用的组合是随机水平翻转、垂直翻转、90度整数倍旋转、随机亮度对比度扰动、小幅尺度抖动。弹性形变慎用它会扭曲裂缝的几何形态如果后续要做裂缝宽度定量分析任何空间形变增强都会污染测量结果。增强要在损失统计之前同步考虑。Online Random Erasing或CutMix这类强增强对裂缝细线结构是毁灭性的线状目标被随机擦除后模型学不到有效特征常出现训练loss下降但验证IoU纹丝不动的“假学习”。另外别忘了设置RandomSeed否则每次跑实验的数据增强路径不一致复现实验时你会以为自己改动模型起了作用其实只是随机种子变了。数据就绪后再进入模型和训练环节。3. 让分割源码跑通工程结构、最小训练命令与首次验证3.1 源码包里的模块划分与调用链一套结构清晰的语义分割源码无论PyTorch还是TensorFlow模块都应该能明显分成五块数据加载器、数据增强流水线、模型结构定义、训练引擎、评测与推理脚本。我拿到任何项目源码第一件事就是看目录里有没有这五类文件以及有没有requirements.txt或environment.yml。环境依赖用pip还是conda装不是重点重点是先建独立虚拟环境别把pythonnumpy库或torch装进系统全局版本一冲突就等着重新配环境。常见的目录结构如下semantic-segmentation/ ├── configs/ # 各场景的训练配置 ├── dataset/ # Dataset类、数据预处理、切块逻辑 ├── models/ # unet.py / deeplabv3p.py / fcn.py ├── losses/ # 混合损失函数实现 ├── tools/ │ ├── train.py # 训练入口 │ ├── predict.py # 单张/批量推理 │ └── eval.py # IoU / Dice / PA 评估 └── requirements.txt调用链从tools/train.py出发读取配置文件实例化Dataset和DataLoader定义模型和优化器进入epoch循环同时在验证集上跑指标。源码里最值得先读的是Dataset的__getitem__它决定了图像、掩膜、增强三者的同步机制。很多搬运项目跑不通问题不在模型而在Dataset里图像和掩膜尺寸不一致或增强没有同时作用于两者。检查方法很简单训练前把第一个batch的图像和掩膜各存一张png肉眼比对边缘是否对齐。3.2 最小训练命令与配置文件解读先看配置文件。以PyTorch生态为例配置信息集中在yaml文件里核心字段包括数据集路径、输入尺寸、batch size、学习率、epoch数、保存间隔和验证间隔。越是成熟的源码包越倾向于把训练参数外置到配置文件而不是硬编码在train.py里方便你针对同一数据集快速做多组对比实验。一个最小化的配置示例如下data_root: ./data train_split: ./data/splits/train.txt # 每行一张图像相对路径 val_split: ./data/splits/val.txt img_size: [512, 512] batch_size: 8 epochs: 120 optimizer: adamw lr: 0.0003 weight_decay: 0.05 model: unet backbone: resnet34 num_classes: 3 loss: dicebce val_interval: 5 save_dir: ./checkpoints解释几个关键参数。img_size是切块后的训练尺寸在显存允许范围内越大越好裂缝这类细线目标对分辨率极其敏感512×512比256×256在裂缝连通性上通常有明确提升。batch size在单卡上尽量贴近8或16低于4时BatchNorm统计不稳定而裂缝分割的样本方差又很大。lr0.0003搭配AdamW是我的默认起点在裂缝分割这种中等规模数据集上通常不会一开始就发散。如果只有一张显卡且显存小于等于11GB把batch size降到2同时用梯度累积来模拟更大的batch。训练命令一般就是cd semantic-segmentation pip install -r requirements.txt python tools/train.py --config configs/crack_ct.yaml训练过程中要盯的日志字段不只是loss还有验证集的mean IoU、Dice以及单类IoU。裂缝数据集上常见现象是总loss在下降但IoU长期贴在低位这是类别极端不平衡的征兆解法在下一章展开。保存的checkpoint通常包含模型权重和优化器状态eval.py一般要求传入best checkpoint路径。如果你想断了接着训还要看train.py是否支持--resume参数这个参数会加载checkpoint里的epoch、优化器和学习率调度器状态没有它就得从头来费时还容易过拟合。3.3 在CPU或单卡上缩量跑通全流程验证源码包刚下载回来别急着上全量数据。我给自己定了一条规矩先用8到16张图像、2个epoch、小尺寸把路径、数据加载、损失计算、梯度反传、保存checkpoint这条链路先跑通再换全量数据开长训练。这样排错半径小任何一个环节报错都只跟最小环路有关。缩量验证的操作序列如下mkdir -p /tmp/smoke/images /tmp/smoke/masks ls data/crack_surface/images | head -8 | xargs -I{} cp data/crack_surface/images/{} /tmp/smoke/images/ ls data/crack_surface/masks | head -8 | xargs -I{} cp data/crack_surface/masks/{} /tmp/smoke/masks/ python tools/train.py --config configs/smoke.yaml --epochs 2smoke.yaml里只改两处data_root指向/tmp/smokeimg_size缩到256batch size直接设2。这一步跑完没报错且能打出第一个epoch的loss说明环境、依赖、数据、代码四者都通了。接下来全量训练出现异常时你自然知道问题大概率出在数据量增大后才暴露的边界情况例如某张图像尺寸不一致、掩膜文件缺失、内存不足或CPU进程数设置过高。从我的血泪经验看缩量验证太值得做了。它能区分“环境没配好”和“代码有bug”这两类麻烦把问题暴露在几分钟内而不是在全量训练两小时后闪退重来。4. 模型选型与参数调优裂缝场景下的网络、损失与超参4.1 从FCN到U-Net、DeepLabV3裂缝场景该选谁语义分割算法路线不少但真正能落地到岩石裂缝和CT岩心的最常用的还是三条FCN、U-Net、DeepLabV3。选型逻辑要放在裂缝本身的特点上看目标细、占比低、边界模糊、连通性重要。先看对比表模型优势短板适合场景FCN结构简单是语义分割算法的baseline最容易调通上采样粗糙细裂缝易断线算法对比、快速验证数据质量U-Net跳跃连接保留浅层细节对细线召回率高少样本也能收敛大尺度上下文建模偏弱表面照片、CT切片裂缝分割首选DeepLabV3ASPP多尺度上下文强边界预测平滑显存占用高训练更慢岩石纹理复杂、裂缝尺度跨度大的数据FCN作为语义分割算法里的经典基线理论意义大于工程意义。它把全连接层换成卷积层配合转置卷积上采样让输出尺寸与输入一致结构简单但上采样比较粗糙对细裂缝的边界和断裂恢复不够好适合做评估底数。U-Net则是编码-解码结构配合跳跃连接把深层语义信息和浅层空间细节拼在一起对线状目标的召回率显著更高。岩石表面照片和CT切片有个共同特点背景纹理复杂但整体结构简单没有城市街景那么多非刚性目标因此U-Net的浅层细节保留能力很容易换来好效果。裂缝分割这条赛道上U-Net类模型始终是主流而且对小样本更加友好。如果你后续要对比backbone用segmentation_models_pytorch这类库最省事一行代码从resnet34切到efficientnet。注意骨干网络的输入通道数CT岩心切片是单通道灰度图网络第一层in_channels要改成1这个参数极容易被忽略结果要么shape mismatch报错要么静默地用三通道副本训练导致效果变差。DeepLabV3的ASPP模块用多尺度空洞卷积聚合上下文对表面照片这类背景复杂的目标区分更好但计算成本比U-Net明显高。CT切片背景相对均一多尺度收益不如表面照片明显所以不是无脑选它。遥感图像语义分割中常用的“更大backbone更高精度”经验在裂缝场景下要打个折扣因为裂缝本身很细ResNet50以下的下采样特征图分辨率太低细节早丢光了用ResNet34往往比ResNet50更合适。4.2 损失函数与评价指标类别不平衡的破解裂缝分割最核心的问题不是模型容量是类别极端不平衡。一张512×512图像里裂缝可能只有几千像素占比小于1%直接用CrossEntropy会把每个像素都往背景上推训练很快陷入预测全背景的“假收敛”。破解办法有两条路一是给损失函数加类别权重二是换用对不平衡不敏感的损失函数。我常用的组合是0.5×DiceLoss加0.5×CrossEntropyDice天然对前景占比不敏感联合CE保持逐像素梯度信号。import torch import torch.nn.functional as F class DiceBCELoss(torch.nn.Module): def __init__(self, smooth1.0, weightNone): super().__init__() self.smooth smooth self.weight weight def forward(self, logits, targets): # logits: [B, C, H, W]targets: [B, H, W]值是类别索引 ce F.cross_entropy(logits, targets, weightself.weight) probs F.softmax(logits, dim1) # 只对裂缝类计算Dice背景和基质占比太大 crack_prob probs[:, 2] crack_target (targets 2).float() inter (crack_prob * crack_target).sum() dice 1 - (2.0 * inter self.smooth) / (crack_prob.sum() crack_target.sum() self.smooth) return 0.5 * ce 0.5 * diceweight参数可以按频率反比给三个类别赋权例如背景0.2、基质1.0、裂缝5.0但要注意别把裂缝权重设太高否则模型会过度召回预测出一片假裂缝。评价指标上裂缝分割最常报告mIoU和Dice系数另外必须单列裂缝类IoU只看平均会掩盖裂缝的真实表现——背景占绝大数像素裂缝IoU只有15%时平均IoU仍可能超过80%这种“平均指标幻觉”是很多论文和实验日志里最常见的假象。我把三个指标在实际裂缝任务里的行为差异列一下指标对裂缝的敏感度说明mIoU中平均交并比被背景主导Dice较高与IoU单调相关对小目标更敏感裂缝类IoU最高单独关注裂缝必须单独报我一般以裂缝类IoU为主指标Dice为辅助mIoU只作为整体参考。训练时每个epoch记录这三个指标取验证集上裂缝IoU最高的一次作为best checkpoint。4.3 训练超参数的推荐区间与调试思路学习率、epoch、权重衰减、优化器这四样决定训练成败。裂缝数据集规模大多在几千到几万张训练epoch设在80到150之间配早停法在验证IoU多轮不涨后截断。优化器用AdamWlr在3e-4到3e-5区间按batch size伸缩batch size 16对应3e-4batch size 4要降到1e-4附近。权重衰减0.05在ResNet backbone上效果不错轻量自研骨干网络可降到0.01。学习率预热值得用。裂缝样本方差大一上来就高学习率容易让模型陷在劣势区域。常见做法是前5到10个epoch线性预热再接cosine退火。有个经验验证集上loss不高但IoU很低一般不是学习率问题而是损失函数与评价目标错位——例如只用了CE没加Dice模型把每类都预测成差不多的概率分布。最后提一句监控。除了loss曲线我还会把每轮验证的裂缝IoU、预测裂缝面积占比两个标量拉出来一起看。预测面积占比如果剧烈波动多半是某几张验证图里有强噪声或标注错误优先去查数据而不是调参。用TensorBoard记录的字段固定为total_loss、dice_loss、ce_loss、crack_iou这样每次实验日志对齐方便横向对比。5. 避坑裂缝分割里五个高频翻车现场与排查思路5.1 预测结果几乎全黑类别不平衡把模型推进“死区”现象训练loss正常下降验证集预测图上裂缝区域几乎全黑或者所有像素都被预测成背景。原因CrossEntropy作为唯一损失背景像素占比超过98%模型只要全部判为背景就能把loss压到很低梯度不再推动裂缝类别的预测。这不是模型容量问题是损失设计问题。解决换成Dice加Focal或加权CE的组合单独监控裂缝类IoU。另外做类平衡采样每次batch里确保至少有一部分含裂缝的图像Dice损失的回传信号会强很多。如果预测依然偏保守把裂缝权重再调高一点或者将Dice的分母改成“预测面积目标面积”的计算形式缓解小目标造成的梯度振荡。5.2 CT图像用错归一化窗宽窗位没做信息直接丢现象CT岩心切片上模型预测结果噪声极大肉眼看得出裂纹发育带模型却输出一团乱。原因把CT原始存储值当普通图像直接做0-255归一化。岩心CT的密度分辨力集中在特定窗口全范围线性拉伸会拉低岩石与背景的对比度网络学不到有效信号。解决预处理里加入窗宽窗位调整先对HU值做截断再映射到0-255之后再做常规归一化。这里给出一个窗口函数def hu_window(img, ww1500, wl500): # img: numpy数组HU值ww为窗宽wl为窗位 lower wl - ww / 2.0 upper wl ww / 2.0 img np.clip(img, lower, upper) img (img - lower) / (upper - lower) return (img * 255.0).astype(np.uint8)注意ww和wl不要照抄任何文章的数值。正确做法是把数据集的HU直方图画出来岩石主体峰值附近的范围就是窗位峰值的两倍宽作为窗宽。换一套扫描设备或电压这套参数就要重新标定。5.3 切块拼接处出现明显接缝推理时没有处理重叠区域现象预测大图后按网格拼接相邻patch边界有一条条亮纹裂缝跨patch处断裂错位。原因patch边缘上下文不足模型在边缘的置信度低于中心重叠区域没有融合直接硬拼。解决推理时采用带重叠的滑动窗口重叠率至少25%重叠区域用高斯加权或简单平均值融合。更稳妥的是输入patch大于输出patch例如输入512×512只取中心384×384作为有效输出边缘预测直接丢弃让模型“多看一圈再下笔”。这个方法对表面照片和CT都适用代价是推理时间增加一半左右但质量提升明显。5.4 掩膜变成全1结果RGB掩膜转索引时调色板错位现象训练初期loss很低验证时整个区域都是同一个类别或某几类完全没有。原因标注工具导出的掩膜是RGB的P模式或PNG24代码直接resize后类别索引被插值变成非整数或混合像素。不同标注工具的调色板顺序不一致也会造成类别错位。解决按2.2节的离线转换先把所有掩膜统一成P模式索引图resize时掩膜用最近邻插值而不用双线性边缘才不会被光滑。检查方法训练第一个epoch打印mask的unique值应该正好是0、1、2这三个整数多出的值多半是插值混入的坏标签。还有一个隐藏问题mask路径和image路径如果在不同子目录文件名必须完全一致多一个后缀或少一个后缀训练时要么报错要么错位。5.5 验证指标虚高裂缝仍断断续续数据划分泄漏了空间上下文现象验证集IoU非常高换新数据预测质量严重下滑裂缝连通性差。原因随机划分训练集和验证集时同一张大图的不同切块被拆到两边切块之间有重叠验证集实际上“见过”训练集同源图像的大部分像素指标虚高。解决按母图维度划分数据同一张岩石照片的所有切块要么全进训练集要么全进验证集。交叉验证用GroupKFoldgroup列就是图像文件名前缀。CT序列同理按“扫描文件ID”分组而不是按切片分组。用这个方式重新划分后裂缝IoU通常会掉5到10个点这才是真实泛化水平。以上五个坑每一条都是我在实际项目里反复遇到的现象、原因、解决路径按顺序对照即可基本覆盖了从数据处理到训练部署的绝大多数返工场景。6. 从掩膜到结论连通域过滤与裂缝宽度测量的收尾技巧训练完只是第一步。很多研究场景需要从预测掩膜里量出裂缝宽度、长度、密度直接数像素会混入大量噪声。这里给一个后处理技巧连通域过滤去噪再用骨架化求宽度分布。它既是验证分割质量的手段也直接撑起定量分析结论。这个方法特别适合CT岩心分割因为孔隙、微裂缝、噪声响应的灰度范围接近但连通域特征差别明显。import numpy as np from skimage import measure, morphology def clean_crack_mask(mask, min_area30): labeled measure.label(mask, connectivity1) props measure.regionprops(labeled) clean np.zeros_like(mask, dtypenp.uint8) for prop in props: if prop.area min_area: clean[labeled prop.label] 1 return clean def crack_width_distribution(mask, pixel_spacing_mm0.1): skel morphology.skeletonize(mask) dist morphology.distance_transform_edt(mask) width_px dist[skel] * 2.0 width_mm width_px[width_px 0] * pixel_spacing_mm return width_mm第一段代码按区域面积过滤掉零星噪声点min_area根据最小裂缝面积设置几十个像素的孤立响应可以直接舍弃保留连通裂缝的主体。第二段用骨架化提取裂缝中心线在骨架位置读取距离变换值作为半径乘2得到该点裂缝宽度再乘体素物理尺寸换算成毫米。pixel_spacing_mm必须来源于CT扫描参数或照片的空间分辨率标定别拍脑袋定如果只关心像素宽度就省略最后一步。后处理最大的收益在于能当回归测试用。每训练完一个版本在固定验证集上跑一次宽度直方图跟人工标注的宽度统计对比差值能直接告诉你模型边界是偏膨胀还是偏收缩比看IoU更能定位系统性偏差。我自己的习惯是每次换数据源都先跑一遍宽度分布直方图存档一旦新数据导致直方图形状明显变化就回头排查训练环节而不是傻等重新标注。这套源码和数据集的价值正在于把“裂缝分割”从论文里的指标变成一个能产出定量结论的工程闭环。希望帮到你。本文还有配套的精品资源点击获取