简介这是一份基于Python的岩石裂缝与CT岩心裂缝语义分割项目资料包适合地质工程、石油勘探、材料科学等领域的研究人员以及正在学习图像分割与深度学习的开发者使用。资料以U-Net等卷积神经网络为核心包含从数据预处理、模型训练到预测评估的完整代码流程并配套CT岩心图像与对应裂缝标注数据集可直接用于裂缝识别与定量分析实践。压缩包共10个文件包括3个Python脚本、6张示例图像与1份Markdown说明文档整体大小约1.12MB结构紧凑。脚本覆盖数据增强、图像均值计算等关键环节示例图像则提供岩石、混凝土及CT扫描的原始图与标注图对照便于理解标注格式和验证模型效果。目前已有206人学习下载适合希望快速掌握裂缝语义分割流程、开展实验复现或进一步调优的读者参考。1. 基于Python的岩石裂缝与CT岩心裂缝语义分割从数据到推理的完整工程路径一个做CT岩心扫描的团队拿到的是几百张16位DICOM或TIFF切片每张2048×2048里面有裂缝、孔隙、矿物基质和大量噪声。他们问我的第一句话通常是“有没有现成模型能直接跑” — 但裂缝分割这件事通用分割模型几乎都翻车。原因很直接裂缝在CT图像里往往只有2到5个像素宽和噪声纹理、扫描伪影的灰度分布高度重叠常规的U-Net不加修改根本学不到这种细长结构。所以这个标题背后的实际内容不是“一个脚本跑完”而是一整套工程如何把raw CT切片变成可训练的标注数据如何构造适合细长目标的网络结构如何配置训练参数让模型在样本极少的情况下不崩最后如何把分割结果换算成裂缝宽度、孔隙度这类能写进报告的数字。适合的读者是正在做岩石力学、数字岩心、无损检测图像分析的工程师和研究生也适合那些已经跑通过通用分割、想理解细长目标特殊性的算法工程师。下面按从数据到部署的顺序把这条路走一遍。2. CT岩心裂缝分割的任务拆解与数据准备2.1 为什么CT岩心切片不能直接喂给分割模型CT岩心图像和自然图像有三个本质区别决定了数据预处理的方式。第一CT值是物理量。岩石骨架、流体、裂缝在CT数Hounsfield Unit上有明确的物理含义但不同扫描参数下数值范围差异很大。很多公开数据集会直接存储为8位PNG这会丢信息 — 裂缝和微孔隙的灰度差异往往就在低阶位上。常见做法是保留16位数据在训练时做z-score归一化而不是简单地除以255。第二裂缝在图像中占比极低。一张2048×2048的切片里裂缝像素通常只占0.5%到2%。这意味着训练时的损失函数会被背景主导模型很容易收敛到“全预测为背景”的局部最优。要处理这个问题损失函数和采样策略必须调整后面专门讲。第三切片之间高度相似。同一块岩心连续切片的差异很小如果按常规方式随机划分训练集和验证集会严重过拟合 — 模型记住的是岩心结构而不是裂缝特征。正确做法是按岩心样本划分或者按扫描位置间隔划分。2.2 标注数据的组织形式语义分割标注最常见的格式是单通道PNG像素值等于类别ID。对于裂缝分割通常只有两个类别背景0和裂缝1。如果有孔隙分级需求可以扩展为三级或四级标注但每多一个类别标注成本都会显著上升。一个典型的数据集目录结构如下dataset/ ├── images/ │ ├── core_001_slice_0001.png │ ├── core_001_slice_0002.png │ └── ... ├── masks/ │ ├── core_001_slice_0001.png │ ├── core_001_slice_0002.png │ └── ... ├── train.txt # 每行一个图片路径用于训练 ├── val.txt # 每行一个图片路径用于验证 └── labels.txt # 类别名列表background\ncrack注意掩码文件必须和原图严格一一对应。实际工程中常见的问题是切片顺序错位尤其在DICOM序列转换时文件名排序不按自然顺序。我一般会在标注前先给所有切片重新编号用zfill(6)补齐位数避免“slice_10”排在“slice_2”前面的问题。2.3 数据增强针对细长裂缝的定制策略常规水平翻转、随机裁剪可以直接用但对裂缝分割有三个增强手段特别重要弹性变形。裂缝在真实岩心中是弯曲的而标注出来的裂缝往往偏直。弹性变形模拟岩石受力后的微小形变能提升模型对裂缝形态变化的鲁棒性。scipy的map_coordinates实现弹性变形配合RandomState保持图像和掩码使用同一变形场。形态学膨胀限制。随机裁剪时如果裁剪区域完全没有裂缝这个样本对训练几乎没有贡献。常用做法是计算每个训练样本的裂缝密度掩码中裂缝像素占比低于阈值的样本在采样时降权。我一般把阈值设在0.001低于这个值的裁片跳过防止模型被大量空白样本带偏。灰度扰动。CT图像的灰度受扫描参数影响随机乘性噪声和偏移模拟不同扫描条件下的差异能提升泛化。2.3.1 标注工具选择LabelMe、labelme、CVAT都是可用选项。对于大规模标注建议用CVAT做团队协作它支持半自动标注 — 先用一个初始模型做预测人工修正后回灌训练集这是标注效率最高的路径。单人小数据集用labelme就够了输出JSON再转成PNG掩码。转换脚本核心逻辑import json import numpy as np import cv2 def labelme_to_mask(json_path, img_shape): with open(json_path, r, encodingutf-8) as f: data json.load(f) mask np.zeros(img_shape[:2], dtypenp.uint8) for shape in data[shapes]: if shape[label] crack: pts np.array(shape[points], dtypenp.int32) cv2.fillPoly(mask, [pts], 1) # 裂缝类ID为1 return mask这段代码里fillPoly接收多边形顶点数组把标注的封闭多边形填充到掩码上。裂缝标注在labelme中一般用create_polygon但如果裂缝太细手工画多边形效率很低 — 更实用的方式是先用create_line画裂缝骨架线再用形态学膨胀生成宽度可调的掩码。2.3.2 训练集划分的坑CT岩心数据通常来自少数几块样本划分不当会让验证集丧失意义。推荐按样本划分假设有5块岩心每块约80张切片按块划分训练/验证而不是随机打散所有切片。如果块数太少比如2块可以采用K折交叉验证报告均值±方差。3. 语义分割模型选型从U-Net到DeepLabV3的适配3.1 裂缝分割对网络结构的特殊要求裂缝是典型的细长目标thin elongated structure对网络有两条硬性要求保留高分辨率特征裂缝只有几个像素宽连续下采样后直接消失具备多尺度感受野裂缝长度可以跨半个图像但宽度只有几个像素。U-Net的编码器-解码器结构和跳跃连接天然满足第一条。它把浅层的高分辨率特征直接拼接到解码器空间细节保留得很好因此成为裂缝分割领域最常见的基础架构。DeepLabV3的优势在第二条它的空洞空间金字塔池化ASPP用多个膨胀率并行捕捉不同尺度上下文对“局部极细、整体连续”的裂缝结构更友好。3.2 基于PyTorch的U-Net最小实现以下是一个适合裂缝分割的轻量U-Net实现通道数控制在32起步防止小数据集过拟合import torch import torch.nn as nn import torch.nn.functional as F class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) ) def forward(self, x): return self.conv(x) class UNet(nn.Module): def __init__(self, in_channels1, num_classes2, base_c32): super().__init__() self.inc DoubleConv(in_channels, base_c) self.down1 nn.Sequential(nn.MaxPool2d(2), DoubleConv(base_c, base_c*2)) self.down2 nn.Sequential(nn.MaxPool2d(2), DoubleConv(base_c*2, base_c*4)) self.down3 nn.Sequential(nn.MaxPool2d(2), DoubleConv(base_c*4, base_c*8)) self.up1 nn.ConvTranspose2d(base_c*8, base_c*4, 2, stride2) self.conv1 DoubleConv(base_c*8, base_c*4) self.up2 nn.ConvTranspose2d(base_c*4, base_c*2, 2, stride2) self.conv2 DoubleConv(base_c*4, base_c*2) self.up3 nn.ConvTranspose2d(base_c*2, base_c, 2, stride2) self.conv3 DoubleConv(base_c*2, base_c) self.outc nn.Conv2d(base_c, num_classes, 1) def forward(self, x): x1 self.inc(x) x2 self.down1(x1) x3 self.down2(x2) x4 self.down3(x3) x self.up1(x4) x self.conv1(torch.cat([x, x3], dim1)) x self.up2(x) x self.conv2(torch.cat([x, x2], dim1)) x self.up3(x) x self.conv3(torch.cat([x, x1], dim1)) return self.outc(x)base_c是基础通道数控制模型容量。对CT岩心这种小数据集32已经足够 — 加到64或128虽然能提升拟合能力但需要更多标注数据支撑否则验证集指标会停滞。每个下采样块包含MaxPool2d和DoubleConv下采样后通道翻倍这是U-Net的标准设计目的是在降低空间分辨率的同时保留足够的信息量。输入是单通道灰度图in_channels1。如果CT切片是三通道伪彩色可以改成3但实际效果通常不会更好徒增参数量。3.3 损失函数选择边界感知与类别不均衡裂缝分割最大的训练难题是正负样本极端不均衡。交叉熵损失在这类任务上表现差模型只需要把所有像素预测为背景就能获得极低的损失值。常用替代方案是Dice Loss及其变体。Dice Loss直接优化Dice系数对前景占比不敏感是裂缝分割实践中的首选def dice_loss(pred, target, smooth1.0): pred torch.softmax(pred, dim1)[:, 1] # 取裂缝类概率 target target.float() intersection (pred * target).sum() return 1 - (2.0 * intersection smooth) / (pred.sum() target.sum() smooth)但纯Dice Loss也有问题裂缝区域极小时Dice损失梯度会变得不稳定训练早期容易震荡。我通常把Dice Loss和CrossEntropy按7:3加权组合既能稳定收敛又保持对类别不均衡的鲁棒性。另一个有效手段是边界损失Boundary Loss核心思想是让模型关注裂缝边缘像素的准确性。但对细裂缝来说边界像素和内部像素几乎不可分收益有限早期的工程版本不必追求这个。3.4 输入尺寸与Patch策略CT岩心原始切片常常是2048×2048直接输入网络显存不够。常见做法是随机裁剪成512×512或256×256的patch。裁剪策略对裂缝分割影响很大。如果纯随机裁剪大量patch中裂缝像素占比极低训练效率很差。按裂缝密度加权采样是更工程化的做法先对每张切片的掩码计算裂缝密度采样时以一定概率选择密度较高的区域作为裁剪中心。def weighted_random_crop(img, mask, crop_size512): h, w img.shape[:2] # 如果掩码中有裂缝以0.7概率从裂缝像素附近裁剪 crack_pts np.argwhere(mask 0) if len(crack_pts) 0 and np.random.rand() 0.7: idx np.random.randint(len(crack_pts)) cy, cx crack_pts[idx] cy int(np.clip(cy - crop_size // 2, 0, h - crop_size)) cx int(np.clip(cx - crop_size // 2, 0, w - crop_size)) else: cy np.random.randint(0, h - crop_size) cx np.random.randint(0, w - crop_size) return img[cy:cycrop_size, cx:cxcrop_size], mask[cy:cycrop_size, cx:cxcrop_size]注意np.clip边界处理当裂缝中心靠近图像边缘时直接减去crop_size // 2会得到负索引clip保证裁剪框始终落在图像范围内。这个策略能显著提升小样本场景下的训练效果是“用代码弥补数据量”的典型做法。4. 训练脚本与参数配置稳定收敛的工程细节4.1 训练流程最小骨架训练脚本结构上分为数据加载、模型初始化、训练循环、验证四部分。以下是一个可以直接改用的骨架from torch.utils.data import Dataset, DataLoader from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR class CrackDataset(Dataset): def __init__(self, image_paths, mask_paths, crop_size512, augFalse): self.image_paths image_paths self.mask_paths mask_paths self.crop_size crop_size self.aug aug def __len__(self): return len(self.image_paths) def __getitem__(self, idx): img cv2.imread(self.image_paths[idx], cv2.IMREAD_UNCHANGED) mask cv2.imread(self.mask_paths[idx], cv2.IMREAD_GRAYSCALE) # 统一归一化用全局均值和标准差 img (img.astype(np.float32) - global_mean) / global_std img_crop, mask_crop weighted_random_crop(img, mask, self.crop_size) if self.aug: # 随机翻转 if np.random.rand() 0.5: img_crop np.flip(img_crop, axis1).copy() mask_crop np.flip(mask_crop, axis1).copy() return torch.from_numpy(img_crop).unsqueeze(0).float(), torch.from_numpy(mask_crop).long() model UNet(in_channels1, num_classes2, base_c32).cuda() optimizer AdamW(model.parameters(), lr1e-4, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max200, eta_min1e-6) criterion CombinedLoss(weights(0.3, 0.7)) # CE Dice for epoch in range(200): model.train() for imgs, masks in train_loader: imgs, masks imgs.cuda(), masks.cuda() preds model(imgs) loss criterion(preds, masks) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step() # 每5轮在验证集上评估mIoU if epoch % 5 0: evaluate(model, val_loader)这里的global_mean和global_std需要在训练前统计所有训练图像的均值和标准差这是CT数据灰度范围差异大的关键处理。用IMREAD_UNCHANGED保留16位深度归一化在读取后即时进行不在存储层面转8位。4.2 关键超参数与推荐范围参数推荐范围说明基础通道数32~64小数据集用32数据量大可加到64批量大小8~16受显存限制256×256输入下16可接受初始学习率1e-4~3e-4AdamW配合1e-4最稳权重衰减1e-5~1e-4防止小数据集过拟合裁剪尺寸256~512512保留更多上下文但batch要减半训练轮数150~300配合CosineAnnealing收敛后继续训练提升平滑度正样本权重CE中背景权重0.3~0.5不直接用类别权重用损失函数加权更有效裂缝像素占比低于1%时纯Dice Loss训练到后期Dice系数容易停滞在0.7左右。此时检查两种情况一是验证集中是否存在标注漏标 — CT切片中极细裂缝人眼都难以分辨标注遗漏是常见问题二是损失震荡导致早停误判 — CosineAnnealing的周期拉长到300轮模型往往在第250轮附近才会越过“学习裂缝连续性”的阶段。4.3 验证指标不要只盯mIoU对裂缝分割mIoU会给出偏乐观的评估。裂缝区域占图像比例极小即使完全漏检对IoU的影响也被平坦的背景像素稀释。工程上建议额外报告Recall召回率漏检了多少真实裂缝像素Precision精确率预测的裂缝像素里有多少是真的F1分数裂缝_区域连接性检查_Fracture_connected_component预测结果应当形成连续条带碎片化预测通常表示过拟合噪声。计算裂缝召回率时可以用形态学细化skeletonization先提取裂缝骨架再计算骨架像素级召回这个指标比整体像素召回更能反映裂缝的连续性有没有被模型保持。5. 推理、后处理与裂缝量化从分割图到工程指标5.1 滑窗推理避免分辨率损失推理阶段2048×2048的大图无法直接输入模型滑窗推理是标准做法。窗口设为512×512步长设为38475%重叠重叠区域做平均投票。def sliding_window_infer(model, img, window_size512, stride384, devicecuda): model.eval() h, w img.shape[:2] prob_map np.zeros((h, w), dtypenp.float32) count_map np.zeros((h, w), dtypenp.float32) with torch.no_grad(): for y in range(0, h - window_size 1, stride): for x in range(0, w - window_size 1, stride): patch img[y:ywindow_size, x:xwindow_size] patch_tensor torch.from_numpy(patch).unsqueeze(0).unsqueeze(0).float().to(device) prob torch.softmax(model(patch_tensor), dim1)[0, 1].cpu().numpy() prob_map[y:ywindow_size, x:xwindow_size] prob count_map[y:ywindow_size, x:xwindow_size] 1 # 处理边缘不到一个窗口的部分 prob_map prob_map[:h, :w] / np.maximum(count_map[:h, :w], 1) return prob_map这个实现会漏掉右边缘和下边缘不满足步长整除的部分。一种处理是把图像padding到窗口整数倍推理后裁剪回来另一种是最后用非整除的偏移量单独推理一次。count_map必须逐像素累加防止重叠区域被平均时权重不同。5.2 阈值选取不要默认0.5模型输出的是概率图不是掩码。阈值0.5是二分类的默认值但对裂缝分割往往太严。裂缝像素在CT中灰度低、对比弱模型输出的概率通常集中在0.3~0.7区间。网格搜索验证集F1选择阈值是更可靠的做法best_thr, best_f1 0.5, 0 for thr in np.arange(0.2, 0.9, 0.05): pred_bin (prob_val thr).astype(np.uint8) f1 compute_f1(pred_bin, mask_val) if f1 best_f1: best_thr, best_f1 thr, f15.3 裂纹宽度估算与孔隙度统计得到二值掩码后实际工程中最常问的两个指标是裂缝宽度和裂缝面积占比孔隙度。裂缝宽度常用局部厚度local thickness法对裂缝掩码做距离变换每个裂缝像素的距离值乘以2再取平均值即平均裂缝宽度。from scipy.ndimage import distance_transform_edt dist distance_transform_edt(crack_mask) crack_width 2 * dist[crack_mask].mean() # 像素单位 # 如果CT的空间分辨率已知比如0.05mm/pixel就换算成毫米 crack_width_mm crack_width * 0.05这个方法的原理是裂缝内部每个像素到背景的最近距离近似为该点裂缝径向宽度的一半。对非圆截面裂缝有低估偏差但对工程估算足够。裂缝面积占比直接计算掩码中前景像素比例如果CT切片厚度已知可以逐层乘以层厚得到裂缝体积。5.4 分割结果与原始CT叠加验证推理结果必须回到原始图像上做人工抽查这一步不能省。叠加可视化保存为每张切片一张PNG裂缝像素用红色标记在灰度图上同时输出每张切片裂缝像素数和面积占比。批量生成叠加图时注意把16位CT数据线性映射到0~255显示范围否则叠加图整体发黑肉眼无法判断裂缝位置是否准确。本文还有配套的精品资源点击获取