2026.3.11本文提出CIA-Net一个基于主次模态交互与聚合的混合卷积与Transformer网络用于多模态MRI卵巢肿瘤分割通过选择性融合互补特征并抑制噪声在大规模卵巢肿瘤数据集及脑部和心脏分割基准上均实现了最先进的性能和良好的泛化能力。Title题目01CIA-net: Cross-modality interaction and aggregation network for ovarian tumor segmentation from multi-modal MRICIA-net用于多模态MRI卵巢肿瘤分割的跨模态交互与聚合网络文献速递介绍02卵巢癌是致死率最高的妇科癌症。MRI在卵巢癌管理中发挥着重要作用尤其在精确术前诊断、监测治疗反应和复发监测方面。尽管CT广泛用于初步分期但MRI在评估盆腔器官浸润和检测腹膜转移方面具有卓越的软组织对比度优势。精确的卵巢肿瘤分割对量化分析和指导治疗决策至关重要例如预测手术切除可能性和化疗敏感性。然而手动分割劳动密集且存在观察者间差异因此需要开发鲁棒的自动分割方法。目前深度学习在医学图像分割领域进展迅速但在卵巢肿瘤分割上的探索较少且现有研究主要集中于特定组织学亚型。卵巢肿瘤的异质性、不规则形状、对邻近结构的侵犯以及MRI序列和参数的多样性都增加了自动分割的难度。多模态MRI包括T1、T2加权、DWI和ADC图提供互补信息可反映结构特征、水分子扩散和肿瘤形态。然而简单拼接所有模态可能引入过多无关信息和噪声。为此本文提出CIA-Net一种统一的深度学习框架通过将多模态输入分为一个主模态T2和三个次模态T1、DWI、ADC并引入跨模态协作模块CCB、渐进式上下文注入模块PCIM和渐进式邻域集成模块PNIM旨在选择性地整合有效特征同时避免噪声和冗余以实现卵巢肿瘤的自动分割。这是首次尝试开发适用于不同组织学亚型卵巢肿瘤的统一分割框架。Aastract摘要02磁共振成像MRI是卵巢癌诊断的关键检查手段其中卵巢肿瘤的准确分割对个性化诊断和治疗计划至关重要。然而卵巢肿瘤常表现为混合囊性和实性区域增加了自动分割的难度。临床实践中放射科医生以T2加权成像作为主要模态来勾勒肿瘤边界并结合多模态MRI提供的互补信息。鉴于此本文提出了一种名为CIA-Net的跨模态交互与聚合网络该网络采用混合卷积和Transformer架构专门用于多模态MRI的卵巢肿瘤自动分割。CIA-Net将多模态MRI分为一个主模态T2和三个次模态T1、ADC、DWI每个模态拥有独立的编码器。其创新的跨模态协作模块通过渐进式上下文注入模块选择性地将次模态的互补特征聚合到主模态中。此外本文还引入了渐进式邻域集成模块通过优化每个模态的相邻切片来过滤模态内和模态间的噪声和冗余信息。研究在大规模多中心卵巢肿瘤数据集739名患者上对CIA-Net进行了评估并在两个公开的脑部和心脏分割基准上进一步验证了其泛化性和鲁棒性。与现有先进技术的对比实验结果表明了CIA-Net的有效性及其在临床应用中的潜力。Method方法03本研究提出的CIA-Net模仿了放射科医生的诊断工作流程明确区分了一个主模态T2加权成像和多个次模态以充分利用辅助序列的信息同时避免噪声影响。CIA-Net的整体框架基于U-Net概念包含混合Transformer编码器执行选择性跨模态特征编码和卷积解码器通过跳跃连接中PNIM模块的辅助进行分层特征重建。网络为每个模态使用独立的编码器路径以保留其独特的特征分布。主要组件包括跨模态协作模块CCB用于建立从次模态到主模态的交互路径渐进式上下文注入模块PCIM集成在CCB中负责选择性聚合互补特征并抑制噪声渐进式邻域集成模块PNIM部署在跳跃连接中通过整合切片间上下文来优化特征。输入图像首先通过嵌入层提取初始特征。随后这些特征输入到四阶段Transformer编码器每个阶段包含一个移位窗口块SWB和本文提出的CCBCCB内部利用PCIM进行选择性信息融合。在CCB中SWB独立处理每个模态的特征图以获得模态内上下文特征。然后通过PCIM将次模态信息选择性地融合到主模态中CCB-MA处理主模态特征CCB-MI提取次模态信息实现单向特征传输。PCIM采用级联聚合过程通过上下文注入模块CIM将次模态上下文渐进且选择性地注入主模态。CIM通过三个并行分支主融合、注意力图和残差连接运作利用注意力图进行空间选择并保留主模态特征的完整性。最后编码器的多尺度特征图通过跳跃连接馈入四阶段解码器。PNIM被整合在这些跳跃连接中通过建模切片间依赖性来增强特征表示模仿放射科医生检查相邻切片以理解3D解剖上下文的过程有助于处理肿瘤的切片间变异。PNIM采用渐进式结构包含级联的邻域集成模块NIM每个NIM利用专门的邻域注意力机制通过通道混洗和1D卷积学习切片间和模态间关系最终通过残差块整合并校准相邻切片的有用信息。Discussion讨论04本研究提出了一种用于多模态卵巢肿瘤分割的新型深度学习架构并在大型多中心卵巢肿瘤数据集上表现出优异性能。通过在BraTS 2024和MyoPS 2020这两个公共基准数据集上验证该方法的有效性得以进一步证实表明其架构原则在不同解剖区域和临床应用中具有鲁棒性和泛化性。我们方法的成功归因于其模仿临床诊断工作流程的设计理念。通过指定一个主模态并将其他模态作为辅助信息源模型避免了简单融合可能导致的低质量序列噪声影响特征质量的问题。框架的核心是PCIM它促进了引导式的信息传输。PCIM的注意力机制能够识别次模态中空间相关的上下文而原始主模态特征的独特残差连接确保了这些信息作为一种精炼而非替代。这种设计保持了主特征流的完整性是我们模型鲁棒性能的关键原因。此外PNIM通过整合切片间上下文来增强跳跃连接中的特征从而改进了复杂肿瘤边界的描绘。精确和自动化分割工具的临床意义超越了简单的勾勒。虽然手动分割在某些临床流程中不常用于基础报告但自动分割是支持个性化医疗的各种定量分析的关键技术。例如基于MRI分割肿瘤体积提取的特征正用于构建预测最佳手术减瘤可能性的模型这是晚期卵巢癌选择初次手术或新辅助化疗的决定性因素。类似地基于分割的影像组学特征有望在治疗开始前预测患者对铂类化疗的敏感性。我们的工作提供了一个可靠的工具可以生成这些高级应用所需的精确分割满足了个性化卵巢癌治疗中的明确需求。尽管取得了可喜的成果本研究仍存在一些局限性。首先该架构为每个模态使用独立的编码器增加了训练和推理期间的整体模型大小和计算成本。其次PNIM中的邻域大小k等超参数是凭经验确定的更具适应性的方法可能会改进性能和可用性。第三虽然我们的主要卵巢肿瘤数据集规模大且为多中心但不同中心病例分布不均这可能会影响模型的泛化特性。最后尽管模型在不同肿瘤类型上表现良好但其在特别罕见的组织学亚型上的性能尚未具体评估有待进一步研究。未来的工作将从几个方向展开。为解决计算成本问题我们计划探索更高效的网络设计可能涉及部分权重共享或更先进的交叉注意力机制。另一个方向是将分割模型集成到完整的下游分析流程中。这将包括基于我们模型分割提取的定量特征构建和验证治疗反应或患者预后预测模型使我们的工作更接近临床决策支持工具。最后将影像数据与其他信息如基因组学和临床报告融合可以产生更强大的多组学预测模型提供对肿瘤生物学更全面的视角。Conclusion结论05本研究提出了一种新颖的多模态MRI分割网络旨在解决卵巢肿瘤的特殊挑战。我们的方法基于主/次模态框架利用渐进式上下文注入机制选择性地融合特征同时保留主要影像数据的完整性。广泛的实验表明我们的方法在大型卵巢肿瘤数据集上实现了高精度并有效地泛化到公共脑部和心脏分割基准。这项工作提供了一个强大且通用的分割工具通过改进定量分析支持肿瘤学的个性化治疗计划。Results结果06为评估CIA-Net的性能本研究构建了一个包含739名患者的大规模多中心卵巢肿瘤数据集涵盖T1、T2、ADC和DWI四种模态并经过组织病理学确诊良性、交界性、恶性。数据被分为训练集、验证集和测试集65:10:25。图像通过仿射变换配准到T2加权图像肿瘤由经验丰富的放射科医生手动勾勒。所有对比方法均在nnU-Net框架下训练和评估使用Dice相似系数、95% Hausdorff距离和平均对称表面距离ASSD作为评估指标。结果显示CIA-Net在卵巢肿瘤分割任务中取得了最先进的性能平均Dice分数为86.25%比次优方法nnU-Net高出4.44%HD95和ASSD也显著优于其他方法表明其分割误差更少轮廓勾勒更精确。Wilcoxon符号秩检验显示性能提升具有统计学意义p0.0001。定性结果也表明CIA-Net能更准确地勾勒出不规则形状和异质性强度肿瘤避免了其他方法常见的欠分割、过分割或假阳性。此外CIA-Net在不同大小小于100 CC、100-500 CC、大于500 CC和不同病理类型良性、交界性、恶性的肿瘤组别中均表现出最高的Dice分数和最小的四分位距尤其在小肿瘤分割上优势显著证明了其在复杂肿瘤病例中的鲁棒性。在模型复杂度和效率方面CIA-Net的FLOPs为366.51G与nnU-Net相当单次推理时间为3.32秒/病例在平衡分割精度与推理速度方面表现良好具有临床部署潜力。消融研究进一步验证了关键组件的有效性PNIM中邻域注意力机制的引入持续提升了性能k9时达到最佳。CCB、PCIM和PNIM模块的逐步添加带来了性能的显著提升其中CCB贡献最大证实了其在实现有效跨模态交互中的关键作用。选择T2作为主模态的性能优于T1、ADC或DWI作为主模态这与T2提供主要肿瘤特征的临床认知一致。多模态融合实验表明T2单独使用已具有良好性能而逐步增加其他模态T1、ADC、DWI可进一步提高分割精度其中T1对T2的补充信息最为显著四模态融合效果最佳。模型生成的空间注意力图也证实模型能够学习并利用辅助序列中的相关病理信息将焦点集中在实际肿瘤区域。最后在BraTS 2024脑肿瘤分割和MyoPS 2020心脏分割这两个公开基准数据集上的泛化性评估显示CIA-Net在多个分割目标上均达到或超越了现有方法特别是增强肿瘤、肿瘤核心、心肌水肿和瘢痕等挑战性区域进一步证明了其架构原则的鲁棒性和泛化能力。Figure图07图1.用于卵巢肿瘤分割的不同网络架构的定性比较。(a)-(e)来自五位不同的个体。图2.不同网络用于卵巢肿瘤分割的组别比较。组A肿瘤小于100 CC。组B肿瘤介于100和500 CC之间。组C肿瘤大于500 CC。图3.不同网络用于卵巢肿瘤分割的组别比较。组D良性卵巢肿瘤。组E交界性卵巢肿瘤。组F恶性卵巢肿瘤。图4.我们提出的PNIM在不同邻域大小下的分割性能。图5.不同网络在卵巢肿瘤分割中的Wilcoxon符号秩检验结果。图6.用于卵巢肿瘤分割的不同网络架构的定性比较。(a)-(e)来自五位不同的个体。图7.不同网络用于卵巢肿瘤分割的组别比较。组A肿瘤小于100 CC。组B肿瘤介于100和500 CC之间。组C肿瘤大于500 CC。图8.不同网络用于卵巢肿瘤分割的组别比较。组D良性卵巢肿瘤。组E交界性卵巢肿瘤。组F恶性卵巢肿瘤。图9.我们提出的PNIM在不同邻域大小下的分割性能。图10.不同输入模态的定性比较。黄色框表示ADC和DWI中帮助识别肿瘤的组件。(a)-(c)来自三位不同的个体。Attn. map注意力图。图11. BraTS 2024数据集上的分割结果定性比较。我们的方法与其他主要方法在代表性病例上进行比较展示了其在描绘肿瘤亚区域方面的有效性。图像中红色轮廓描绘增强肿瘤黄色轮廓描绘切除腔。图12.MyoPS 2020数据集上的定性分割结果。该图展示了我们的方法精确分割大型心脏结构LV-BP、RV-BP、LV-Myo和小型病理区域水肿、瘢痕的能力。分割轮廓颜色编码如下蓝色代表LV-BP绿色代表RV-BP红色代表LV-Myo黄色代表水肿橙色代表瘢痕。