摘要得益于不同成像方式提供的互补信息结构磁共振成像sMRI和功能性磁共振成像fMRI数据的有效融合有望提高婴儿年龄预测的准确性。然而与sMRI的形态特征相比婴儿期fMRI测量的功能连接性较为不成熟且噪声较大因此用于婴儿脑部分析的sMRI和fMRI融合极具挑战性。在传统的多模融合策略中添加fMRI数据用于年龄预测的风险较高会产生更多噪声而非有用特征导致准确性低于单纯使用sMRI数据。为解决这一问题我们开发了一个新模型称为解缠多模对抗自编码器DMM-AAE基于多模脑MRI进行婴儿年龄预测。具体来说我们将自编码器的潜在变量解码为通用码和特定码分别表示模态间共享和互补的信息。然后交叉重建要求和共比距离比损失作为正则化设计以确保解缠的有效性和彻底性。通过布置相对独立的自编码器来分离模态并在交叉重构要求下采用解缠来整合它们我们的DMM-AAE方法有效限制了可能的跨模态干扰实现有效的信息融合。利用潜变量纠缠进一步提出了一种新策略并嵌入DMM-AAE中以解决多模态神经图像的不完备性问题该方法也可作为缺失模态补值的独立算法使用。通过从sMRI中提取六种皮层形态测量特征从fMRI中提取脑功能连接性作为预测变量利用不完全多模态神经图像在婴儿年龄出生后35至848天预测中验证了所提DMMAAE的优越性。基于DMMAAE预测的平均绝对误差达到37.6天优于最先进的方法。总体而言我们提出的DMM-AAE可作为多模态数据预测的有前景模型。引言基于神经影像的年龄预测对于大脑发育分析和神经发育障碍的早期发现非常重要[1]。“按年龄”与预测的“脑年龄”之间的差异可视为偏离正常发育或衰老轨迹的一个指标。例如结合神经影像数据的预测年龄可用于检测创伤性脑损伤后加速萎缩[2]以及精神分裂症[3]、2型糖尿病[4]和HIV疾病[5]导致的加速脑部衰老[5]。此外脑年龄预测还被用来帮助识别可能对人类大脑的环境和生活方式相关影响例如因高等教育、更多自我报告的体育活动[6]和长期冥想实践而导致的脑龄更年轻[6]以及中年相关的脑年龄增加[8]。由于不同神经影像模式能相互补充研究人员开始结合多模态成像来预测脑年龄。例如为了捕捉认知障碍结合了从rs-fMRI中提取的功能连接性和sMRI中的皮层形态特征用于预测大脑年龄[9]。在[10]中结合了T2加权、T1加权、扩散加权和液体减弱分流回收FLAIR扫描进行年龄预测强调了使用多模态生物标志物研究正常衰老的重要性。尽管已有许多基于单模态或多模态神经影像进行年龄预测的研究但由于图像采集和处理困难关于婴儿年龄预测的研究却很少。另一方面出生后的前两年是大脑结构[11]、[12]和功能[13]最关键且最具活力的产后发展期这些发展在很大程度上影响了后续的认知和行为发展。因此理解其潜在模式并识别出生后头两年大脑发育的重要生物标志物至关重要。尽管已有一些对婴儿大脑测量指标[11]、[12]、[14]的定量分析并发现了许多有见地的结果但他们所采用的传统组级比较方法不足以精确识别个体层面的异常大脑发育[15]。与组级研究相比个体化年龄预测是理解和建模受试者特定大脑发育的更好方法。尽管在老年人群中发现多模态MRI数据可以提升年龄预测准确率[9]、[10]但目前尚不清楚该方法在婴儿中是否仍然有效。据我们所知目前尚无基于多模态神经影像的婴儿年龄预测研究。为了填补这一关键空白并通过多种成像方式识别婴儿大脑发育的潜在生物标志物本文重点利用sMRI和fMRI数据预测出生至两岁受试者的年龄。然而考虑到fMRI空间分辨率较低且噪声水平高以及其衍生的功能连接性尚未成熟且发生剧烈变化传统多模态融合策略直接融合fMRI和sMRI数据是不可行的也无效[10]、[16]。这些策略甚至可能降低仅使用sMRI特征的准确性而sMRI已被验证为预测婴儿年龄的稳健生物标志物[17]。作为多模数据融合中最流行的基于模型的方法之一自编码器AE[18]利用潜在变量实现信息组合。然而传统自编码器总是将不同模态的共享信息和互补信息混合到单一潜在变量中其中一种模态的信息可能成为阻碍重建另一模态的噪声。因此有效融合sMRI和fMRI数据的主要挑战是减少融合过程中不同模态之间的负面影响。为解决该问题我们提出了一个解缠多模态对抗自编码器DMM-AAE模型用于联合进行多模态潜变量学习和年龄预测器构建。该模型的核心思想是将每种模态的潜在变量解码为共同和具体的编码分别表示模态的共享和互补信息。为了实现解缠要求从不同模态获得的共同码应尽可能相似而具体码之间应尽可能多地差异。因此我们定义了交叉重建要求要求每个模态必须通过其自身的特定代码和任何模态的共同代码来重建以确保从不同模态获得的共同码的相似性。此外公共码间距离与特定码间距离的比值被定义并引入模型称为共同-特定码比损耗强化了特定码之间的差异与共同码之间的共性。最后结合两种模态获得的共同编码和特定编码来预测年龄并将该过程与潜在表征学习整合为统一框架。此外为了处理缺失模态采用现有模态的通用且特定编码来迭代地推断缺失模态的潜在变量。该补补策略嵌入DMMAAE中但也可以作为缺失模态补补的独立算法使用。总结来说1我们采用潜变量解缠策略构建了一个深度DMM-AAE模型不仅有效限制了模态间可能的干扰还能从sMRI和fMRI数据中获取融合信息;2我们设计了交叉重构要求和共比-特定距离比作为正则化以确保解缠的有效性和合并信息的完整性;3我们将多模态神经影像数据融合和年龄预测整合为统一框架以确保学习与年龄相关的潜在表征;4我们提出了一种插补算法利用解缠潜变量所代表的共享信息和特定信息。相关工作婴儿年龄预测有两项研究利用神经影像数据预测婴儿年龄。第一项研究的受试者年龄在5至590天之间[19]。它依赖于通过高斯尺度空间差分变换获得的sMRI特征而这些特征在解释婴儿大脑的神经生物学变化方面较为可行。其他研究[17]则聚焦于出生至2岁的受试者使用sMRI进行。[17]中的扫描是在不同时间点1、3、6、9、12、18和24个月拍摄的。这种特定的采样策略可能会对样本分布造成扭曲并在建模从脑MRI特征到时间年龄的连续映射时产生偏差。与[19]和[17]相比我们的研究1通过多模态神经图像即sMRI和fMRI预测婴儿年龄;2使用年龄分布相对连续的受试者从而形成具有更高泛化能力的模型;3提供可解释的婴儿大脑发育多模态生物标志物;4设计了一个多模态融合的新模型该模型可推广至其他研究。多模态融合多模态数据融合的可用策略可归纳为两类模型无关和基于模型[20]。模型无关的融合不依赖于特定的机器学习方法通常分为早期融合和晚期融合[18]。早期融合是最常用的方法将不同模态的特征串接为输入随后采用任何回归模型。晚期融合使用单模态决策值将它们与某些融合机制如平均、投票或加权整合[18]。大多数基于多模态神经影像的年龄预测研究采用了这种模型无关的融合[10]、[16][21]但这并不能有效利用多模态之间的相关信息。这个问题将我们转向基于模型的融合通过具体模型构建来解决融合模态。在基于模型的方法中例如多核学习、图形模型和神经网络[20]自编码器是最流行的多模态数据融合模型之一。它也可以分为早期和晚期融合策略。早期融合AE如图1a所示将模态1和模态2串接起来实现编码和解码在输入阶段混合信息。晚期融合的AE如图1b所示每种模态都有自己的编码器和解码器单模潜在变量被串接在一起用于重建两种模态并进行预测。虽然能够学习互补信息但早期和晚期融合的AE并不区分两种模态之间的互补信息与共享信息。如果一种模态包含大量噪声由此推导出的潜在变量可能会阻碍对另一种模态的准确重建和潜变量学习。与现有的多模融合方法不同我们的模型通过解开并表示两种模态之间的互补和共同信息来实现融合。用于模态融合预测的不同类型的双模态深度自编码器AE。a 早期融合AE将模态1和模态2的特征作为编码器的单一输入并利用获得的潜在变量进行预测。b晚期融合AE各模态拥有各自的AE同时将潜在变量串接进行预测。E,E1 和E 2 是编码器。G,G1 和 G2 是解码器。P是预测头。解耦表示学习解缠表示是一种将特征编码为具有不同含义的因素的技术。解缠表示学习的生成模型在计算机视觉领域展现出巨大潜力[22]。半监督式解缠方法要求对底层因素的明确了解和实因子标签作为指导[23]这些方法表现优越但在实际应用中存在困难。无监督解缠方法以变分自编码器VAE框架为主流通过对变分后验与先验的KullbackLeiblerKL散度施加额外惩罚来学习解缠表示[24]。虽然基于VAE的解缠表示学习有效但它旨在将特征分解为独立的因素这并不符合我们要求在模态间表示共享和互补的信息。通过为分解的因素赋予特定意义来解开潜在变量是另一种解缠表示学习。[25]中的研究属于此类类型与我们的工作最为相关我们提出了一种自编码器模型以探索两个域的共享内容和唯一内容。我们的DMMAAE模型与[25]有三个不同之处。1目标和解缠所表示的信息完全不同。[25]中的工作侧重于图像到图像的转换强调在导入第二域的特定内容的同时去除第一个领域的特定内容。因此[25]中描述的共享内容和独特内容是基于域名的。然而我们的研究聚焦于个体化多模融合我们所建模的共享和互补信息是个体特定的。2相关数据的特性导致了[25]和本研究中自编码器的不同架构。3为确保解缠而设计的约束完全不同。与[25]中的零损失和对抗损失相比我们模型中设计的共同特异距离比损失和交叉重建损失基于受试者且更适合多模态融合。表1受试者人口统计男月份;年龄分布由均值±标准差表示材料我们利用来自UNC/UMN婴儿连接组项目的高质量MRI数据集验证了我们提出的DMM-AAE模型在婴儿年龄预测中的有效性[26]。我们使用了178名足月出生受试者接受了326次结构性MRI扫描和171次功能性MRI扫描年龄范围从35天到848天不等。这些扫描的人口统计信息见表I。T1加权图像采用以下参数拍摄208张矢状切片TR/TE 2400/2.24毫秒采集矩阵320×320分辨率0.8 × 0.8 × 0.8 立方毫米。采用以下参数拍摄T2加权图像208张矢状切片TR/TE 3200/564毫秒采集矩阵320×320分辨率0.8 × 0.8 × 0.8 立方毫米。所有结构图像均通过成熟的婴儿专用计算流程预处理[27]、[28][29]包括共注册、强度不均匀性修正、颅骨剥离、小脑切除、组织分段、半球分离、拓扑修正及内外表面重建。每个皮层表面通过对齐到北卡罗来纳大学4D婴儿皮层表面图集https://www.nitrc.org/projects/infantsurfatlas/[31]将其划分为360个兴趣区域ROI[30]。四种形态特征类型即局部脑回指数LGI、平均凸性、平均曲率和皮层厚度是通过平均每个ROI内所有顶点的对应值得到的。另外两种特征类型即表面积和皮层体积则通过对每个ROI内所有顶点的对应值加总得到。在自然睡眠期间获得了高分辨率静息状态fMRI数据rs-fMRI时间分辨率0.8秒空间分辨率2毫米各向同性。除了人类连接组项目流程中的传统处理步骤外我们特别采用了以下策略。1 功能信号的一次性重采样和去噪均在原生图像空间完成。这种方法避免了多次插值和平滑功能信号否则通常会导致捕捉详细功能模式时的歧义。(2)基于深度学习的噪声成分去除实现快速且稳健的fMRI去噪。提取了中表面所有fMRI时间序列顶点。随后选择相同的360 ROI构建功能连通图方法是计算每对ROI在时间序列间的Pearson相关系数。进行了Fisher的r-z变换以改善泛函连通性的正规性。所提出方法的网络结构方法解缠多模态对抗自编码器DMM-AAE的框架如图2所示详见下文。1特征选择对于一个小型数据集实际中2160个结构特征360 ROI上的6种特征和64620个功能特征360 × 360功能连接矩阵的上部三角形元素的维度极高这对训练效率低下且易受过拟合影响。因此在训练神经网络模型之前必须先进行特征选择。根据与归纳模型的关系特征选择方法可分为滤波器方法、包装法和嵌入方法[32]。由于滤波器方法独立于归纳算法且通常更快因此选择它作为特征选择策略。在此随机森林作为特征选择方法是因为它即使在高度相关的高维数据中在特征选择上的表现更优[33]。在特征选择后分别选择两种模态的m1和m2特征进行预测。我们的数据表现为 X1 X2 Y {x11 x21 y1 · · · x1n x2n yn · · · x1N x2N yN } x1n ∈ Rm1 和 x2n ∈ Rm2 分别是第一模态和第二模态的第n个特征向量;yn ∈ R 是对应的输出值在我们的研究中是年龄。N 是实例数。2编码对于每种模态我们使用多层感知器神经网络作为其相应编码器 Ei 。编码器的输出称为潜在变量记作zini 1 2 n 1 2 ·N。当我们提到与单个数据点相关的项时索引n将被省略。3潜在变量解缠Ei 生成基于第 i 模态输入特征向量 zi Ei第1习的条件下 zi 。为了更好地学习两种模态的综合信息应将共享信息与互补信息分开。这里zi被解分为两部分Comzi和Speczi。Comzi 是表示模态间共享信息的共同码而 Speczi 是表示区分两种模态的互补信息的特定码。解缠的基本要求是• Comzi和Speczi的连接等于zi;• Comz1 和 Comz2 应尽可能相似;• Specz1 与 Specz2 尽可能区分。4交叉重建对于每种模态我们采用多层感知器神经网络作为其对应的解码器Gi。传统上由于 zi [Comzi Speczi] 是 习 的潜在变量直接要求从 zi 重构 这表示原始输入与 Gi Comzi Speczi得到的重构之间的相似性。另一方面由于Comzi是模态间共享的信息它也应提供重建其他模态的信息。因此为了进一步提升解缠效果我们引入了跨模态重建要求每个Speczi都被强制重构x_i连同任一Comz j i j 1 2。也就是说x_i和GiComz j Speczi的相似性也被要求。5年龄预测由于每种模态的潜在变量已解开为共同编码ComEi 习 和特定编码SpecEi x_i合并信息形成Mx1 x2其中 Common1,2 ∑2 i1 ωi ComEi x_i μi 决定了两个单峰公共码的合并公共码的比值。在我们的实验中ω1 ω2 0.5。然后设计多层感知器神经网络作为回归器P预测婴儿年龄从Mx1 x2开始。在我们的方法中这两种模态分别使用各自的对抗自编码器AAE[34]来隔离任何可能的干扰并在交叉重构要求下采用纠缠以实现信息融合。作为AAE中一个重要元素多层感知器神经网络被取为共享判别子D用以对潜在向量zi施加对抗正则化zi试图区分zi是否遵循预定的先验分布。Ei、Gi、D和P都用权重参数化并与以下损失一起学习。6对抗损失设pzi为对潜在变量施加的先验分布qzi |x为编码分布px |zi为译码分布。AAE 是一种生成模型通过训练具有正则化潜空间的自编码器学习数据分布 pdx这需要聚合后的后验分布 qzi ∫ xqzi |x pd xdxi 与预定义的先验 pzi 匹配。 这种潜空间上的正则化通过判别子D的对抗过程实现导致一个minEi maxD Li adv问题其中编码器确保聚合后的后验分布欺骗判别对抗网络D使之误以为潜在向量zi来自潜在向量pzi的先验分布而D则试图区分qzi和pzi。尽管pzi可以是一个任意先验但本研究中对潜变量zi施加了传统的高斯先验分布即pzi Nzi |μi x_iσi x_i。[35]中的同样重新参数化技巧也被用于编码器网络的反向传播。由于两种不同模态的潜在变量选择了高斯先验分布它们共享相同的判别子D。除AAE外VAE也能对潜变量施加先验分布。VAE利用KL散度惩罚来强制潜在变量的聚合后验来模拟先验分布而AAE则使用对抗判别器来实现这一点。与VAE相比AAE在捕获数据流形和施加复杂先验分布且没有精确泛函形式方面可能更胜一筹。AAE在各种应用场景中可能更为通用。因此在我们的研究中AAE被选用来对潜变量施加先验分布。7)共比-特定距离比损失LDisen 的定义遵循潜变量解缠的基本要求8回归损失采用L2范数作为回归损失9重建损失重建损失基于交叉重建要求定义。由于神经影像数据可能不完整重建损失不会从缺失数据中计算。10总体优化目标最后优化Ei、Gi、D和P的目标函数写为其中λ1、λ2和λ3为权衡参数Ladv E ∑2 i1 Exi ∼pd x_i log1−DEi x_i。整个模型及其正则化被称为解缠多模对抗自编码器DMM-AAE。DMMAAE 首先更新其判别网络 D以区分真实样本使用先验生成与生成样本由编码器 Ei 计算的潜在向量与 LD然后更新编码器 Ei 、解码器 Gi 和预测器 P分别为 LEGPI 1 2。缺失模态的数据插补我们的DMM-AAE也具备应对缺失模态情景的能力。当多模数据不完整时DMM-AAE可以通过下文所述的嵌入式策略推断缺失的模态。假设某些实例缺少模态M1Comi 和 Speci 是 Mi 的共同码和特定码i 1 2。Com2 ComE2x2可以直接用于补值Com1因为训练的目标是最大化两种模态中获得的共同码之间的相似性。在插补中引入时间指数作为调整Spec2在Spec1补补中参与度的变量。在训练的早期阶段Spec2 SpecE2x2被用作缺失模态的学科特定信息来源并作为Spec1推算的主要来源。随着训练进行当模态1的解码器G1可以生成更可靠的重建数据Spec2在补值中参与较少。在DMM-AAE的训练中可以选择时间指数t作为训练历元并与DMM-AAE的训练历元一起变化即t01最大Iter等于DMM-AAE的训练历元数。在测试阶段t0始终被设定为固定值比如我们实验中的100而第6步的xˆ1是最终的推算值无需进一步迭代即最大I ter t0。因此在测试过程中Spec2只保留一小部分内容以保留部分学科特定的信息。补值过程如图3所示算法1也有详细说明。缺失模态的插补过程。年龄预测评估为评估所提DMM-AAE模型的有效性并分析特征的相对重要性进行了20次嵌套的10折交叉验证。方程9中定义的损失函数权衡参数通过最小化内交叉验证得到优化预测的平均绝对误差MAE范围为 λ1 ∈ {0.04 0.05 0.06} λ2 ∈ {2 4} 和 λ3 ∈ {0.02 0.03}。这些范围是通过实证结果确定的相关内容可见补充材料。预测结果通过外部交叉验证评估保持训练阶段对测试数据的盲点。在交叉验证中针对同一受试者的纵向扫描我们保证训练数据中的扫描时间比测试数据更早。年龄预测模型通过三个指标评估即MAE、平均相对绝对误差MRAE以及预测年龄与实际年龄之间的相关系数r。值得注意的是MRAE是绝对误差的平均值除以相应的年代年龄并以百分比表示。对于r95%置信区间通过自举法获得的2.5百分位和97.5百分位相关系数计算样本为1000个样本。在计算置信区间r时20次10重交叉验证也采用了相同的自助样本该区间保证了自助分析不会偏向任何特定的交叉验证。年龄预测的特征重要性分析对年龄预测贡献最大的特征可以被视为婴儿大脑发育的生物标志物。在我们提出的模型中RF随机森林选择特征子集进行预测过程独立于所选预测变量。因此特征的重要性分析分为两部分被RF选择的频率和DMM-AAE神经网络中的置换重要性。1通过RF随机森林选择频率作为特征选择方法RF通过袋外OOB估计来估算特征的重要性[33]。为了评估每个变量的重要性允许在OOB样本中排列变量的值。在RF中原始样本与受扰外样本在所有树上的准确率差异被取平均作为重要性估计。在每个折叠中将训练一个射频模型并在训练集中估计每个特征的重要性。然后选择估计重要性高于阈值的特征在我们的实验中经过一些实证测试后设定为10⁻6用于训练DMM-AAE模型用于该折叠测试数据中的年龄预测。在20次10折交叉验证迭代中每个特征被选中的频率代表了该特征的相对重要性。如果形态特征和功能连接特征的选择频率分别高于90%和50%则被视为贡献特征。形态特征和功能连接性特征重要性分析中不同的频率阈值基于它们选择频率分布的不同如图7a所示。2置换重要性DMM-AAE基于训练良好的DMM-AAE模型置换重要性[36]被用于衡量每个特征对年龄预测的贡献因其模型无关性而简单。特征f的置换重要性PI定义为其中Errororig和Errorperm是基于原始数据集和新数据集f值被洗牌的预测误差在我们的研究中由MAE评估。对特征f进行洗牌意味着随机重新组织数据集中f值的顺序其他特征保持固定。由于该过程破坏了 f 与年龄之间的关系模型误差的增加表明模型对该特征的依赖性。因此如果洗牌f的值后会变成P If1则该特征是“重要”的。在每个折叠中每个选定特征的置换重要性通过方程10测量测试数据并重复五次。因此经过20次10折交叉验证后每个特征获得了1000个PI值。对1000个PI值实施了单尾单样本t检验以确定每个特征的平均PI值是否显著大于1。阈值选为 Bonferroni 修正后 p 0.05即未校正的 p 0.05/66780[37]。结果与最先进方法的比较我们比较了所提出的DMM-AAE模型采用七种模型无关性、两种基于模型和两种基于AAE的多模态回归方法1随机森林RF早期其中“早期”指早期融合将sMRI和fMRI特征连接成一个向量作为输入;2支持向量回归SVR早期;3高斯过程回归GPR早期;4偏最小二乘回归PLSR早期;5PLSR晚1其中“晚1”指的是基于PLSR模型的单峰预测年龄被GPR模型融合;6PLSR晚2其中“晚2”指的是基于PLSR模型的单模预测年龄被平均化融合;7PLSR混合型其中“混合型”指的是从PLSR早期和PLSR晚期1获得的预测年龄与平均机制融合;8多核学习MKL[38]即在学习回归前分别在sMRI特征和fMRI特征上实现两个不同的核;9不完全多源融合iMSF[39]根据数据源的可用性进行样本划分并通过稀疏回归学习共享特征集;10对抗自编码器AAE早期其中sMRI和fMRI特征作为编码器的输入潜变量用于年龄预测;11具有潜在变量融合的对抗自编码器AAE晚期将单模潜在变量合并进行年龄预测。为了保持比较公平我们将多模融合和年龄预测整合进一个统一框架中分别针对早期和晚期设计时与DMM-AAE相同。缺失模态的值通过零补完成。我们实验中使用的DMM-AAE架构如图4所示。DMM-AAE采用Pytorch实现并以固定的学习率0.001通过Adamax优化。批次数量定为150。潜变量的维度为120而通用代码和特定代码的维度分别设为50和70。潜在空间的维度、共同代码和具体空间代码是基于一些实证测试设定的。这些维度的设置如何影响最终预测准确性可见补充材料。AAE早期和AAE晚期在比较公平性上与DMM-AAE共享相同的架构。比较结果总结于表二。图5展示了预测年龄与年代年龄的散点图基于四种代表性方法SVR早期、AAE晚期、MKL和DMM-AAE。模型无关的聚变和传统的基于模型的聚变在年龄预测方面表现相似。九种方法获得的MAE范围为50.9至78.5天;MRAE约为19%至34%;平均相关系数r范围为0.932至0.944。基于AAE的方法显示了性能提升显示出年龄相关潜在变量学习的益处。我们的模型DMM-AAE表现优于所有基线方法分别将MAE和MRAE降低至37.6天和11%同时将95%置信区间r的中点提升至0.964。PLSR的性能因聚变类型而异。PLSR早期和PLSR晚2之间的MAE相差24.9天。由于“晚2”意味着基于PLSR模型的单模预测年龄被平均融合可以推断PLSR晚期2与PLSR早期相比可能是由于fMRI数据表现差导致fMRI噪声较高。为了进一步展示详细的预测表现基于DMM-AAE的MAE及所有竞争方法的评估被划分为不同的年龄段并见表III。这些方法在不同年龄段表现不同尤其是在出生后第一年内的年龄段。SVR早期在前两年的所有年龄段表现稳定成为“18∼24M”时期的最佳回归者。除“18∼24M”外DMM-AAE在所有年龄段的表现总是更优。特别是我们提出的DMM-AAE在前两个时期的优越性更为明显“3M”和“3∼6M”。DMM-AAE分别将“3M”和“3∼6M”处的MAE缩短为19.1天和20.9天而其他方法在这两个时间点的平均MAE分别为44.6天和39.3天。可以发现DMM-AAE获得的预测误差随着时间推移而变大尤其是在1岁以后的年龄段。这种预测误差模式可能是由于大脑结构发育相对停滞[17]个体变异性较高且在第二年更易受环境影响这使得大脑年龄的区分变得更加困难。多模态与单模态的比较为分析多模态融合的影响图6展示了使用单模态即sMRI或fMRI和多模态数据即sMRIfMRI不同模型的性能比较。对于多模回归方法PLSR早期、PLSR晚期1、PLSR晚期2和PLSR混合等其对应的单模回归模型相同即原始单模回归PLSR。DDM-AAE对应的单模回归模型是经典AAE因为当只有一种模态时解缠策略、交叉构造损失和共比-特定距离比损失均被禁用。因此单模回归模态与DDM-AAE、AAE早期和AAE晚期是相同的。从图6中仅用sMRI获得的预测MAE大约为42.4∼70.8天而fMRI数据获得的MAE则高达75.4∼110.7天。在SVR、PLSR早期、PLSR晚期2、AAE早期和AAE晚期中sMRIfMRI的准确率低于sMRI。即使使用射频早期、GPR早期、PLSR晚1和PLSR混合sMRIfMRI的性能也仅略有提升相比使用仅提供sMRI数据。研究显示在传统的多模融合方法中fMRI数据往往会引入更多噪声而非有用的信号导致准确率低于单用sMRI数据。使用DMM-AAE时sMRI数据获得的MAE从42.4天缩短至37.6天。与插补缺失模态的相关方法比较插补是一类程序旨在用估计值填补缺失值。我们通过与以下最先进方法进行比较验证了我们提出的算法1作为独立补缺方法在缺失模态补全方面的作用1零插补。缺失值用零填充。由于所有特征在插补过程前都归一化为z分数即减去均值并除以标准差该方法等价于用观察值的平均值填充缺失特征值。2k-最近邻KNN插补[40]。缺失值填充k个最近邻样本的加权均值权重由邻近样本的均方差决定。经过多次实证测试我们设k3。3迭代SVD [41]。缺失值由一组相互正交的表达式模式通过迭代低秩SVD分解线性组合填充。4双比例器 [42]。缺失值的补算被视为矩阵补全问题通过配合核范数正则化矩阵近似和最大边距矩阵分解实现。相关的矩阵分解问题通过快速交替最小二乘算法求解。在这里KNN、IterativeSVD 和 BiScaler 都由 Fancyimpute https://pypi.org/project/fancyimpute/ 以默认参数值实现。在缺失模态之后补充时PLSR因其性能优于其他回归算法如表二所示而被选为年龄预测方法。通过对数据实施20次十折交叉验证基于五种补值和PLSR回归的年龄预测比较结果见表IV。我们提出的插补算法优于其他基线方法进一步证明了解开潜在变量的有效性。特征重要性分析图7a显示了特征选择频率的分布。对于sMRI特征其选择频率的平均值接近0.6。然而功能连接的平均选择频率低至0.02。由于sMRI和fMRI特征是独立选择的功能连接的低选择频率并非源于sMRI数据的干扰而是自身的不稳定性。至于图7b所示所选特征的置换重要性结构特征与功能连接特征的PI值分布之间无显著差异。结构特征和功能连接特征的PI值的均值相似且大于1。图8总结了特征的重要性以及从形态学和功能连接性角度对投资回报率贡献最大的因素。关于选择频率前三种重要的形态特征类型是“皮层厚度”“皮层体积”和“表面积”。结构特征诱导的贡献最大的ROI分布在大脑的双侧。眼窝额叶皮层和颞极的“皮层厚度”以及前额叶皮层和眶额叶皮层的“表面积”被100%选择。尽管功能连接特征的平均选择频率低至0.02但两条功能连接一条位于左初级感觉皮层与右下顶叶皮层之间另一条连接右中扣带皮层与右钡盖仍以高达90%的频率参与预测年龄。特征的重要性与置换重要性进一步讨论。从形态学角度看最具贡献的投资回报率是满足以下条件的1选择频率高于90%;2PI 1的单尾t检验p值在Bonferroni修正后小于0.05。如图8a所示贡献最大的ROI是左侧三叉神经节背区、初级视觉皮层、第二视觉区、右眼窝额叶皮层和左前额叶皮层。从功能角度看最有贡献的投资回报率和功能连接性特征满足以下要求1选择频率高于50%;2私家侦探 1.由于所有函数连通性得到的p值在Bonferroni修正后均大于0.05故未考虑PI 1的单尾t检验的p值。如图8b所示右鹞皮层、右初级感觉皮层、右初级运动皮层和双侧中扣带皮层被发现为最重要的ROI。图8。功能的重要性。其特征类型中选择频率高于阈值0.7、0.75、0.80、0.85、0.90和0.95特征的百分比通过分组直方图显示于a。满足以下要求的形态学贡献回报率ROI如1选择频率大于0.90,2检验“PI1”的p值小于0.05均见a。满足以下要求的贡献最大的功能连接性和投资回报率ROI见b1选择频率大于0.50,2其置换重要性大于1。为简化起见子图b中的连接性图中每个脑半球的180个ROI根据地理接近度和功能相似性被分为22个部分[30]其中L和R分别代表左半球和右半球。两个部分之间的功能连通性被测量为相关ROI之间连通性的最大值。图9。基于t-SNE的可视化aDMM-AAE获得的无年龄预测模块的潜在变量bDMM-AAE获得的潜在变量以及c原始特征集。讨论DMM-AAE在不完全多模态神经图像下对婴儿年龄预测的表现1潜在变量的解缠解决了fMRI数据可能引入的噪声问题如图6所示使用多模数据并不总能保证仅用单模数据时表现优于其他数据。不当融合可能导致性能比仅使用sMRI的模型更差。我们提出的DMM-AAE安排相对独立的自编码器来分离模态并在交叉重构要求下采用纠缠来整合。通过共同编码构建模态之间的联系和区分它们的特定编码我们的DMM-AAE方法有效结合信息并限制模态间可能的干扰。2根据拟议的损失确保潜在变量的解缠图10展示了DMM-AAE训练和测试过程中损失在迭代过程中的变化。结果显示共识相似度损失共同码之间的距离减少而特定相似度损失特定码之间的距离按预期增加这表明两种模态的共同码变得更相似而它们的特定码在迭代中逐渐区分彼此。这一结果验证了在管理潜在变量解缠过程中公共比值损失的可行性。随着交叉重建损失的减少解缠的有效性进一步得到保障。此外AAELate是DMM-AAE的一种版本既不包含潜在变量解缠也不限制共同特异比损失和交叉重建损耗。如表二所示DMM-AAE优于AAELate的事实证明了潜变量解缠及其结合的新正则化的优越性。3多模态神经图像的不完全性通过DMMAAE中嵌入的补值策略很好地处理由于缺失模态补值算法嵌入DMM-AAE以处理不完整的神经影像数据进行了比较以证明其有效性。原始数据集被分为完整部分无模态缺失和未完整部分缺失一个模态。随后AAE早期、AAE晚期和DMM-AAE所获得的年龄预测表现被拆分为完整和不完整两部分。记录了这两个数据部分的绝对误差的平均值、标准差和中位数并对20次10折交叉验证进行了平均值。比较结果见表V。对于早期和晚期的AAE不完整数据的MAE比完整数据大四天。然而DMMAAE 对不完整数据的表现同样重要有时甚至比完整数据更好后者验证了DMM-AAE中嵌入的补补策略很好地处理了缺失的模态问题。为了进一步分析基于DMM-AAE的推算数据我们通过随机删除5%的sMRI生成了合成数据集。表VI中报告了五次十折交叉验证所得特征与推值特征之间的MRAE和RMSE均方根误差。结果显示DMM-AAE仍然优于其他四种最先进的缺失数据补值方法。 4年龄相关潜在变量通过年龄预测与潜在变量学习的整合来学习作为一种流行的无监督、非线性高维数据可视化技术t分布随机邻居嵌入t-SNE[43]直观地展示了数据在高维空间中的排列情况及其是否良好分离。在我们的研究中由于多模态神经影像数据融合和年龄预测已被整合进一个统一框架我们使用t-SNE来评估DMM-AAE获得的潜在变量是否与年龄相关。DMM-AAE或无年龄预测模块的DMM-AAE获得的原始数据和潜在变量通过t-SNE可视化初始化PCA随机状态500困惑度5如图9所示。没有年龄预测模块的DMM-AAE意味着预测变量被排除在基本模型之外因此年龄回归损失从DMM-AAE的全部目标中被移除。它表明DMM-AAE获得的潜变量按年龄排列得当而DMM-AAE未嵌入年龄预测的潜变量在图中分散且完全无年龄相关性。因此DMMAAE 实现了在统一框架中学习年龄相关潜在变量并有潜力提供年龄相关脑发育指数。早期脑发育的重要生物标志物1皮层厚度被识别为脑发育的重要生物标志物皮层厚度被确定为大脑发育的重要生物标志物预测模型包含六种形态特征LGI、平均凸性、平均曲率、皮层厚度、表面积和皮层体积而皮层厚度作为年龄预测中选择频率最高的预测因子。由于某一位置大脑皮层的厚度很可能反映了皮层神经元的组织结构而不仅仅是指笛卡尔搜索空间内灰质组织的密度皮层厚度可能比其他指标更能揭示大脑结构与智力[44]、正常发育、衰老和脑部疾病[45]的关系。我们的结果进一步支持皮层厚度在脑发育监测中的优越性。2发现重要的投资回报和功能连接可能揭示出生后头两年的大脑发育模式在年龄预测中早期视觉皮层皮层厚度的重要性揭示了其区分大脑发育状态的能力这与角皮层皮层厚度相对分布的显著变化相符从出生时较厚的区域转变为相对薄的区域1岁时和舌回从出生时较厚的区域转变为1岁时的无显著区域[46]。与形态学相关的贡献最大的ROI分布在大脑的双侧而向右不对称则表现在功能连接相关的贡献最大者中。这一事实可能表明差异在于大脑早期的结构和功能发育轨迹。此外主要功能区与高阶功能区之间连接的重要性可能意味着这些区域之间日益高效的连接在前两年将得到显著加强。局限性和未来展望尽管AAE已被验证为多模态神经影像融合的有效模型但一些流行的自编码器类型如变分自编码器VAE可能对我们的研究有用。尤其是基于VAE模型的解缠表示学习[47]试图区分对不同生成因素变化敏感的潜在单元具有极大潜力扩展我们当前的研究。此外不同的脑部结构、不同sMRI特征如皮层髓鞘形成、T1白灰对比、不同功能特征如低频波动幅度、区域均质性以及更多模式如扩散MRI都可以考虑提升婴儿年龄预测的准确性。此外我们提出的DMM-AAE主要框架聚焦于两种模态的融合。虽然将通用代码和特定代码的概念推广到三种或更多模态并不难但我们未来的工作中应进行更具体的设计。最后嵌入式特征选择方法未来也将被研究因为它同时整合了建模与特征选择并且特征选择与模型归纳之间有更好的协调。总结本文提出了一种解缠多模态对抗自编码器以解决基于多模态神经影像的婴儿年龄预测中信息融合效果不佳的问题。结合交叉重建和共比比调控引入了潜变量解缠策略利用多种模态之间的相关性避免模态纠缠产生的噪声。结合sMRI和fMRI数据实验结果验证了我们模型相对于多种心态方法的优越性。我们提出的DMM-AAE作为多模态数据预测的有前景模型并有望研究正常与异常大脑发育。