Emergent Morphing Attack Detection in Open Multi-modal Large Language ModelsAuthors:Marija Ivanovska, Vitomir ŠtrucDeep-Dive Summary:开源多模态大语言模型中的突发变形攻击检测摘要面部变形攻击Face morphing attacks威胁着生物特征验证的安全但大多数变形攻击检测MAD系统需要特定任务的训练且对未知攻击类型的泛化能力较差。与此同时开源多模态大语言模型MLLMs展示了强大的视觉语言推理能力但其在生物特征取证中的潜力尚未得到充分挖掘。本文首次对开源 MLLMs 进行系统的单图像 MAD 零样本评估使用公开权重和标准化的可复现协议。在多种变形技术下许多 MLLMs 在无需微调或领域自适应的情况下表现出非凡的判别能力。其中LLaVA1.6-Mistral-7B 达到了最先进的性能在等错误率EER方面比极具竞争力的特定任务 MAD 基线至少高出23 % 23\%23%。结果表明多模态预训练可以隐式编码指示变形伪影的细微面部不一致性从而实现零样本取证敏感性。关键词多模态大语言模型 (MLLMs), 变形攻击检测 (MAD), 零样本学习, 生物特征取证, 人脸识别安全1. 引言变形攻击通过使单个变形图像能够通过多个身份的验证破坏了生物特征验证的完整性。现有的 MAD 方法往往难以识别未见的攻击类型且缺乏可解释性。最近 MLLMs 的进展表明通过视觉和文本表示的对齐模型具备了突发的推理能力能够捕捉图像的不一致性。本研究对开源 MLLMs 在单图像变形攻击检测S-MAD中进行了首次系统分析。我们评估了一系列最新的 MLLMs采用严格的零样本协议来隔离模型推理面部真实性的固有能力。研究发现LLaVA1.6-Mistral-7B 作为一个新的开源基准其表现甚至超过了专门为此任务训练的最先进系统。我们的贡献包括(i) 系统性的开源 MLLM 零样本基准测试(ii) 跨模型的性能模式分析(iii) 与特定任务 MAD 系统的对比(iv) 对 MLLM 突发视觉语义推理及其在取证中应用前景的见解。2. 相关工作多模态大语言模型从 CLIP、Flamingo 等基础模型演进到 LLaVA、Qwen-VL 等通过指令微调实现强大泛化能力的模型。它们对齐细粒度视觉特征与语义理解的能力使其在伪造检测任务中极具潜力。仅视觉变形攻击检测现有的深度学习方法如 CNN、小波网络等在域内准确率高但泛化性有限。一些无监督或自监督方法尝试在无标签的情况下检测伪影。用于人脸伪造的视觉语言模型已有研究探讨了 MLLMs 在检测 Deepfake 和演示攻击中的应用但在 MAD 领域的研究较少。本研究填补了这一空白揭示了开源 MLLMs 潜在的取证敏感性。3. 方法论我们将 S-MAD 公式化为一个零样本视觉推理问题。令X \mathcal{X}X表示人脸图像空间Y { y e s , n o } \mathcal{Y} \{\mathrm{yes}, \mathrm{no}\}Y{yes,no}为二元标签空间yes 为变形攻击no 为真实图像。MLLM 定义了一个条件概率分布P θ ( y ∣ x , p ) ( 1 ) P_{\theta}(\mathbf{y}\mid \mathbf{x},p) \quad (1)Pθ​(y∣x,p)(1)其中θ \thetaθ为模型参数p pp为文本提示词。决策规则为y ^ arg ⁡ max ⁡ y ∈ Y P θ ( y ∣ x , p ) ( 2 ) \hat{\mathbf{y}} \arg \max_{\mathbf{y}\in \mathcal{Y}}P_{\theta}(\mathbf{y}\mid \mathbf{x},p) \quad (2)y^​argy∈Ymax​Pθ​(y∣x,p)(2)LLM 是自回归的通过计算 logits 向量z n \mathbf{z}_nzn​并导出下一个 token 的概率P ( t n 1 ∣ t 1 , … , t n ) softmax ⁡ ( z n ) . ( 3 ) P(t_{n 1} \mid t_1, \ldots , t_n) \operatorname {softmax}(\mathbf{z}_n). \quad (3)P(tn1​∣t1​,…,tn​)softmax(zn​).(3)我们提取与 “yes” 和 “no” 相关的 logits并应用 softmax 函数P θ ( y ∣ x , p ) exp ⁡ ( z y ) exp ⁡ ( z y e s ) exp ⁡ ( z n o ) , y ∈ { y e s , n o } . ( 4 ) P_{\theta}(y \mid x, p) \frac{\exp(z_y)}{\exp(z_{yes}) \exp(z_{no})}, y \in \{yes, no\}. \quad (4)Pθ​(y∣x,p)exp(zyes​)exp(zno​)exp(zy​)​,y∈{yes,no}.(4)所得的P θ ( y e s ∣ x , p ) P_{\theta}(yes \mid x, p)Pθ​(yes∣x,p)表示模型认为输入图像是变形攻击的概率。我们使用统一的提示词以确保决策上下文的一致性且不提供任何具体的法证提示。4. 实验设置评估指标使用解码器最后一层的 logits 计算连续得分并报告等错误率EER和在固定 MACER 5% 下的 BSCER。测试数据在五个广泛使用的单图像变形数据集上进行评估FRLL-Morphs、MIPGAN II、MorDIFF、Morph-PIPE 和 Greedy-DiM涵盖了从基于地标的变形到基于 GAN 和扩散模型的各种技术。5. 结果开源 MLLMs 基准测试表 1 总结了不同规模 MLLMs 的表现。结果显示中型模型7B-17B 参数通常表现最佳LLaVA1.6-Mistral-7B 平均 EER 为2.75 % 2.75\%2.75%达到最优。虽然大模型表现优于小模型但在某些情况下不及中型模型说明模型规模并不等同于取证敏感性的提升。效率与准确率权衡图 2显示中型模型在计算成本和性能之间达到了最佳平衡。与特定任务 MAD 的比较LLaVA1.6-Mistral-7B 在 EER 上比排名第二的 SelfMAD 提升了23 % 23\%23%在 BSCERMACER(5%) 上提升了21 % 21\%21%。它远超基于 CLIP 的零样本方法CLIP-ZSL以及在 SMDD 数据集上训练的监督方法如 UBO-R3。提示词设计的影响图 3 显示对于中小型模型复杂的提示词包含伪影指导或 ROI 指导反而会降低性能可能是因为额外信息引入了混淆。而大模型通常能从丰富的语义指导中受益。视觉语言可解释性通过分析 LLaVA1.6-Mistral-7B 的推理描述和视觉注意力图图 4我们发现模型的决策与视觉伪影如不自然的边缘、纹理不一致等高度相关具有良好的可解释性。6. 结论 (Conclusion)本项工作提出了一套评估协议并建立了首个用于评估开源多模态大语言模型MLLMs在单图像人脸融合攻击检测S-MAD中表现的全面零样本zero-shot基准测试。研究分析了多种近期的 MLLMs并将其与在不同设计范式和监督机制下开发的任务特定尖端SOTA融合检测器进行了对比。研究结果表明尽管 MLLMs 最初是为通用的视觉-语言推理而非生物特征取证而训练的但它们对人脸融合伪影展现出了显著的潜在敏感性。这说明大规模多模态对齐赋予了这些模型可迁移的取证推理能力——即在没有显式监督的情况下能够将语义理解与细微的图像不一致性联系起来。值得注意的是LLaVA1.6-Mistral-7B 达到了新的 SOTA 水平超越了其他开源 MLLMs 以及高度优化的任务特定 MAD 架构。除了检测准确率外MLLMs 相比传统 MAD 方法还具有多项优势它们以真正的零样本方式运行能够通过基于提示prompt的调节适应未见的攻击类型能够产生人类可解释的输出从而实现更透明和可验证的决策。这种可解释的响应在安全关键或法律取证背景下尤为重要因为在这些场景中可解释性、问责制和信任度是必不可少的。此外单一基座模型在不同生物特征篡改任务中的泛化能力凸显了其作为统一视觉完整性评估框架的潜力。这些发现为在生物特征取证中使用基座模型开辟了一个充满前景的方向。未来的工作将探索轻量化适配或微调策略以在保持可解释性并降低计算成本的同时进一步提高准确率。7. 写作过程中生成式 AI 及 AI 辅助技术的声明在准备本工作的过程中作者使用了 ChatGPT 以提高手稿的可读性和语言质量。使用该工具/服务后作者根据需要对内容进行了审查和编辑并对发表文章的内容承担全部责任。资助 (Funding)本工作所展示的研究得到了斯洛文尼亚研究机构 (ARIS) 研究计划 P2-0250(B) “计量与生物识别系统” 以及 ARIS 研究项目 J2-50065 “DeepFake DAD” 的部分资助。Original Abstract:Face morphing attacks threaten biometric verification, yet most morphing attack detection (MAD) systems require task-specific training and generalize poorly to unseen attack types. Meanwhile, open-source multimodal large language models (MLLMs) have demonstrated strong visual-linguistic reasoning, but their potential in biometric forensics remains underexplored. In this paper, we present the first systematic zero-shot evaluation of open-source MLLMs for single-image MAD, using publicly available weights and a standardized, reproducible protocol. Across diverse morphing techniques, many MLLMs show non-trivial discriminative ability without any fine-tuning or domain adaptation, and LLaVA1.6-Mistral-7B achieves state-of-the-art performance, surpassing highly competitive task-specific MAD baselines by at least 23% in terms of equal error rate (EER). The results indicate that multimodal pretraining can implicitly encode fine-grained facial inconsistencies indicative of morphing artifacts, enabling zero-shot forensic sensitivity. Our findings position open-source MLLMs as reproducible, interpretable, and competitive foundations for biometric security and forensic image analysis. This emergent capability also highlights new opportunities to develop state-of-the-art MAD systems through targeted fine-tuning or lightweight adaptation, further improving accuracy and efficiency while preserving interpretability. To support future research, all code and evaluation protocols will be released upon publication.PDF Link:2602.15461v1部分平台可能图片显示异常请以我的博客内容为准