Concept-Enhanced Multimodal RAG: Towards Interpretable and Accurate Radiology Report GenerationAuthors:Marco Salmè, Federico Siciliano, Fabrizio Silvestri, Paolo Soda, Rosa Sicilia, Valerio GuarrasiDeep-Dive Summary:概念增强的多模态 RAG迈向可解释且准确的放射学报告生成摘要利用视觉语言模型VLMs进行放射学报告生成RRG有望减轻文档负担、提高报告一致性并加速临床工作流程。然而由于缺乏可解释性以及容易产生与影像证据不符的“幻觉”发现其临床应用仍然受限。现有的研究通常将可解释性和准确性视为独立的目标基于概念的可解释性技术主要关注透明度而检索增强生成RAG方法则通过外部检索针对事实性依据factual grounding。我们提出了概念增强型多模态 RAGCEMRAG这是一个统一的框架它将视觉表示分解为可解释的临床概念并将其与多模态 RAG 集成。该方法利用丰富的上下文提示进行 RRG同时提高了可解释性和事实准确性。在 MIMIC-CXR 和 IU X-Ray 数据集上针对多种 VLM 架构、训练方案和检索配置进行的实验表明在临床准确性指标和标准 NLP 度量上该方法始终优于传统 RAG 和仅基于概念的基准。这些结果挑战了公认的可解释性与性能之间的权衡假设表明透明的视觉概念可以增强而非损害医学 VLM 的诊断准确性。我们的模块化设计将可解释性分解为视觉透明度和结构化语言模型调节为构建临床可信的 AI 辅助放射学提供了一条原则性路径。项目页面见 https://github.com/marcosal30/cemrag-rrg。关键词放射学报告生成视觉语言模型医学影像可解释性检索增强生成多模态 AI2 相关工作2.1 视觉语言模型的可解释性VLMs 的可解释性对于临床部署至关重要。目前的方法分为隐式解释机制如理性生成、思维链推理和显式概念表示。隐式方法往往只是“看似合理”的辩解而非计算机制的真实反映。显式概念表示如概念瓶颈模型虽然透明但需要大量人工标注。最近的研究如 SpLiCE通过将视觉表示分解为特定领域词汇表中的临床概念实现了可扩展且透明的解释而无需牺牲表示的灵活性。2.2 医学领域的多模态检索增强生成多模态 RAG 通过在现有临床知识中锚定生成过程缓解了医学 VLM 中的事实幻觉。在 RRG 领域MMed-RAG 和 RULE 等框架通过提供具体的临床示例显著减少了幻觉。尽管 RAG 提供了间接的可解释性但这种透明度是无源的。检索通常通过全局相似性匹配进行缺乏关于应优先考虑哪些解剖结构或病理模式的显式指导。2.3 局限性与动机现有的方法将透明度和事实准确性视为分离的目标。本研究的中心假设是可解释的视觉概念可以作为语义引导机制通过引导检索和生成向输入图像中的临床相关内容靠拢同时增强透明度和准确性。4 实验设置4.1 数据集MIMIC-CXR大规模数据集包含超过 370,000 张胸部 X 光片。我们使用了 156,344 张正面视图。IU X-ray较小的数据集包含 7,470 张图像。我们使用了 3,307 张正面投影。4.2 模型配置与实验条件我们使用CXR-CLIP作为基础对齐模型并采用SpLiCE进行概念提取。评估了两种架构配置LLaVA-Med视觉编码器和 LLMMistral-7B均经过医学预训练。CXR-CLIP Mistral-7B使用医学预训练的 CLIP 配对基础 Mistral-7B。我们评估了四种提示策略仅图像 (Image-Only)仅使用视觉特征。概念 (Concepts)加入从 SpLiCE 提取的 5 个医学关键词。多模态 RAG (Multimodal RAG)加入 3 个相似案例的报告。对于 MIMIC-CXR进行域内检索对于 IU X-ray由于数据量小进行跨域检索从 MIMIC-CXR 中检索。Original Abstract:Radiology Report Generation (RRG) through Vision-Language Models (VLMs) promises to reduce documentation burden, improve reporting consistency, and accelerate clinical workflows. However, their clinical adoption remains limited by the lack of interpretability and the tendency to hallucinate findings misaligned with imaging evidence. Existing research typically treats interpretability and accuracy as separate objectives, with concept-based explainability techniques focusing primarily on transparency, while Retrieval-Augmented Generation (RAG) methods targeting factual grounding through external retrieval. We present Concept-Enhanced Multimodal RAG (CEMRAG), a unified framework that decomposes visual representations into interpretable clinical concepts and integrates them with multimodal RAG. This approach exploits enriched contextual prompts for RRG, improving both interpretability and factual accuracy. Experiments on MIMIC-CXR and IU X-Ray across multiple VLM architectures, training regimes, and retrieval configurations demonstrate consistent improvements over both conventional RAG and concept-only baselines on clinical accuracy metrics and standard NLP measures. These results challenge the assumed trade-off between interpretability and performance, showing that transparent visual concepts can enhance rather than compromise diagnostic accuracy in medical VLMs. Our modular design decomposes interpretability into visual transparency and structured language model conditioning, providing a principled pathway toward clinically trustworthy AI-assisted radiology.PDF Link:2602.15650v1部分平台可能图片显示异常请以我的博客内容为准