文章Omni-IML: Towards Unified Image Manipulation Localization代码暂无单位华南理工大学、合合信息股份有限公司、香港中文大学一、问题背景当前主流的Image Manipulation Localization(IML)方法大多依赖特定任务设计仅能在目标场景如自然图像、文档图像中发挥作用跨任务性能严重下滑。若简单将多个IML任务联合训练又会导致所有任务的性能显著下降——例如部分模型在自然图像篡改检测中表现优异却无法适配文档图像的边缘特征不明显、目标特征模糊等问题而针对文档优化的频率-视觉融合方法在噪声多、多样性高的自然图像中效果大打折扣。此外现有方法还面临两大核心痛点一是过度依赖任务相关的架构设计、输入模态和训练策略缺乏跨场景适应性二是不同篡改任务产生的篡改痕迹差异巨大统一模型难以有效区分。同时仅实现篡改区域定位缺乏说服力行业亟需能通过自然语言解释篡改痕迹的可解释性模型而现有数据集要么覆盖场景有限要么标注质量不足无法支撑此类模型的训练。二、方法创新Omni-IML通过三大核心模块实现跨任务通用化并构建高质量数据集与解释模块形成完整解决方案1. 三大核心模块实现统一篡改定位模态门编码器Modal Gate Encoder自动为每个输入样本选择最优编码模态纯视觉或视觉频率融合。通过分析频率特征的噪声水平和粗预测结果的可信度在文档图像等视觉异常不明显的场景中发挥频率特征优势在自然图像等复杂噪声场景中规避频率特征的干扰。异常增强模块Anomaly Enhancement通过额外的边界框监督在训练阶段增强篡改区域特征、抑制噪声。采用检测与分割任务协作的设计既避免了任务间的参数竞争又不增加推理阶段的计算负担有效提取不同图像类型的通用篡改特征。动态权重解码器Dynamic Weight Decoder根据输入图像的特征和篡改类型自适应选择最优解码器滤波器。通过全局特征与局部特征的交互为自然图像的边缘异常、文档图像的频率域不连续、伪造人脸的纹理异常等不同篡改痕迹匹配专属解码策略。2. 高质量数据集与解释模块Omni-273k数据集采用创新的思维链chain-of-thoughts自动标注技术通过“篡改目标识别→聚焦痕迹描述→自我检查”三步流程解决多目标篡改标注混淆、弱痕迹标注不准确的问题。数据集包含27.3万张样本覆盖自然图像、文档、人脸、场景文本四大核心类型支持单/多目标篡改标注且采用结构化JSON格式便于细粒度模型训练与评估。解释模块Interpretation Module将解码器预测的篡改掩码与原始图像融合生成参考视觉提示输入多模态大语言模型实现对篡改区域内容、位置、纹理异常、语义矛盾等痕迹的自然语言描述大幅提升篡改检测的可信度。三、实验结果Omni-IML在四大核心IML任务中均取得SOTA性能且验证了方法的有效性1. 跨任务性能表现优异在自然图像、文档、人脸、场景文本四大类任务的多个基准数据集上Omni-IML使用单一模型参数无需任务特定微调均超越了专门针对各任务优化的现有模型。例如在文档图像篡改定位中IoU达到0.758仅比单任务训练时下降1.6个百分点而传统方法联合训练后的性能下降普遍超过6个百分点。2. 消融实验验证核心模块价值移除模态门编码器w.o. MG平均IoU下降8.5个百分点移除动态权重解码器w.o. DWD平均IoU下降10.5个百分点移除异常增强模块w.o. AE平均IoU下降2.9个百分点无任何核心模块的基线模型平均IoU比Omni-IML低14.2个百分点。3. 解释能力显著提升在Omni-273k数据集上结合参考视觉提示的解释模块在文本识别、位置定位、痕迹描述等细粒度指标上均优于传统方法平均分数提升16%-23%BLEU值最高达到0.360大幅改善了多模态模型对篡改痕迹的解释准确性。四、优势与局限优势通用性强首个能同时在四大核心IML任务中达到SOTA性能的通用模型无需为不同场景单独部署模型降低维护成本可解释性好通过自然语言描述篡改痕迹解决了传统模型“只定位、不解释”的信任度问题数据集优质Omni-273k是目前规模最大、覆盖最全面、标注质量最高的可解释IML数据集为行业研究提供重要支撑实用性高推理成本与传统单任务模型相当无需额外计算开销便于实际部署。局限未覆盖所有极端场景如极低分辨率图像、复杂混合篡改方式的验证跨域泛化能力仍有提升空间解释模块依赖多模态大语言模型推理速度受限于大模型响应时间难以满足实时检测场景需求训练过程需要整合多任务数据数据预处理和标注成本较高小型团队难以复现。五、一句话总结Omni-IML通过模态自适应编码、动态解码与异常增强的创新设计结合高质量通用数据集与可解释模块首次实现了单一模型在多场景图像篡改定位任务中的SOTA性能为统一化、可解释的图像取证技术提供了开创性解决方案。