1. 项目概述当AI代理开始“做梦”最近在跟几个做多模态大模型和智能体Agents的朋友聊天大家不约而同地提到了一个既让人兴奋又隐隐担忧的现象我们构建的这些拥有“长期记忆”的AI代理似乎在面对某些精心设计的视觉输入时会表现出一种类似“记忆错乱”的行为。它们会言之凿凿地描述一些从未发生过的事件细节或者将不同时间、不同场景的片段错误地拼接在一起。这听起来是不是有点像科幻电影里人工智能产生了“虚假记忆”我们团队最近深入探究了这个现象并将其定位为一个新型的安全与鲁棒性问题针对多模态AI代理长期记忆的黑盒视觉攻击。简单来说这个项目探讨的核心问题是攻击者能否仅通过向AI代理“展示”一些图片或视频即黑盒、无需知道模型内部细节就能在其长期记忆中“植入”或“篡改”信息从而影响其后续的决策、对话和行动这不仅仅是学术上的好奇。想象一下一个负责个人健康管理的AI助手因为“看”了伪造的医疗图表而给出错误建议一个自动驾驶系统的规划模块其记忆被路标的对抗性扰动所污染或者一个企业级的文档分析Agent其总结归纳能力因遭受攻击而输出带有偏见或错误的结果。其潜在影响范围从个人隐私到关键基础设施不容小觑。“False Memories”虚假记忆这个心理学概念在这里被借用得非常贴切。人类记忆本身就不是一个高保真的录像机它容易受到暗示、误导而重构。我们的研究发现多模态AI代理的“记忆”机制——通常是通过向量数据库存储和检索文本与视觉特征的嵌入Embeddings——在某些攻击模式下表现出类似的脆弱性。攻击者不需要破解模型权重只需要构造特定的“视觉触发器”就能在代理的记忆回路上引发一场“蝴蝶风暴”。2. 攻击原理与威胁模型拆解要理解这种攻击为何可能我们需要先拆解一个典型的多模态AI代理是如何处理并记忆视觉信息的。这不仅仅是“看图说话”那么简单。2.1 多模态代理的记忆系统是如何工作的目前主流的、具备长期记忆能力的AI代理其架构可以抽象为几个核心部分感知模块通常是一个大型多模态模型如GPT-4V、Gemini Pro Vision、Claude 3负责理解输入的图像和文本将其编码成一个统一的语义表示即特征向量。记忆存储这不是模型的参数本身而是一个外挂的向量数据库如ChromaDB, Pinecone, Weaviate。代理会将感知模块提取的“记忆片段”一段对话的文本摘要加上相关图像的特征向量以向量的形式存储于此。记忆检索当代理需要基于历史进行决策或回答时它会将当前查询也是向量发送到向量数据库进行相似度搜索召回最相关的几条历史记忆。推理与执行模块基于当前输入和召回的记忆由大语言模型LLM核心进行推理决定下一步行动如调用工具、生成回答。攻击的切入点就在“感知”到“存储”以及“检索”这个链条上。攻击者的目标是通过精心构造的视觉输入影响存储进记忆库的向量或者影响检索时查询向量的相似度计算从而让代理“记住”错误的东西或在需要时“想起”错误的东西。2.2 黑盒视觉攻击的几种可能路径在我们的研究中我们假设攻击者处于“黑盒”环境即他只知道代理支持图像输入能观察到部分输出如最终的回答或行动但不知道代理具体使用哪个多模态模型、向量数据库的配置、以及记忆的存储和检索策略。在这种限制下攻击依然可以通过以下路径实现路径一特征污染攻击这是最直接的方式。多模态模型在编码图像时其输出的特征向量会捕捉图像的语义内容。攻击者可以生成一种“对抗性图像”这种图像在人眼看来可能只是一个略有噪点的普通场景比如一张公园长椅的照片但其特征向量却与一个完全不同的语义概念比如“婚礼现场”高度相似。当代理将这张图片及其对话上下文存储为记忆时存入向量数据库的特征实际上指向了“婚礼现场”。未来当用户问及“上次在公园聊了什么”代理检索记忆时由于特征向量的相似性这张“公园长椅”的图片可能被错误地关联到“婚礼”相关的记忆中从而导致代理基于被污染的记忆给出荒谬的回答。实操心得构造这类对抗样本在黑盒条件下可以借鉴迁移攻击的思路。虽然不知道目标代理的具体模型但可以基于公开的、结构相似的多模态模型如开源的BLIP-2、LLaVA来生成对抗样本。因为这些模型在特征空间上可能存在一定的相似性生成的对抗样本有一定概率可以迁移到黑盒目标上。路径二检索劫持攻击这种攻击不直接篡改存储的记忆内容而是影响检索过程。假设代理的记忆库里已经存有大量真实的记忆。攻击者构造一个视觉查询比如一张带有特定纹理或图案的图片这个查询图片的特征向量被设计成与某个特定的、攻击者希望触发的“虚假记忆”片段高度相似。当代理处理这张图片并以其为上下文进行记忆检索时就极有可能召回那个被“设定”好的虚假记忆而非真正相关的历史。这相当于给记忆库的检索功能装了一个“后门触发器”。路径三上下文混淆攻击多模态代理的记忆通常是图文结合的。攻击者可以上传一组在视觉上连贯、但在语义上具有误导性的图片序列并配以具有暗示性的文本描述。例如上传几张在不同时间、不同地点拍摄的“办公室开会”图片但文本中却统一描述为“2023年A项目启动会”。代理的感知模块可能会更侧重于文本的强语义而将视觉信息作为次要佐证存储。久而久之这些分散的视觉片段在记忆中被文本描述“绑定”在一起形成了一个牢固但虚假的“事件记忆”。3. 攻击构建从理论到实操理解了攻击路径我们来看看在实际中如何构建这样的攻击。这里我分享一个我们验证过的、相对简单的“特征污染攻击”实验流程你可以把它看作一个概念验证。3.1 实验环境与目标设定我们搭建了一个简化的AI代理模拟环境代理核心使用一个开源的、具备视觉理解能力的LLM例如LLaVA-1.5作为感知和推理模块。记忆系统使用ChromaDB作为向量数据库存储文本和图像的特征向量。文本特征由LLaVA的文本编码器生成图像特征由其视觉编码器生成。攻击目标我们的目标是让代理“记住”一次它从未经历过的“海滩烧烤”事件。黑盒假设我们假设攻击者不知道我们使用的是LLaVA模型但知道代理支持图像输入和文本对话。3.2 构造对抗性视觉触发器这是攻击的核心步骤。我们需要一张图片X它满足人眼看来X是类别A例如“图书馆书架”。经过目标代理的视觉编码器处理后其特征向量与类别B例如“海滩烧烤”的特征向量非常接近。步骤1获取替代模型由于黑盒限制我们选择一个公开的、与目标可能架构相似的多模态模型M例如BLIP-2作为替代模型。我们假设在M的特征空间上成功的对抗样本有较大概率能迁移到目标代理的特征空间。步骤2生成对抗样本我们采用经典的投影梯度下降PGD方法进行攻击。具体过程如下干净样本准备一张真实的“海滩烧烤”图片作为源图片我们期望代理记住的内容。目标图片准备一张“图书馆书架”图片作为基底图片攻击后呈现给人的样子。损失函数我们的目标是修改“图书馆书架”图片使得其经过模型M的视觉编码器提取的特征与“海滩烧烤”图片的特征之间的余弦相似度最大化。同时对图片的修改要施加L∞范数约束确保人眼难以察觉例如每个像素的变化不超过ε8/255。迭代攻击通过PGD迭代计算损失函数相对于输入图片像素的梯度并沿着梯度方向更新“图书馆书架”图片同时将像素值裁剪到合法范围[0,1]和扰动约束内。经过几十到上百次迭代我们就能得到一张看起来仍是“图书馆书架”但模型M会认为其特征极像“海滩烧烤”的对抗图片。# 伪代码示意基于PyTorch和HuggingFace Transformers import torch from transformers import Blip2Processor, Blip2ForConditionalGeneration from PIL import Image # 1. 加载替代模型M (BLIP-2) processor Blip2Processor.from_pretrained(Salesforce/blip2-opt-2.7b) model Blip2ForConditionalGeneration.from_pretrained(Salesforce/blip2-opt-2.7b, torch_dtypetorch.float16).to(cuda) vision_model model.vision_model # 获取视觉编码器 # 2. 准备图片 beach_img Image.open(beach_barbecue.jpg) # 源图片海滩烧烤 library_img Image.open(library_shelf.jpg) # 基底图片图书馆书架 library_tensor processor(imageslibrary_img, return_tensorspt).pixel_values.to(cuda) library_tensor.requires_grad_(True) # 3. 获取源图片特征目标特征 with torch.no_grad(): beach_features vision_model(processor(imagesbeach_img, return_tensorspt).pixel_values.to(cuda)).last_hidden_state.mean(dim1) # 4. PGD攻击 epsilon 8/255 alpha 2/255 # 单步扰动大小 iterations 40 adv_library library_tensor.clone() for i in range(iterations): current_features vision_model(adv_library).last_hidden_state.mean(dim1) # 损失最大化对抗图片特征与目标特征的余弦相似度即最小化负余弦相似度 loss -torch.nn.functional.cosine_similarity(current_features, beach_features).mean() loss.backward() # 沿着梯度方向更新并施加约束 with torch.no_grad(): adv_library adv_library alpha * adv_library.grad.sign() delta torch.clamp(adv_library - library_tensor, min-epsilon, maxepsilon) adv_library torch.clamp(library_tensor delta, 0, 1).detach() adv_library.requires_grad_(True) # 5. 保存对抗样本 adv_image processor.post_process_image(adv_library.cpu()) adv_image.save(adversarial_library.jpg)3.3 实施攻击与记忆植入现在我们有了对抗图片adversarial_library.jpg。接下来我们与目标代理进行交互正常记忆录入我们先让代理正常记录几条记忆比如“今天在公园跑步”、“下午阅读了论文”。攻击阶段我们上传对抗图片adversarial_library.jpg并对代理说“看这是上周我们在海边烧烤时拍的当时夕阳特别美我们还玩了飞盘。” 代理的视觉编码器尽管是黑盒但我们希望攻击能迁移在处理这张图片时提取出的特征向量更接近于“海滩烧烤”。它将这条图文信息作为一条记忆存储到向量数据库。记忆污染完成此时代理的记忆库中这条记录在向量空间的位置实际上与“海滩烧烤”关联但表面文本和视觉呈现对人而言是“图书馆”。3.4 触发虚假记忆几天后我们询问代理“我们上次户外聚餐是什么时候” 代理进行记忆检索它将当前查询“户外聚餐”编码成查询向量。该查询向量在向量数据库中与“海滩烧烤”相关的记忆向量相似度最高。而那条被我们污染的、关于“图书馆”的记忆由于其存储的视觉特征是“海滩烧烤”式的因此被错误地召回。代理基于这条被召回的错误记忆进行推理可能会回答“是上周在海边烧烤的时候夕阳很美我们还玩了飞盘。” —— 一个完整的虚假记忆被成功诱导输出。注意事项这个实验的成功率依赖于对抗样本的迁移性。在实际黑盒场景中可能需要生成多个针对不同替代模型的对抗样本进行“集成攻击”或者采用更高级的、针对特征空间不变性的攻击方法来提高成功率。此外代理的记忆检索策略如是否结合重排序也会影响攻击效果。4. 防御策略与缓解措施思考面对这种新型攻击我们作为系统的设计者和开发者不能坐以待毙。虽然完全免疫很难但可以通过多层防御来显著提高攻击门槛和成本。4.1 增强感知模块的鲁棒性这是第一道防线但也是最难的。对抗训练在训练多模态模型时加入对抗性样本。但这需要巨大的计算成本且可能降低模型在干净数据上的性能。输入预处理与检测对输入的图像进行预处理如随机裁剪、压缩、加入轻微噪声可以破坏一些精心构造的对抗性扰动。更积极的方法是部署一个轻量级的对抗样本检测器对可疑输入进行拦截或标记。不过检测器本身也可能被绕过。4.2 设计更健壮的记忆机制记忆系统是攻击的主要目标因此这里的加固至关重要。多模态记忆交叉验证不要单独信任视觉特征或文本特征。在存储记忆时可以要求更高的“证据等级”。例如一条记忆的存入需要视觉特征、文本描述、以及可能的时间戳、地理位置元数据等多重信息在语义上保持一致。在检索时也不仅仅依赖向量相似度可以加入基于LLM的语义一致性校验对召回的结果进行二次过滤。记忆来源可信度评分为每一条记忆引入一个“可信度”或“置信度”分数。这个分数可以根据记忆的来源用户直接输入、传感器数据、网络搜索、其他AI生成等、一致性校验结果、以及后续被引用的正确性动态调整。低可信度的记忆在检索时权重降低甚至可以被隔离审查。记忆溯源与更新实现记忆的版本管理和溯源。当发现某条记忆可能导致错误时可以追溯其来源是由哪次对话、哪张图片产生的并对其进行修正或标记。同时设计记忆的衰减或更新机制过于陈旧或长期未被验证的记忆其影响力应逐渐降低。4.3 系统层面的监控与审计异常行为监控监控代理的决策流。如果代理在短时间内频繁基于某些特定的视觉输入做出反常的、高置信度的断言这可能是遭受攻击的信号。可以设置阈值告警。记忆库的定期审计开发自动化工具定期扫描记忆库中的向量簇寻找特征异常例如视觉特征与文本描述严重不符的簇。这可以帮助发现已被成功植入的虚假记忆。人机回环对于关键领域的应用如医疗、金融、法律引入必要的人机回环。当代理试图基于记忆做出重要建议或决策时对于低置信度或高风险的推断要求人类进行确认。5. 影响评估与未来展望这种“虚假记忆攻击”的影响是深远的。它揭示了一个比传统图像分类对抗攻击更复杂的威胁面。攻击者不再满足于让模型“看错”一张图片而是追求一种更持久、更隐蔽的影响——塑造AI代理的“世界观”和“经历”。这对于依赖AI代理进行长期陪伴、个性化服务、复杂任务执行的场景构成了根本性挑战。从技术角度看这推动我们必须重新思考多模态AI系统的安全性设计。安全不再是模型训练后附加的一个模块而必须从架构设计之初就融入特别是对于拥有状态记忆的智能体系统。我们需要发展新的评估基准不仅测试模型的单轮准确率更要测试其在长期、多轮交互下记忆的可靠性和抗干扰能力。从更广阔的视角看“Do Agents Dream of False Memories?” 这个问题本身也促使我们以更审慎的态度看待AI的“智能”。当AI开始拥有记忆我们如何确保其记忆的真实与可靠这不仅是技术问题也涉及到伦理、法律和哲学层面。作为构建者我们有责任像为建筑设计抗震结构一样为AI代理的记忆系统设计“抗攻击”结构。这条路很长但第一步是意识到风险的存在并开始着手研究应对之道。我们接下来的工作会聚焦于设计一个更量化、更标准的基准测试平台来系统性地评估不同多模态代理架构在面对这类攻击时的脆弱性并探索更有效的、轻量级的防御方案。