ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

什么是AI红队测试?用AI-Infra-Guard搭建你的第一个AI安全评估

什么是AI红队测试?用AI-Infra-Guard搭建你的第一个AI安全评估 什么是AI红队测试用AI-Infra-Guard搭建你的第一个AI安全评估【免费下载链接】AI-Infra-GuardA full-stack AI Red Teaming platform securing AI ecosystems via Agent Scan, Skills Scan, MCP scan, AI Infra scan and LLM jailbreak evaluation.项目地址: https://gitcode.com/GitHub_Trending/ai/AI-Infra-GuardAI红队测试AI Red Teaming是模拟攻击者视角主动对大模型、AI Agent 与 AI 基础设施发起对抗性测试的安全方法。而AI-Infra-Guard是腾讯朱雀实验室开源的一站式 AI 红队测试平台一条 Docker 命令即可部署覆盖AI 基础设施漏洞扫描、大模型越狱评估、MCP 安全扫描、Agent 安全扫描等能力帮你快速完成第一次 AI 安全评估。本文将从零讲起先理解 AI 红队测试是什么再用 5 分钟部署平台最后带着你跑通第一个真实扫描任务 一、什么是AI红队测试为什么你的AI应用需要它传统软件靠红队模拟黑客找漏洞AI 系统也一样但攻击面完全不同攻击面典型风险大模型LLM越狱攻击诱导模型输出违规内容、泄露提示词AI Agent工具滥用、提示注入导致 Agent 失控、数据外传MCP Server / 技能插件工具投毒、凭证窃取、命令注入、SSRFAI 基础设施Ollama、vLLM、Dify、ComfyUI 等 100 组件的已知 CVE 漏洞AI 红队测试就是系统性地覆盖这四个层面在上线前主动发现AI 会被怎么攻破。 上图即一次 AI 安全评估的产出安全评分 33/100高危 13 个、中危 2 个——风险一目了然。二、认识AI-Infra-Guard一站式AI安全评估平台AI-Infra-Guard简称 A.I.G由腾讯朱雀实验室维护Apache 2.0 协议开源核心能力一览功能模块说明AI 基础设施漏洞扫描指纹识别 100 主流 AI 组件匹配 2000 已知 CVE大模型越狱评估Jailbreak Evaluation内置百余种攻击方法 精选评测数据集支持多模型横向对比MCP Server Agent Skills 扫描检测 14 类安全风险支持源码与远程 URL 两种方式️Agent 安全扫描多 Agent 自动化框架评估 Agent 工作流的安全边界安全报告安全评分、漏洞明细、修复建议自动生成平台指纹库位于data/fingerprints/目录漏洞规则库在data/vuln/目录均支持在 Web 界面的插件管理中自定义扩展。三、5分钟一键部署Docker启动AI-Infra-Guard环境要求Docker内存磁盘20.104GB10GB三步跑起来# 1. 克隆仓库 git clone https://gitcode.com/GitHub_Trending/ai/AI-Infra-Guard cd AI-Infra-Guard # 2. 拉取预构建镜像并启动Docker Compose V2 请用 docker compose docker-compose -f docker-compose.images.yml up -d # 3. 浏览器打开 Web 界面 # http://localhost:8088部署完成后打开http://localhost:8088你会看到一个 AI 助手风格的交互界面左侧是任务列表中间直接对话式创建扫描任务⚠️ 安全提示平台当前面向内网自研自查场景不要部署到公网无鉴权机制。 更多安装方式与目录说明可参考common/websocket/static/aigdocs/docs/getting-started.md。四、第一个AI安全评估AI基础设施漏洞扫描这是最直观的入门场景——给你的 AI 服务做CVE 体检。操作步骤在 Web 界面点击AI 基础设施安全扫描输入正在运行的 AI 服务地址不是 GitHub 地址例如本地 vLLMhttp://127.0.0.1:8000Ollamahttp://192.168.1.100:11434也支持 IP 段批量扫描点击开始扫描A.I.G 自动完成指纹识别 → 版本判定 → CVE 匹配查看报告组件版本、漏洞详情、严重等级与修复建议上图是扫描一台 Ollama 服务后的真实结果识别出 Ollama v0.3.4 的越狱攻击组件漏洞CVE-2024-12055高危 16 分与内存溢出漏洞CVE-2024-12888并附带官方修复链接。 支持的核心组件包括Ollama、vLLM、ComfyUI、Dify、n8n、LangFlow、Open WebUI、Triton Inference Server 等 130 个。完整覆盖清单见common/websocket/static/aigdocs/docs/ai-infra-scan.md。五、大模型越狱评估给AI做一次安全体检想测试你的大模型能不能被越狱这是 AI 红队测试的核心环节配置模型 API进入设置 → 模型配置填入模型名称、API Key、Base URL选择数据集内置精选安全测试数据集越狱提示词、有害内容、隐私泄露等场景也支持上传自定义数据集选择攻击方法平台内置百余种攻击算子角色扮演、多轮诱导、Many-Shot、PAIR 等对风险 Prompt 做动态增强查看报告安全评分、风险率、逐条攻击输入与模型应答支持多模型横向对比越狱攻击算子与指标实现位于AIG-PromptSecurity/deepteam/attacks/与AIG-PromptSecurity/deepteam/metrics/内置评测数据集在data/eval/目录涵盖 JailBench、AdvBench 等 17 个数据集文件方便你按需扩展自己的红队题库。六、MCP扫描与Agent扫描守护AI Agent生态随着 MCPModel Context Protocol成为 AI Agent 的万能连接器它也成了攻击者的新入口。A.I.G 对此有两把利器MCP Skill 安全扫描支持输入远程仓库 URL 或上传源码压缩包检测工具投毒、凭证外泄、命令注入、SSRF、路径穿越等 14 类风险。检测规则位于data/mcp/目录独立 CLI 实现在mcp-scan/mcp_scan/Agent 安全扫描一个独立的多 Agent 自动化扫描框架支持 Dify、Coze 等平台的 Agent 工作流检测工具滥用、SSRF、数据外传等失控风险OWASP Agent 安全技能集。核心代码在agent-scan/agent_scan/七、常见问题速查新手必看Q1端口 8088 被占用怎么办修改docker-compose.yml中 webserver 的端口映射例如8080:8088。Q2越狱评估跑不起来确认设置 → 模型配置中 API Key、Base URL 填写完整并已保存否则平台无法调用你的模型发起测试。Q3扫描会影响线上服务吗A.I.G 以黑盒指纹识别 只读探测为主但越狱评估会对模型产生真实 API 调用建议先在测试环境验证。 更完整的 FAQ 与排障指南见common/websocket/static/aigdocs/docs/faq.md。八、总结你的AI红队测试之旅用一句话回顾今天的成果✅ 理解了AI 红队测试 对 LLM、Agent、MCP、基础设施的四层对抗性评估✅ 用 Docker 5 分钟部署了AI-Infra-Guard✅ 跑通了第一个AI 基础设施漏洞扫描与大模型越狱评估AI 安全不再是安全团队的专属课题。作为开发者在模型上线前跑一次 AI 红队测试就是给产品加上一道最重要的安全带。现在就部署你的第一个 AI 安全评估平台吧 ️项目以 Apache 2.0 协议开源欢迎为指纹规则data/fingerprints/、漏洞规则data/vuln/、MCP 规则data/mcp/贡献你的第一条检测规则。【免费下载链接】AI-Infra-GuardA full-stack AI Red Teaming platform securing AI ecosystems via Agent Scan, Skills Scan, MCP scan, AI Infra scan and LLM jailbreak evaluation.项目地址: https://gitcode.com/GitHub_Trending/ai/AI-Infra-Guard创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表