尧图网页设计 
1. 项目概述当AI Agent成为新常态基础设施的范式转移最近和几个做AI应用的朋友聊天发现一个挺有意思的现象。大家聊起技术栈不再是“我用Django他用Spring Boot”而是“我的Agent用LangChain他的用AutoGen最近在试Claude Code”。这背后反映的是一个正在发生的深刻变化我们构建软件的核心单元正在从传统的“服务”或“函数”转向一个更智能、更自主的实体——AI Agent。这个转变对技术基础设施Infra提出了全新的拷问。过去我们为Web服务建Infra核心是处理HTTP请求、管理数据库连接、保障服务高可用。但现在如果你的核心业务逻辑是一个能自主调用工具、理解上下文、甚至能自我规划的Agent你为它搭建的Infra还是原来那一套吗你的监控看板还能看清Agent的“思考”链路吗你的部署流水线能处理Agent复杂的依赖比如特定的Python包、模型权重文件吗你的成本核算能精确到每个Agent会话消耗的Token和API调用吗“Agent时代你的Infra为谁而建” 这个问题本质上是在问当开发范式从“确定性指令执行”转向“非确定性智能体协作”时支撑这一切的底层技术设施需要进行哪些根本性的重构这不仅仅是把大模型API封装一下那么简单它涉及到开发、调试、部署、运维、成本、安全等全链路的革新。今天我就结合自己最近在Agent项目上的实践以及观察到的行业趋势来拆解一下Agent时代的基础设施到底应该长什么样以及我们该如何着手构建它。2. Agent Infra的核心需求与设计原则解析要构建适合Agent的Infra首先得理解Agent和传统服务到底有什么不同。传统微服务像一个听话的工人你给一个明确的指令API请求它执行固定的逻辑返回确定的结果。而Agent更像一个拥有专业知识和工具包的顾问你给它一个目标比如“分析这份财报”它会自己拆解步骤、选择工具搜索、计算、画图、与环境交互最终给你一个分析报告。这个过程充满了非确定性。基于这种差异Agent Infra的设计需要遵循几个核心原则2.1 以“会话”和“工作流”为中心而非“请求/响应”传统Infra的度量单位是QPS每秒查询数和P99延迟。但对于Agent一次用户交互可能是一个长达数分钟甚至更久的“会话”Session。这个会话内包含多轮与大模型的对话、多次工具调用、可能的状态分支。因此Infra需要能追踪整个会话的完整生命周期包括会话状态持久化Agent的“记忆”对话历史、中间结果需要被妥善保存以支持长上下文和会话恢复。工作流可视化与调试你需要能清晰地看到在这个会话里Agent先调用了搜索API然后进行了数据提取最后生成了图表。当结果不符合预期时你能回溯到具体哪一步出了问题。成本归属这次会话总共消耗了多少Token、调用了多少次付费API成本需要能精确归属到这个会话或用户。注意很多团队一开始会用简单的日志来追踪但很快会发现日志散落各处关联困难。一个专门用于追踪Agent思维链Chain-of-Thought和工具调用链的“可观测性”层是Agent Infra的必需品而不是奢侈品。2.2 拥抱异构与动态的工具生态Agent的核心能力之一是使用工具Tools。这个工具生态是高度异构和动态的类型多样从简单的计算器、时间查询到复杂的数据库查询SQL、代码执行Python REPL、浏览器自动化Playwright、专业软件操作如Figma插件。协议新兴除了自定义的APIMCP正在成为一个重要的工具协议标准。MCP允许工具以标准化的方式向AI模型如Claude Code声明自己的能力模型可以动态发现并使用它们。动态注册新的工具可能随时被开发出来并注入到Agent系统中。因此Agent Infra必须提供一个灵活、安全、可扩展的工具运行时。它需要统一的工具抽象层无论底层工具是HTTP API、本地函数、还是MCP Server对Agent而言调用方式应该尽可能一致。安全的沙箱环境对于执行代码、访问数据库这类高风险工具必须有严格的权限控制和资源隔离防止Agent“胡作非为”。工具的热发现与热加载在不重启Agent服务的情况下能够新增或更新工具定义。2.3 应对非确定性强化管控与护栏Agent的“智能”也带来了“不可控”。你无法百分百预测Agent在复杂场景下会做出什么决策。因此Infra必须内置强大的管控和护栏Guardrails机制输入/输出过滤与校验检查用户输入是否包含敏感信息审查Agent的输出是否合规、无偏见。流程约束可以定义“在调用支付工具前必须经过人工审核步骤”这样的规则。熔断与降级当Agent陷入循环或调用成本过高时能自动中断会话或切换到更简单的模式。版本管理与回滚Agent的行为严重依赖提示词Prompt和模型版本。Infra需要像管理代码一样管理Prompt的版本并能快速回滚到稳定版本。3. 核心组件拆解构建现代Agent Infra的技术栈理解了设计原则我们来看看一个完整的Agent Infra应该包含哪些核心组件。我将其分为四层编排与执行层、工具与扩展层、可观测性与管控层、资源与部署层。3.1 编排与执行层Agent的大脑与调度中心这是Agent Infra最核心的部分负责定义Agent的行为逻辑并驱动其执行。目前主要有两种范式1. 基于框架的编排这是目前的主流方式使用像LangChain、LlamaIndex、AutoGen、LangGraph这样的框架。它们提供了高级抽象让你用代码定义Agent的工作流。LangChain/LangGraph提供了AgentExecutor、StateGraph等概念非常适合构建复杂的、有状态的、多Agent协作的工作流。你可以清晰地定义不同节点Agent或工具之间的流转逻辑。AutoGen专注于多Agent对话与协作通过定义不同的角色如AssistantAgent,UserProxyAgent模拟一个团队解决问题。实践选择对于业务逻辑复杂、需要严格状态控制的场景我倾向于使用LangGraph。它的图Graph模型非常直观调试起来相对容易。对于以对话和讨论为主的场景AutoGen更合适。2. 基于“AI原生”环境的执行以Claude Code为代表。它不是一个传统意义上的框架而是一个深度集成在IDE如VS Code中的AI编码环境。在Claude Code中你通过自然语言或简单的配置来赋予AI技能Skills这些技能背后可能就是一个个工具或工作流。它的特点是极度贴近开发环境交互自然。Claude Code与MCP的集成这是其强大之处。你可以轻松配置各种MCP Server如连接数据库的sqlite-mcp、进行网页抓取的playwright-mcp、搜索的tavily-mcp。配置好后ClaudeAI模型就能直接使用这些工具无需你编写粘合代码。适用场景非常适合快速原型验证、辅助复杂开发任务、以及作为高级AI助手来使用。对于需要7x24小时运行的线上服务型Agent可能还需要将其工作流“编译”或迁移到更传统的服务器端框架中。实操心得不要陷入“框架战争”。早期探索和内部工具开发用Claude Code搭配MCP效率极高。当需要构建稳定、可运维的线上服务时再基于LangGraph等框架进行工程化实现。两者可以互补。3.2 工具与扩展层Agent的双手这一层决定了Agent的能力边界。关键在于实现工具的“即插即用”和“安全可控”。1. 工具网关与协议适配器你需要一个中心化的组件来管理所有工具。这个组件负责协议转换将内部统一的工具调用格式转换为目标工具所需的协议HTTP/gRPC/命令行/MCP等。认证与鉴权管理调用第三方API所需的密钥如OpenAI API Key、SerpAPI Key避免在Agent代码中硬编码。负载均衡与熔断对于调用频繁的公共服务如搜索API需要做负载均衡和失败重试。MCP Server集成这是当前的热点。你需要一个MCP主机Host来加载和管理多个MCP Server。例如你可以运行一个brave-search-mcp来提供搜索能力一个filesystem-mcp来让Agent安全地读写指定目录的文件。2. 工具开发与注册自定义工具使用框架如LangChain的tool装饰器快速将Python函数封装成工具。重点是写好工具的描述Description这直接影响了LLM是否以及如何调用它。MCP Server开发如果你有独特的内部系统需要对接可以考虑开发自己的MCP Server。MCP协议基于JSON-RPC定义清晰有现成的SDK如modelcontextprotocol/sdkfor JS/TS开发难度并不高。工具注册表维护一个所有可用工具的注册表包含工具的名称、描述、参数schema、安全等级等信息。Agent在初始化时可以动态地从注册表加载所需工具。3.3 可观测性与管控层Agent的仪表盘与安全带这是保障Agent系统稳定、可靠、合规运行的关键。传统APM应用性能监控工具对Agent的观测粒度太粗了。1. 思维链CoT追踪与日志你需要记录下完整的“AI思考过程”。这包括每一轮用户输入和模型原始输出。模型每一次触发“工具调用”的决策过程即ReAct模式中的Thought部分。工具调用的输入参数、执行结果、耗时。最终返回给用户的结果。 推荐使用像LangSmith、Arize AI、Weights Biates这类专门为LLM应用设计的平台。它们能可视化整个工作流方便你调试Prompt、分析工具使用频率、定位问题。2. 成本监控与优化Agent的成本模型复杂主要来自Token消耗输入和输出的Token数。不同模型如gpt-4ovsgpt-3.5-turbo价格差异巨大。工具调用成本调用的外部API可能按次收费如搜索、图像生成。基础设施成本运行Agent服务本身的服务器/容器成本。 Infra需要提供实时的成本仪表盘并能设置预算告警。一个常见的优化策略是让Agent在尝试复杂工具链之前先用一个快速但能力稍弱的模型如gpt-3.5-turbo进行意图识别和路由判断是否需要启动“重型”工作流。3. 护栏Guardrails系统这是一个主动防御系统用于约束Agent行为。内容安全过滤器在输入和输出端检查是否有违规、敏感内容。可以使用关键词过滤、正则表达式或调用另一个专门的审核模型。流程合规检查器例如在金融场景确保涉及转账的Agent操作必须经过特定的审批流程节点。输出结构化验证强制要求Agent的输出必须符合某个JSON Schema确保下游系统能正确解析。Pydantic库在这方面非常好用。3.4 资源与部署层Agent的躯干Agent最终需要跑在稳定的基础设施上。1. 模型部署与路由自研模型 vs. 云API大多数团队从云API如OpenAI、Anthropic、DeepSeek开始。Infra需要封装统一的模型调用客户端方便切换和降级。模型路由与负载均衡当有多个模型可用时例如一个主用gpt-4一个备用的claude-3-haiku需要智能路由策略基于成本、延迟、当前负载进行选择。上下文长度管理这是个大坑。不同模型有最大上下文长度限制如32K、128K、1M Tokens。Infra需要自动管理会话历史当接近限制时通过智能摘要Summarization或滑动窗口Sliding Window等方式压缩历史避免出现API error: 400 this models maximum context length is ...这类错误。2. 计算与部署环境无服务器Serverless优先Agent的工作负载往往是突发、间歇性的。使用AWS Lambda、Google Cloud Functions、Vercel等Serverless平台可以很好地匹配这种模式按实际执行时间计费成本效益高。容器化与编排对于需要常驻内存、状态复杂的长会话Agent可能需要部署在Kubernetes中。需要特别注意容器内Python环境的管理、依赖包的安装尤其是那些带有C扩展的包如numpy,pandas。GPU资源管理如果部署自研的轻量级模型如通过Ollama则需要管理GPU资源。可以考虑使用像runai、k8s-device-plugin这样的工具在K8s中调度GPU。4. 实战从零搭建一个简易Agent Infra原型理论说了这么多我们动手搭一个最简单的原型把关键环节串起来。我们的目标是构建一个能联网搜索并总结的Agent并为其配备基础的观测能力。4.1 环境准备与核心框架选择我们选择LangChain作为编排框架因为它生态丰富文档齐全。同时我们会使用LangSmith进行观测它提供免费的额度。# 创建项目并安装核心依赖 mkdir agent-infra-demo cd agent-infra-demo python -m venv venv source venv/bin/activate # Windows: venv\Scripts\activate pip install langchain langchain-openai langchain-community langsmith pip install duckduckgo-search # 一个免费的搜索工具接下来去 LangSmith官网 注册账号创建一个API Key。然后在环境中配置export LANGCHAIN_TRACING_V2true export LANGCHAIN_ENDPOINThttps://api.smith.langchain.com export LANGCHAIN_API_KEY你的-api-key export OPENAI_API_KEY你的-openai-key4.2 构建工具与Agent我们创建一个agent.py文件import os from langchain_openai import ChatOpenAI from langchain.agents import AgentExecutor, create_openai_tools_agent from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder from langchain_community.tools import DuckDuckGoSearchRun from langchain.memory import ConversationBufferMemory # 1. 初始化模型和工具 llm ChatOpenAI(modelgpt-3.5-turbo, temperature0) # 先用成本较低的模型 search_tool DuckDuckGoSearchRun(nameweb_search, description使用此工具在互联网上搜索最新信息。) tools [search_tool] # 2. 设计Prompt模板明确告诉Agent它的角色和能力 prompt ChatPromptTemplate.from_messages([ (system, 你是一个有用的助手可以访问网络搜索来获取最新信息。 请遵循以下规则 1. 如果用户的问题涉及实时信息、新闻或你不知道的具体数据请先使用搜索工具。 2. 基于搜索结果进行总结和回答必要时引用来源。 3. 保持回答简洁、准确。), MessagesPlaceholder(variable_namechat_history), # 预留位置给历史消息 (human, {input}), MessagesPlaceholder(variable_nameagent_scratchpad), # 预留位置给Agent的思考过程 ]) # 3. 创建记忆让Agent能记住对话上下文 memory ConversationBufferMemory(memory_keychat_history, return_messagesTrue) # 4. 组装Agent agent create_openai_tools_agent(llm, tools, prompt) agent_executor AgentExecutor(agentagent, toolstools, memorymemory, verboseTrue) # 5. 运行测试 if __name__ __main__: while True: try: user_input input(\nYou: ) if user_input.lower() in [quit, exit]: break response agent_executor.invoke({input: user_input}) print(f\nAssistant: {response[output]}) except Exception as e: print(f出错: {e})运行这个脚本问它“今天北京天气怎么样”。你会看到控制台输出详细的verbose日志包括Agent决定调用搜索工具、搜索的关键词、搜索结果、以及最终的回答。同时所有这一切都会被自动记录到你的LangSmith项目中。4.3 接入观测平台LangSmith上述代码已经通过环境变量配置好了LangSmith。运行几次对话后登录LangSmith控制台你应该能看到一个“Traces”列表。点开任意一个Trace你可以看到完整的可视化工作流绿色的“ChatOpenAI”节点代表LLM的思考。蓝色的“DuckDuckGoSearchRun”节点代表工具调用点开可以看到输入搜索词和输出搜索结果。整个链路的耗时、Token消耗一目了然。这就是最基础的可观测性。你可以在这里分析Agent是否频繁调用搜索搜索词是否准确回答是否基于搜索结果4.4 添加基础护栏Guardrail我们添加一个简单的输入检查防止用户询问不适当的问题。创建一个guardrails.pyfrom langchain_core.output_parsers import StrOutputParser from langchain_core.prompts import ChatPromptTemplate from langchain_openai import ChatOpenAI def input_safety_check(user_input: str) - bool: 简单的基于关键词的输入安全检查。 在实际项目中应使用更复杂的模型或专用服务。 unsafe_keywords [如何制造, 违禁品, 仇恨言论] # 示例关键词 for keyword in unsafe_keywords: if keyword in user_input: return False return True def content_moderation_chain(): 一个使用LLM进行更细致内容审核的链示例 llm ChatOpenAI(modelgpt-3.5-turbo, temperature0) prompt ChatPromptTemplate.from_messages([ (system, 请判断以下用户输入是否安全、合法、符合道德。只回答‘安全’或‘不安全’。), (human, {input}), ]) return prompt | llm | StrOutputParser() # 在主程序中集成 if __name__ __main__: from agent import agent_executor # 假设主程序整合 user_input input(You: ) # 方法1快速关键词过滤 if not input_safety_check(user_input): print(Assistant: 您的问题涉及不安全内容我无法回答。) exit() # 方法2使用LLM进行审核更灵活但成本更高 # moderator content_moderation_chain() # result moderator.invoke({input: user_input}) # if 不安全 in result: # print(Assistant: 您的问题可能涉及不安全内容我无法回答。) # exit() # 通过检查执行Agent response agent_executor.invoke({input: user_input}) print(fAssistant: {response[output]})这个简单的例子展示了Agent Infra的几个核心部分是如何协同工作的框架负责编排、工具提供能力、观测平台记录一切、护栏保障安全。5. 进阶挑战与深度优化策略当你的Agent从原型走向生产会遇到更多深水区问题。这里分享几个关键挑战和应对思路。5.1 长上下文管理与优化策略随着会话进行历史记录会越来越长。直接塞给模型会导致成本飙升Token费钱。可能超过模型上下文窗口如API error: 400 this model‘s maximum context length is 1048576 tokens。模型性能下降无关历史干扰当前决策。解决方案自动摘要Summarization定期如每10轮对话或用另一个小模型将之前的对话历史总结成一段精简的文字替换掉原始冗长的历史。LangChain提供了ConversationSummaryBufferMemory等内存类来实现。向量检索记忆VectorStore-Backed Memory将历史对话切片存储到向量数据库如Chroma、Pinecone。当需要回忆时只检索与当前问题最相关的历史片段。这模拟了人类的“选择性记忆”非常有效。结构化记忆不是存储原始对话文本而是将对话中提取的关键实体、事实、用户偏好以结构化的方式如JSON存储和更新。这需要更复杂的设计但对复杂Agent至关重要。5.2 复杂工作流的稳定性保障Agent的“非确定性”在复杂多步工作流中会被放大容易“跑偏”或陷入死循环。应对策略采用有状态图StateGraph使用LangGraph等框架将工作流明确定义为一个图Graph每个节点是确定性的步骤调用工具或LLM边是流转条件。这大大增强了可控性和可调试性。设置超时与最大步数限制在AgentExecutor中务必设置max_iterations如15步和max_execution_time。防止一个简单问题触发无限循环。人工介入Human-in-the-Loop在关键决策点如确认执行删除操作、进行大额支付设置“人工审核节点”。Agent执行到此处会暂停等待人工批准后再继续。5.3 成本控制与性能权衡Agent应用的成本可能是个无底洞。需要精细化运营。成本控制手段模型分级调用构建一个模型路由层。对于简单的意图识别、分类任务使用便宜的模型如gpt-3.5-turbo,claude-3-haiku。只有需要深度推理、创造时才调用gpt-4o或claude-3-opus。缓存Caching对重复或相似的查询结果进行缓存。例如用户问“北京的面积”答案短期内不会变可以直接返回缓存。LangChain集成了InMemoryCache、RedisCache等。Token使用分析利用LangSmith等工具定期分析哪些工作流、哪些用户的对话消耗Token最多优化对应的Prompt或流程。性能优化流式响应Streaming对于生成时间较长的回答采用流式输出让用户先看到部分结果提升体验。异步执行如果Agent需要并行调用多个独立工具如同时查询天气和新闻使用异步框架如asyncio可以大幅缩短总耗时。5.4 安全与权限的纵深防御Agent能调用工具意味着它拥有了执行能力安全是重中之重。安全架构建议工具权限最小化每个工具都应定义明确的权限范围。例如一个“文件读取”工具只能访问/var/data/input/目录绝不能访问/etc/passwd。用户级隔离不同用户的Agent会话必须在运行时环境如容器、进程或数据访问层面进行隔离防止数据泄露。审计日志所有工具调用无论成功失败都必须记录详尽的审计日志包括调用者、参数、时间、结果并永久存储以备溯源。沙箱化工具执行对于执行任意代码Python REPL这类极高风险工具必须在严格的沙箱环境如gVisor,Firecracker微虚拟机中运行限制其网络、文件系统访问。6. 未来展望Agent Infra的演进方向Agent技术还在飞速演进其基础设施也必然随之变化。我认为以下几个方向值得关注1. 标准化与互操作性MCP的出现是一个重要信号。未来可能会有更多类似的标准来定义Agent与工具、Agent与Agent、甚至Agent与人的交互协议。一个统一的“工具描述语言”和“发现协议”将让Agent的能力组合像乐高积木一样灵活。你的Infra需要为拥抱这些标准做好准备。2. Infra的“AI原生”重构未来的Infra组件本身可能会由AI驱动。例如AI驱动的运维AIOps不是由人设置告警阈值而是由AI分析历史指标自动预测容量瓶颈、定位异常根因。智能资源调度调度器能理解不同Agent工作负载的特性计算密集型、IO密集型、对延迟敏感等并像“老司机”一样将其调度到最合适的节点上。自愈系统当Agent因某个外部API失效而卡住时Infra能自动发现备用工具或降级方案实现工作流的自愈。3. 从“编码”到“编排”的开发者体验升级随着Claude Code这类AI原生开发环境的成熟构建Agent的体验会越来越接近“自然语言编程”或“可视化编排”。开发者可能更多的是在定义目标、约束和审核节点而具体的步骤逻辑由AI辅助生成。Infra需要提供对应的“低代码/无代码”界面和强大的版本管理、测试框架。4. 多模态与具身智能的支撑当Agent从处理文本扩展到理解图像、语音甚至控制物理设备机器人时Infra需要集成强大的多模态模型并提供低延迟、高带宽的实时数据流处理能力。这对网络、边缘计算都提出了新挑战。回到最初的问题“Agent时代你的Infra为谁而建” 答案已经清晰它是为那个拥有自主性、会思考、会使用工具、在非确定性中探索目标的智能体而建的。它不再是一个被动的资源提供者而是一个主动的能力增强平台和安全监护平台。它的核心使命是最大化Agent的创造力同时最小化其不可控风险。构建这样的Infra绝非一日之功但可以从一个小原型开始从一个具体的业务场景切入逐步迭代。最重要的是要时刻保持对Agent独特工作方式的理解用适合它的方式来设计和构建支撑它的系统。这场范式转移的浪潮才刚刚开始现在正是深入思考和实践的最佳时机。 AI Agent基础设施构建指南：从核心原理到实战部署
1. 项目概述当AI Agent成为新常态基础设施的范式转移最近和几个做AI应用的朋友聊天发现一个挺有意思的现象。大家聊起技术栈不再是“我用Django他用Spring Boot”而是“我的Agent用LangChain他的用AutoGen最近在试Claude Code”。这背后反映的是一个正在发生的深刻变化我们构建软件的核心单元正在从传统的“服务”或“函数”转向一个更智能、更自主的实体——AI Agent。这个转变对技术基础设施Infra提出了全新的拷问。过去我们为Web服务建Infra核心是处理HTTP请求、管理数据库连接、保障服务高可用。但现在如果你的核心业务逻辑是一个能自主调用工具、理解上下文、甚至能自我规划的Agent你为它搭建的Infra还是原来那一套吗你的监控看板还能看清Agent的“思考”链路吗你的部署流水线能处理Agent复杂的依赖比如特定的Python包、模型权重文件吗你的成本核算能精确到每个Agent会话消耗的Token和API调用吗“Agent时代你的Infra为谁而建” 这个问题本质上是在问当开发范式从“确定性指令执行”转向“非确定性智能体协作”时支撑这一切的底层技术设施需要进行哪些根本性的重构这不仅仅是把大模型API封装一下那么简单它涉及到开发、调试、部署、运维、成本、安全等全链路的革新。今天我就结合自己最近在Agent项目上的实践以及观察到的行业趋势来拆解一下Agent时代的基础设施到底应该长什么样以及我们该如何着手构建它。2. Agent Infra的核心需求与设计原则解析要构建适合Agent的Infra首先得理解Agent和传统服务到底有什么不同。传统微服务像一个听话的工人你给一个明确的指令API请求它执行固定的逻辑返回确定的结果。而Agent更像一个拥有专业知识和工具包的顾问你给它一个目标比如“分析这份财报”它会自己拆解步骤、选择工具搜索、计算、画图、与环境交互最终给你一个分析报告。这个过程充满了非确定性。基于这种差异Agent Infra的设计需要遵循几个核心原则2.1 以“会话”和“工作流”为中心而非“请求/响应”传统Infra的度量单位是QPS每秒查询数和P99延迟。但对于Agent一次用户交互可能是一个长达数分钟甚至更久的“会话”Session。这个会话内包含多轮与大模型的对话、多次工具调用、可能的状态分支。因此Infra需要能追踪整个会话的完整生命周期包括会话状态持久化Agent的“记忆”对话历史、中间结果需要被妥善保存以支持长上下文和会话恢复。工作流可视化与调试你需要能清晰地看到在这个会话里Agent先调用了搜索API然后进行了数据提取最后生成了图表。当结果不符合预期时你能回溯到具体哪一步出了问题。成本归属这次会话总共消耗了多少Token、调用了多少次付费API成本需要能精确归属到这个会话或用户。注意很多团队一开始会用简单的日志来追踪但很快会发现日志散落各处关联困难。一个专门用于追踪Agent思维链Chain-of-Thought和工具调用链的“可观测性”层是Agent Infra的必需品而不是奢侈品。2.2 拥抱异构与动态的工具生态Agent的核心能力之一是使用工具Tools。这个工具生态是高度异构和动态的类型多样从简单的计算器、时间查询到复杂的数据库查询SQL、代码执行Python REPL、浏览器自动化Playwright、专业软件操作如Figma插件。协议新兴除了自定义的APIMCP正在成为一个重要的工具协议标准。MCP允许工具以标准化的方式向AI模型如Claude Code声明自己的能力模型可以动态发现并使用它们。动态注册新的工具可能随时被开发出来并注入到Agent系统中。因此Agent Infra必须提供一个灵活、安全、可扩展的工具运行时。它需要统一的工具抽象层无论底层工具是HTTP API、本地函数、还是MCP Server对Agent而言调用方式应该尽可能一致。安全的沙箱环境对于执行代码、访问数据库这类高风险工具必须有严格的权限控制和资源隔离防止Agent“胡作非为”。工具的热发现与热加载在不重启Agent服务的情况下能够新增或更新工具定义。2.3 应对非确定性强化管控与护栏Agent的“智能”也带来了“不可控”。你无法百分百预测Agent在复杂场景下会做出什么决策。因此Infra必须内置强大的管控和护栏Guardrails机制输入/输出过滤与校验检查用户输入是否包含敏感信息审查Agent的输出是否合规、无偏见。流程约束可以定义“在调用支付工具前必须经过人工审核步骤”这样的规则。熔断与降级当Agent陷入循环或调用成本过高时能自动中断会话或切换到更简单的模式。版本管理与回滚Agent的行为严重依赖提示词Prompt和模型版本。Infra需要像管理代码一样管理Prompt的版本并能快速回滚到稳定版本。3. 核心组件拆解构建现代Agent Infra的技术栈理解了设计原则我们来看看一个完整的Agent Infra应该包含哪些核心组件。我将其分为四层编排与执行层、工具与扩展层、可观测性与管控层、资源与部署层。3.1 编排与执行层Agent的大脑与调度中心这是Agent Infra最核心的部分负责定义Agent的行为逻辑并驱动其执行。目前主要有两种范式1. 基于框架的编排这是目前的主流方式使用像LangChain、LlamaIndex、AutoGen、LangGraph这样的框架。它们提供了高级抽象让你用代码定义Agent的工作流。LangChain/LangGraph提供了AgentExecutor、StateGraph等概念非常适合构建复杂的、有状态的、多Agent协作的工作流。你可以清晰地定义不同节点Agent或工具之间的流转逻辑。AutoGen专注于多Agent对话与协作通过定义不同的角色如AssistantAgent,UserProxyAgent模拟一个团队解决问题。实践选择对于业务逻辑复杂、需要严格状态控制的场景我倾向于使用LangGraph。它的图Graph模型非常直观调试起来相对容易。对于以对话和讨论为主的场景AutoGen更合适。2. 基于“AI原生”环境的执行以Claude Code为代表。它不是一个传统意义上的框架而是一个深度集成在IDE如VS Code中的AI编码环境。在Claude Code中你通过自然语言或简单的配置来赋予AI技能Skills这些技能背后可能就是一个个工具或工作流。它的特点是极度贴近开发环境交互自然。Claude Code与MCP的集成这是其强大之处。你可以轻松配置各种MCP Server如连接数据库的sqlite-mcp、进行网页抓取的playwright-mcp、搜索的tavily-mcp。配置好后ClaudeAI模型就能直接使用这些工具无需你编写粘合代码。适用场景非常适合快速原型验证、辅助复杂开发任务、以及作为高级AI助手来使用。对于需要7x24小时运行的线上服务型Agent可能还需要将其工作流“编译”或迁移到更传统的服务器端框架中。实操心得不要陷入“框架战争”。早期探索和内部工具开发用Claude Code搭配MCP效率极高。当需要构建稳定、可运维的线上服务时再基于LangGraph等框架进行工程化实现。两者可以互补。3.2 工具与扩展层Agent的双手这一层决定了Agent的能力边界。关键在于实现工具的“即插即用”和“安全可控”。1. 工具网关与协议适配器你需要一个中心化的组件来管理所有工具。这个组件负责协议转换将内部统一的工具调用格式转换为目标工具所需的协议HTTP/gRPC/命令行/MCP等。认证与鉴权管理调用第三方API所需的密钥如OpenAI API Key、SerpAPI Key避免在Agent代码中硬编码。负载均衡与熔断对于调用频繁的公共服务如搜索API需要做负载均衡和失败重试。MCP Server集成这是当前的热点。你需要一个MCP主机Host来加载和管理多个MCP Server。例如你可以运行一个brave-search-mcp来提供搜索能力一个filesystem-mcp来让Agent安全地读写指定目录的文件。2. 工具开发与注册自定义工具使用框架如LangChain的tool装饰器快速将Python函数封装成工具。重点是写好工具的描述Description这直接影响了LLM是否以及如何调用它。MCP Server开发如果你有独特的内部系统需要对接可以考虑开发自己的MCP Server。MCP协议基于JSON-RPC定义清晰有现成的SDK如modelcontextprotocol/sdkfor JS/TS开发难度并不高。工具注册表维护一个所有可用工具的注册表包含工具的名称、描述、参数schema、安全等级等信息。Agent在初始化时可以动态地从注册表加载所需工具。3.3 可观测性与管控层Agent的仪表盘与安全带这是保障Agent系统稳定、可靠、合规运行的关键。传统APM应用性能监控工具对Agent的观测粒度太粗了。1. 思维链CoT追踪与日志你需要记录下完整的“AI思考过程”。这包括每一轮用户输入和模型原始输出。模型每一次触发“工具调用”的决策过程即ReAct模式中的Thought部分。工具调用的输入参数、执行结果、耗时。最终返回给用户的结果。 推荐使用像LangSmith、Arize AI、Weights Biates这类专门为LLM应用设计的平台。它们能可视化整个工作流方便你调试Prompt、分析工具使用频率、定位问题。2. 成本监控与优化Agent的成本模型复杂主要来自Token消耗输入和输出的Token数。不同模型如gpt-4ovsgpt-3.5-turbo价格差异巨大。工具调用成本调用的外部API可能按次收费如搜索、图像生成。基础设施成本运行Agent服务本身的服务器/容器成本。 Infra需要提供实时的成本仪表盘并能设置预算告警。一个常见的优化策略是让Agent在尝试复杂工具链之前先用一个快速但能力稍弱的模型如gpt-3.5-turbo进行意图识别和路由判断是否需要启动“重型”工作流。3. 护栏Guardrails系统这是一个主动防御系统用于约束Agent行为。内容安全过滤器在输入和输出端检查是否有违规、敏感内容。可以使用关键词过滤、正则表达式或调用另一个专门的审核模型。流程合规检查器例如在金融场景确保涉及转账的Agent操作必须经过特定的审批流程节点。输出结构化验证强制要求Agent的输出必须符合某个JSON Schema确保下游系统能正确解析。Pydantic库在这方面非常好用。3.4 资源与部署层Agent的躯干Agent最终需要跑在稳定的基础设施上。1. 模型部署与路由自研模型 vs. 云API大多数团队从云API如OpenAI、Anthropic、DeepSeek开始。Infra需要封装统一的模型调用客户端方便切换和降级。模型路由与负载均衡当有多个模型可用时例如一个主用gpt-4一个备用的claude-3-haiku需要智能路由策略基于成本、延迟、当前负载进行选择。上下文长度管理这是个大坑。不同模型有最大上下文长度限制如32K、128K、1M Tokens。Infra需要自动管理会话历史当接近限制时通过智能摘要Summarization或滑动窗口Sliding Window等方式压缩历史避免出现API error: 400 this models maximum context length is ...这类错误。2. 计算与部署环境无服务器Serverless优先Agent的工作负载往往是突发、间歇性的。使用AWS Lambda、Google Cloud Functions、Vercel等Serverless平台可以很好地匹配这种模式按实际执行时间计费成本效益高。容器化与编排对于需要常驻内存、状态复杂的长会话Agent可能需要部署在Kubernetes中。需要特别注意容器内Python环境的管理、依赖包的安装尤其是那些带有C扩展的包如numpy,pandas。GPU资源管理如果部署自研的轻量级模型如通过Ollama则需要管理GPU资源。可以考虑使用像runai、k8s-device-plugin这样的工具在K8s中调度GPU。4. 实战从零搭建一个简易Agent Infra原型理论说了这么多我们动手搭一个最简单的原型把关键环节串起来。我们的目标是构建一个能联网搜索并总结的Agent并为其配备基础的观测能力。4.1 环境准备与核心框架选择我们选择LangChain作为编排框架因为它生态丰富文档齐全。同时我们会使用LangSmith进行观测它提供免费的额度。# 创建项目并安装核心依赖 mkdir agent-infra-demo cd agent-infra-demo python -m venv venv source venv/bin/activate # Windows: venv\Scripts\activate pip install langchain langchain-openai langchain-community langsmith pip install duckduckgo-search # 一个免费的搜索工具接下来去 LangSmith官网 注册账号创建一个API Key。然后在环境中配置export LANGCHAIN_TRACING_V2true export LANGCHAIN_ENDPOINThttps://api.smith.langchain.com export LANGCHAIN_API_KEY你的-api-key export OPENAI_API_KEY你的-openai-key4.2 构建工具与Agent我们创建一个agent.py文件import os from langchain_openai import ChatOpenAI from langchain.agents import AgentExecutor, create_openai_tools_agent from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder from langchain_community.tools import DuckDuckGoSearchRun from langchain.memory import ConversationBufferMemory # 1. 初始化模型和工具 llm ChatOpenAI(modelgpt-3.5-turbo, temperature0) # 先用成本较低的模型 search_tool DuckDuckGoSearchRun(nameweb_search, description使用此工具在互联网上搜索最新信息。) tools [search_tool] # 2. 设计Prompt模板明确告诉Agent它的角色和能力 prompt ChatPromptTemplate.from_messages([ (system, 你是一个有用的助手可以访问网络搜索来获取最新信息。 请遵循以下规则 1. 如果用户的问题涉及实时信息、新闻或你不知道的具体数据请先使用搜索工具。 2. 基于搜索结果进行总结和回答必要时引用来源。 3. 保持回答简洁、准确。), MessagesPlaceholder(variable_namechat_history), # 预留位置给历史消息 (human, {input}), MessagesPlaceholder(variable_nameagent_scratchpad), # 预留位置给Agent的思考过程 ]) # 3. 创建记忆让Agent能记住对话上下文 memory ConversationBufferMemory(memory_keychat_history, return_messagesTrue) # 4. 组装Agent agent create_openai_tools_agent(llm, tools, prompt) agent_executor AgentExecutor(agentagent, toolstools, memorymemory, verboseTrue) # 5. 运行测试 if __name__ __main__: while True: try: user_input input(\nYou: ) if user_input.lower() in [quit, exit]: break response agent_executor.invoke({input: user_input}) print(f\nAssistant: {response[output]}) except Exception as e: print(f出错: {e})运行这个脚本问它“今天北京天气怎么样”。你会看到控制台输出详细的verbose日志包括Agent决定调用搜索工具、搜索的关键词、搜索结果、以及最终的回答。同时所有这一切都会被自动记录到你的LangSmith项目中。4.3 接入观测平台LangSmith上述代码已经通过环境变量配置好了LangSmith。运行几次对话后登录LangSmith控制台你应该能看到一个“Traces”列表。点开任意一个Trace你可以看到完整的可视化工作流绿色的“ChatOpenAI”节点代表LLM的思考。蓝色的“DuckDuckGoSearchRun”节点代表工具调用点开可以看到输入搜索词和输出搜索结果。整个链路的耗时、Token消耗一目了然。这就是最基础的可观测性。你可以在这里分析Agent是否频繁调用搜索搜索词是否准确回答是否基于搜索结果4.4 添加基础护栏Guardrail我们添加一个简单的输入检查防止用户询问不适当的问题。创建一个guardrails.pyfrom langchain_core.output_parsers import StrOutputParser from langchain_core.prompts import ChatPromptTemplate from langchain_openai import ChatOpenAI def input_safety_check(user_input: str) - bool: 简单的基于关键词的输入安全检查。 在实际项目中应使用更复杂的模型或专用服务。 unsafe_keywords [如何制造, 违禁品, 仇恨言论] # 示例关键词 for keyword in unsafe_keywords: if keyword in user_input: return False return True def content_moderation_chain(): 一个使用LLM进行更细致内容审核的链示例 llm ChatOpenAI(modelgpt-3.5-turbo, temperature0) prompt ChatPromptTemplate.from_messages([ (system, 请判断以下用户输入是否安全、合法、符合道德。只回答‘安全’或‘不安全’。), (human, {input}), ]) return prompt | llm | StrOutputParser() # 在主程序中集成 if __name__ __main__: from agent import agent_executor # 假设主程序整合 user_input input(You: ) # 方法1快速关键词过滤 if not input_safety_check(user_input): print(Assistant: 您的问题涉及不安全内容我无法回答。) exit() # 方法2使用LLM进行审核更灵活但成本更高 # moderator content_moderation_chain() # result moderator.invoke({input: user_input}) # if 不安全 in result: # print(Assistant: 您的问题可能涉及不安全内容我无法回答。) # exit() # 通过检查执行Agent response agent_executor.invoke({input: user_input}) print(fAssistant: {response[output]})这个简单的例子展示了Agent Infra的几个核心部分是如何协同工作的框架负责编排、工具提供能力、观测平台记录一切、护栏保障安全。5. 进阶挑战与深度优化策略当你的Agent从原型走向生产会遇到更多深水区问题。这里分享几个关键挑战和应对思路。5.1 长上下文管理与优化策略随着会话进行历史记录会越来越长。直接塞给模型会导致成本飙升Token费钱。可能超过模型上下文窗口如API error: 400 this model‘s maximum context length is 1048576 tokens。模型性能下降无关历史干扰当前决策。解决方案自动摘要Summarization定期如每10轮对话或用另一个小模型将之前的对话历史总结成一段精简的文字替换掉原始冗长的历史。LangChain提供了ConversationSummaryBufferMemory等内存类来实现。向量检索记忆VectorStore-Backed Memory将历史对话切片存储到向量数据库如Chroma、Pinecone。当需要回忆时只检索与当前问题最相关的历史片段。这模拟了人类的“选择性记忆”非常有效。结构化记忆不是存储原始对话文本而是将对话中提取的关键实体、事实、用户偏好以结构化的方式如JSON存储和更新。这需要更复杂的设计但对复杂Agent至关重要。5.2 复杂工作流的稳定性保障Agent的“非确定性”在复杂多步工作流中会被放大容易“跑偏”或陷入死循环。应对策略采用有状态图StateGraph使用LangGraph等框架将工作流明确定义为一个图Graph每个节点是确定性的步骤调用工具或LLM边是流转条件。这大大增强了可控性和可调试性。设置超时与最大步数限制在AgentExecutor中务必设置max_iterations如15步和max_execution_time。防止一个简单问题触发无限循环。人工介入Human-in-the-Loop在关键决策点如确认执行删除操作、进行大额支付设置“人工审核节点”。Agent执行到此处会暂停等待人工批准后再继续。5.3 成本控制与性能权衡Agent应用的成本可能是个无底洞。需要精细化运营。成本控制手段模型分级调用构建一个模型路由层。对于简单的意图识别、分类任务使用便宜的模型如gpt-3.5-turbo,claude-3-haiku。只有需要深度推理、创造时才调用gpt-4o或claude-3-opus。缓存Caching对重复或相似的查询结果进行缓存。例如用户问“北京的面积”答案短期内不会变可以直接返回缓存。LangChain集成了InMemoryCache、RedisCache等。Token使用分析利用LangSmith等工具定期分析哪些工作流、哪些用户的对话消耗Token最多优化对应的Prompt或流程。性能优化流式响应Streaming对于生成时间较长的回答采用流式输出让用户先看到部分结果提升体验。异步执行如果Agent需要并行调用多个独立工具如同时查询天气和新闻使用异步框架如asyncio可以大幅缩短总耗时。5.4 安全与权限的纵深防御Agent能调用工具意味着它拥有了执行能力安全是重中之重。安全架构建议工具权限最小化每个工具都应定义明确的权限范围。例如一个“文件读取”工具只能访问/var/data/input/目录绝不能访问/etc/passwd。用户级隔离不同用户的Agent会话必须在运行时环境如容器、进程或数据访问层面进行隔离防止数据泄露。审计日志所有工具调用无论成功失败都必须记录详尽的审计日志包括调用者、参数、时间、结果并永久存储以备溯源。沙箱化工具执行对于执行任意代码Python REPL这类极高风险工具必须在严格的沙箱环境如gVisor,Firecracker微虚拟机中运行限制其网络、文件系统访问。6. 未来展望Agent Infra的演进方向Agent技术还在飞速演进其基础设施也必然随之变化。我认为以下几个方向值得关注1. 标准化与互操作性MCP的出现是一个重要信号。未来可能会有更多类似的标准来定义Agent与工具、Agent与Agent、甚至Agent与人的交互协议。一个统一的“工具描述语言”和“发现协议”将让Agent的能力组合像乐高积木一样灵活。你的Infra需要为拥抱这些标准做好准备。2. Infra的“AI原生”重构未来的Infra组件本身可能会由AI驱动。例如AI驱动的运维AIOps不是由人设置告警阈值而是由AI分析历史指标自动预测容量瓶颈、定位异常根因。智能资源调度调度器能理解不同Agent工作负载的特性计算密集型、IO密集型、对延迟敏感等并像“老司机”一样将其调度到最合适的节点上。自愈系统当Agent因某个外部API失效而卡住时Infra能自动发现备用工具或降级方案实现工作流的自愈。3. 从“编码”到“编排”的开发者体验升级随着Claude Code这类AI原生开发环境的成熟构建Agent的体验会越来越接近“自然语言编程”或“可视化编排”。开发者可能更多的是在定义目标、约束和审核节点而具体的步骤逻辑由AI辅助生成。Infra需要提供对应的“低代码/无代码”界面和强大的版本管理、测试框架。4. 多模态与具身智能的支撑当Agent从处理文本扩展到理解图像、语音甚至控制物理设备机器人时Infra需要集成强大的多模态模型并提供低延迟、高带宽的实时数据流处理能力。这对网络、边缘计算都提出了新挑战。回到最初的问题“Agent时代你的Infra为谁而建” 答案已经清晰它是为那个拥有自主性、会思考、会使用工具、在非确定性中探索目标的智能体而建的。它不再是一个被动的资源提供者而是一个主动的能力增强平台和安全监护平台。它的核心使命是最大化Agent的创造力同时最小化其不可控风险。构建这样的Infra绝非一日之功但可以从一个小原型开始从一个具体的业务场景切入逐步迭代。最重要的是要时刻保持对Agent独特工作方式的理解用适合它的方式来设计和构建支撑它的系统。这场范式转移的浪潮才刚刚开始现在正是深入思考和实践的最佳时机。