本文共 2841 字阅读预计需要 4 分钟。我们顺着1月份聊的几个上下文工程的项目继续讲。这3个项目是我从十几个候选中一个个试出来的分别解决AI开发中三个最让人头疼的问题prompt太长太贵、Agent记忆混乱、提示词太脆弱。读完你会知道每个项目怎么用、能省多少钱、以及什么场景千万别踩坑。为什么写这篇非主流推荐上个月写了两篇AI开源项目推荐介绍了Browser-Use、Instructor等等六个聚焦上下文工程的项目。没想到反响挺大后台催更的消息快把我刷屏了。那篇文章里我说过我常带着一个问题去GitHub和Hacker News上翻项目有没有那种知道的人不多但用过的人都说好的AI开源项目陆陆续续又看了二三十个今天聊的这3个仍然是上下文工程向的会更偏基础设施。它们解决的是你做AI产品时更底层的问题。说直白点你的prompt太长太贵第一个项目帮你压缩。你的Agent聊几轮就失忆第二个项目帮你记忆。你的提示词一换模型就废第三个项目帮你编排。老规矩筛选标准没变解决明确痛点、pip install就能跑、社区活跃。第一个LLMLingua——给你的Prompt瘦身20倍场景一个文档问答Agent需要把好几段检索结果塞进上下文。一塞就是五六千token再加上系统提示词和历史对话轻松破万。算一笔账。即使是按GPT-4o的输入价格$2.50/百万tokens一天跑1000次查询光输入就要$25。一个月$750。这还没算输出。况且这些上下文里真正有用的信息可能只有20%剩下的全是废话——重复的表述、冗余的格式、对回答无关紧要的细节。LLMLingua解决的就是这个问题用一个小模型帮你识别和删除prompt中的冗余信息让大模型只看精华。它的原理不复杂。用一个轻量级语言模型比如GPT-2或BERT级别的做筛子逐个token判断哪些可以丢、哪些必须留。最高能做到20倍压缩率性能损失极小。LLMLingua压缩的是prompt里的冗余信息和填充词核心语义完整保留。微软团队验证过GPT-4拿到压缩后的prompt依然能恢复出所有关键信息。数据5.9k stars微软出品EMNLP23和ACL24双顶会论文背书。已经集成到LangChain和LlamaIndex两大主流RAG框架里pip install llmlingua就能跑。用起来也简单核心就几行代码Pythonfrom llmlingua import PromptCompressorllm_lingua PromptCompressor()result llm_lingua.compress_prompt(prompt, target_token200)# 压缩完直接拿 result[compressed_prompt] 去调大模型它给出的官方样例数据2365个token的prompt压缩到211个压缩比11.2倍每次调用GPT-4省$0.1。听起来不多但如果你一天几万次调用一个月省下来的钱够再招一个人了。适用场景RAG检索结果太长需要压缩后再塞进上下文Agent的对话历史过长需要精简批量处理任务想大幅压缩API成本局限对于高度专业化的内容法律条款、医疗诊断描述压缩可能误删关键细节。另外压缩本身也需要跑一个小模型推理批量跑时也会有一点额外开销。第二个Cognee——给Agent装上结构化记忆场景上篇我推荐过Mem0它给Agent加了一层持久化记忆能跨会话记住用户偏好和历史信息。但用了一段时间后我发现一个问题。Mem0的记忆更像是平铺的笔记本——它知道用户说过什么但不太擅长理解信息之间的关系。举个真实的例子。我在做一个行研Agent喂了几十篇报告进去。它能记住字节2025年营收超过1000亿美元也能记住TikTok在美国面临监管。但它很难自动推理出这两条信息之间的关联——比如监管风险可能影响字节的海外营收占比。这就是传统向量检索和简单记忆层的短板擅长相似性匹配不擅长关系推理。Cognee的思路完全不同。它不只是把信息存起来而是把原始数据变成一张知识图谱节点是实体边是关系再叠加向量搜索做混合检索。如果Mem0是笔记本Cognee就是一本带索引和交叉引用的百科全书。怎么理解呢笔记本你翻到哪页看哪页检索全靠记忆和翻页。但百科全书不同它有目录、有索引、有另见XX词条的交叉引用。你查一个概念能顺着引用链把相关概念全串起来。Cognee做的就是这件事帮你的Agent在信息之间建立结构化的关联网络。总之它相当于一个更完善的Graph RAG。核心代码同样简洁Pythonimport cogneeawait cognee.add(你的文档内容) # 喂数据await cognee.cognify() # 生成知识图谱await cognee.memify() # 添加记忆算法results await cognee.search(你的问题) # 图谱搜索6行代码搞定从数据接入到图谱构建到查询检索的全流程。数据12.6k stars118位贡献者已经迭代到v0.5.3累计发布了79个版本。支持30种数据源接入文档、图片、音频转写、PDF统统能处理。适用场景需要跨文档推理的复杂问答行业研究、竞品分析多轮对话中需要理解信息关联性的Agent知识密集型应用法律、医疗、金融的文档管理局限知识图谱的构建质量高度依赖LLM的抽取能力。你用什么模型读文档就决定了图谱的质量天花板。图谱构建阶段的LLM成本也不低相当于你得先花钱让AI读完所有文档。因此对于实时更新频繁的场景图谱刷新有一定延迟。第三个DSPy——别写提示词了写程序场景各位如果深度用AI就会知道给一个Agent调提示词很可能会占你工作中很大一部分的时间。而且老实讲提示词工程最大的问题不是难写而是太脆弱。DSPy想干的事情就是让你写高级语言它帮你编译成针对当前模型最优的prompt。说白了DSPy对提示词的关系就像编译器对汇编。你用Python声明我要做什么——比如输入是问题输出是答案和推理过程——DSPy自动帮你生成和优化底层的prompt。模型换了重新编译一次就行你的业务逻辑代码一行不用改。核心代码长这样Pythonimport dspyclass QA(dspy.Signature):回答问题并给出推理过程question: str dspy.InputField()reasoning: str dspy.OutputField()answer: str dspy.OutputField()qa dspy.ChainOfThought(QA)result qa(question为什么小团队不应该自研大模型)你定义的是输入什么、输出什么至于中间的prompt怎么写、few-shot样例怎么选、CoT怎么组织DSPy全自己搞定。而且它还能拿训练数据自动优化这些prompt——效果比你手调的好还可复现。数据32.4k stars383位贡献者斯坦福NLP实验室出品Omar Khattab带队。ICLR24发表已经被1500个项目依赖发了106个版本。适用场景需要频繁切换模型供应商的产品复杂的多步骤LLM管线RAG、Agent、多轮推理链路追求可复现、可测试的LLM应用工程化局限学习曲线偏陡跟传统的写prompt思路差别很大需要转变思维方式。文档虽然在快速完善部分高级功能的教程还不够详细。另外对于简单的单次调用场景有点杀鸡用牛刀了。结语给读者的3个落地建议回顾这3个项目我的核心观点是2026年上下文工程会更加重要。压缩、记忆、编排每一个维度都有专业化的开源工具在帮你把船造得更好。三个行动建议先算账再选型。你的Agent一天跑多少次查询每次塞多少tokenAPI月账单多少搞清楚这些数字才知道LLMLingua能帮你省多少、Cognee的图谱构建值不值得投入。不算账就上项目是最常见的翻车方式。别贪大从一个痛点切入。这3个项目解决的是3个不同的问题。你现在最痛的是哪个prompt太长就先试LLMLinguaAgent失忆就先试Cogneeprompt太脆弱就先试DSPy。留意社区活跃度选迭代快的项目。开源项目最怕的不是功能少是没人维护。这3个项目的共同特点是迭代飞快——DSPy已经发了106个版本Cognee发了79个issues都有人回。选开源项目star数只是入门门槛更新频率才是生命线。既然看到这了如果觉得不错随手点个赞、收藏、转发三连吧我是Carl大厂研发裸辞的AI创业者只讲能落地的AI干货。关注我更多AI趋势与实战我们下期再见