面试高频知识库 RAG 的构建从原理到落地摘要本文围绕 RAG检索增强生成知识库的构建展开讲解其如何为 agent 模型提供外部私有知识库以提升 AI 回答的精准度。内容涵盖 RAG 的核心作用、完整处理流程文档上传、文本切割、Embedding 向量化、数据入库并说明各环节的作用与要点帮助读者理解 RAG 在 agent 工程中的价值与落地方式。前言上一次我大概地介绍了关于 agent 工程的两个优化方向其中对于 RAG 知识库的构建是外部优化 AI 的重要一环。今天我想详细讲讲关于 RAG 的构建过程与其和我们所搭建的 agent 项目的联系——具体是如何通过 RAG 增强检索来对 AI 精准度做优化。一、RAG增强检索究竟干了什么我们知道RAG 解决的核心问题就是为我们的 agent 模型提供了一个装着我们私有信息项目信息项目涉及的最新知识体系的外部知识库。在我们调用相对的 agent 接口时在交给 AI 接手时会先去这个知识库里检索相关内容之后再将匹配的相关知识和用户问题一起交给 AI 模型最终才会得到最终回答类似于我们给 AI 准备了考试但是是开卷的所依赖的资料就是我们的知识库。二、RAG处理流程1.首先RAG 作为知识库我们肯定需要上传相关的知识文档当然文档可以是 Markdown、PDF、Word 等格式的数据上传之后可通过框架方法自带的解析器来解析其中的数据。2. RAG 文档切割其次我们的知识库要想丰富且“全知全能”就需要海量数据作为支撑但是一股脑的上传所有文档解析起来十分费劲甚至会因为上下文太长而出现报错这不是我们想看到的所以需对其进行文本切割我们需要将文档切成小段也就是 chunk至于切割范围比较通用的便是 500~1000 token区间范围合适召回的检索信息才会精准匹配到用户的心坎里。当然不仅仅是切割的块头切割点也需要清楚一般都是切割一段完整的语义毕竟没人希望看到断句或者病句AI 也是一样3.文档数据的向量化这一步是最核心的一步Embedding 向量化Embedding 会将上传的文字转成一个数字向量或是数组或是某个列表为什么要这样干嘞文档已经切好了为什么还要进行向量化其实我们可以将这个向量化的东西理解为给知识库设置的“语义坐标系”。我们上传了文档切割了文档后存入知识库但是调用时如何检索呢例如我们给他人讲数学题时脑子里会涌出相关的知识点我们会筛出和这道数学题相关的知识点而不是去掏出古诗词或者化学公式来解答。因为不相干么向量化就是干这个的数据传上来很杂会将其向量化以后在检索时首先会匹配和问题语义相近的内容无关的推走就好了有了这样的空间结构检索的准度和速度便无需多言了。4.数据存入知识库最后便是入库在经历一系列流程后将切割并向量化的文档和原始文档一起存入向量数据库这个当然有现成的比如 Milvus、Chroma 等并且支持专门的检索与存储。总结以上便是 RAG 在 agent 工程中担任的角色和我们在真正使用 RAG 的时候的流程与准备有了知识库的嵌入项目中的 AI 才会变得“全知全能”——不仅仅是公共信息项目有关的私人信息AI 也能了如指掌