目录一、技术框架与选型1.1、技术框架与选型1.1.1、LangChain1.1.2、索引流程 (文档解析模块：pypdf)1.1.3、索引流程 (文档分块模块：RecursiveCharacterTextSplitter)1.1.4、索引 / 检索流程 (向量化模型：bge-small-zh-v1.5)1.1.5、索引 / 检索流程 (向量库：Faiss)1.1.5、生成流程 (大语言模型：通义千问 Qwen)1.2、技术框架与选型的流程图二、开发环境与技术库2.1、创建并激活虚拟环境2.2、安装技术依赖库2.2.1、安装技术依赖库2.2.2、安装技术依赖库的命令2.2.3、下载 bge-small-zh-v1.5 模型三、RAG 核心流程代码3.1、模块库的引入3.2、索引流程3.3、检索流程3.4、生成流程3.5、测试脚本本文来源：极客时间vip课程笔记注：后续技术类文章会同步到我的公众号里，搜索公众号小志的博客感兴趣的读友可以去找来看看。一、技术框架与选型这篇文章中的选型并非适用于所有场景的最佳方案，而是基于当前广泛应用和流行的技术模块。关于这些模块的具体特点以及可能的替代选型，我们会在后续文章中进行详细分析与解读。1.1、技术框架与选型1.1.1、LangChainLangChain 是专为开发基于大型语言模型（LLM）应用而设计的全面框架，其核心目标是简化开发者的构建流程，使其能够高效创建 LLM 驱动的应用。1.1.2、索引流程 (文档解析模块：pypdf)pypdf 是一个开源的 Python 库，专门用于处理 PDF 文档。pypdf 支持 PDF 文档的创建、读取、编辑和转换操作，能够有效提取和处理文本、图像及页面内容。1.1.3、索引流程 (文档分块模块：RecursiveCharacterTextSplitter)采用 LangChain 默认的文本分割器 -RecursiveCharacterTextSplitter。该分割器通过层次化的分隔符（从双换行符到单字符）拆分文本，旨在保持文本的结构和连贯性，优先考虑自然边界如段落和句子。1.1.4、索引 / 检索流程 (向量化模型：bge-small-zh-v1.5)bge-small-zh-v1.5 是由北京人工智能研究院（BAAI，智源）开发的开源向量模型。虽然模型体积较小，但仍然能够提供高精度和高效的中文向量检索。该模型的向量维度为 512，最大输入长度同样为 512。1.1.5、索引 / 检索流程 (向量库：Faiss)Faiss 全称 Facebook AI Similarity Search，由 Facebook AI Research 团队开源的向量库，因其稳定性和高效性在向量检索领域广受欢迎。1.1.5、生成流程 (大语言模型：通义千问 Qwen)通义千问 Qwen 是阿里云推出的一款超大规模语言模型，支持多轮对话、文案创作、逻辑推理、多模态理解以及多语言处理，在模型性能和工程应用中表现出色。采用云端 API 服务，注册有 1,000,000 token 的免费额度。1.2、技术框架与选型的流程图流程图LangChain：提供用于构建 LLM RAG 的应用程序框架。索引流程：使用 pypdf 对文档进行解析并提取信息；随后，采用RecursiveCharacterTextSplitter 对文档内容进行分块（chunks）；最后，利用 bge-small-zh-v1.5 将分块内容进行向量化处理，并将生成的向量存储在 Faiss 向量库中。检索流程：使用 bge-small-zh-v1.5 对用户的查询（Query）进行向量化处理；然后，通过 Faiss 向量库对查询向量和文本块向量进行相似度匹配，从而检索出与用户查询最相似的前 top-k 个文本块（chunk）。生成流程：通过设定提示模板（Prompt），将用户的查询与检索到的参考文本块组合输入到 Qwen 大模型中，生成最终的 RAG 回答。二、开发环境与技术库我们采用 Python 编程语言，Python 版本 3.8 及以上，运行于 Linux 操作系统下。结合上述的技术框架与选型，我们的开发环境需要按照以下步骤进行准备：2.1、创建并激活虚拟环境目的是隔离项目依赖，避免项目之间冲突。先在命令行窗口中执行指令定位到具体的 RAG 项目文件夹，然后在命令行中执行以下指令：# 创建名为rag_env的虚拟环境 python3-m venv rag_env # 激活虚拟环境 source rag_env/bin/activate2.2、安装技术依赖库2.2.1、安装技术依赖库安装langchain和langchain_communityLLM RAG 的技术框架及其扩展。安装pypdf处理 PDF 文档的解析库。安装sentence-transformers运行指定文本嵌入模型 bge-small-zh-v1.5 的模型库。安装faiss-cpu高效相似度搜索的 Faiss 向量库。安装dashscope与阿里云 Qwen 大模型 API 的集成库。2.2.2、安装技术依赖库的命令首先，升级 pip 版本，以确保兼容性，在命令行中执行以下指令。# 升级pip版本以确保兼容性 pip install--upgrade pip然后，安装上述技术依赖库，在命令行中执行以下指令：pip install langchain langchain_community pypdf sentence-transformers faiss-cpu dashscope如果无法连接，可以使用国内镜像站点，在命令行中执行以下指令：pip install langchain langchain_community pypdf sentence-transformers faiss-cpu dashscope-i https://pypi.tuna.tsinghua.edu.cn/simple2.2.3、下载 bge-small-zh-v1.5 模型该模型的文件已包含在 Gitee 上托管的项目中的 bge-small-zh-v1.5 文件夹内，你可以直接下载到 RAG 项目的根目录中，模型大小 95.8M，在命令行中执行以下指令：git clone https://gitee.com/techleadcy/rag_app.git下载完成后，检查 rag_app 项目中 bge-small-zh-v1.5 文件夹中是否包含pytorch_model.bin 文件。该库中同时包含了本文章的 RAG 核心流程代码 rag_app_lesson2.py 及测试 PDF 文档 test_lesson2.pdf。三、RAG 核心流程代码在实战过程中，你不仅可以快速构建 RAG 应用，还能够在研发过程中深入理解其背后的技术逻辑与核心原理。为此，我在代码的每一行添加了必要的注释，并对每段流程代码进行了归纳和解释，旨在通过实战代码增强你对 RAG 技术的理解。整个流程代码分为模块库的引入、索引流程、检索流程、生成流程以及测试代码几部分进行精细讲解，具体的代码位于 Gitee 项目库中的 rag_app_lesson2.py 文件中。3.1、模块库的引入模块库引入的代码如下：from langchain_community.document_loadersimportPyPDFLoader#PDF文档提取 from langchain_text_splittersimportRecursiveCharacterTextSplitter# 文档拆分chunk from sentence_transformersimportSentenceTransformer# 加载和使用Embedding模型importfaiss#Faiss向量库importnumpyas np # 处理嵌入向量数据，用于Faiss向量检索importdashscope#调用Qwen大模型 from httpimportHTTPStatus#检查与Qwen模型HTTP请求状态importos# 引入操作系统库，后续配置环境变量与获得当前文件路径使用 os.environ["TOKENIZERS_PARALLELISM"]="false"# 不使用分词并行化操作,避免多线程或多进程环境中运行多个模型引发冲突或死锁 # 设置Qwen系列具体模型及对应的调用API密钥，从阿里云百炼大模型服务平台获得 qwen_model="qwen-turbo"qwen_api_key=