“数百万本书被Claude ‘阅后即焚’”——第一次看到这个标题很多开发者的第一反应是Claude 把几百万本书的内容读完了然后会话一关所有上下文都清空了就像“阅后即焚”一样。这个说法确实很形象大模型的上下文是临时的一次会话里读得再多关闭对话之后模型并不会像人一样把这些内容长期记住。如果你遇到的问题是手里有一大批书籍、PDF、技术文档要交给 Claude 做摘要、问答、翻译或结构化整理却发现每次只能处理一部分换一个新会话又得重新上传最终大量处理结果散落在各个对话里几乎等于“焚”掉了——那么这篇文章正是为你准备的。本文会围绕 Claude 和 Claude Code 展开先把 Claude 的上下文机制讲清楚再演示如何通过 Claude Code 安装、批处理脚本、向量库和检索问答把“阅后即焚”的临时上下文变成一套可持续积累、可查询的本地知识库。无论你是做文档智能化还是在个人知识管理里接入大模型这套思路都可以直接复用。1. “阅后即焚”到底在说什么1.1 一个很常见的“AI 失忆”场景先说一个我经常看到的场景开发者在 Claude 打开一个会话上传几本书的 PDF要求它总结目录、提炼核心观点、整理术语表。刚开始 Claude 表现得很好能引述具体页码也能跨章节对比。但你继续处理第二十五本书时它开始忘记第一本书的内容再新开一个会话所有上下文都从零开始。这不是 Claude 的“性能问题”而是大模型工作机制决定的模型每次推理时只依赖当前提示词窗口内输入的 Token。你没有把之前的书再次放进对话里它就“看不到”那些内容。简单说AI 没有“硬盘”它的全部记忆都在“内存”里而这块内存每次对话结束就会被清空。这也就是标题里“阅后即焚”的直观含义。很多团队在做文档智能化时会误以为“只要把书都塞给 Claude它就能永久记住”。实际上如果没有外挂存储和检索层AI 处理再多书结果也只停留在当次会话里。1.2 问题的本质是“知识没有持久化”“阅后即焚”真正的问题不是模型不够聪明而是我们缺少一套知识持久化方案。Claude 本身是“推理引擎”不是“数据库”。你想让它长期使用这些书的内容就必须先把处理结果或原始文本切块保存到外部系统例如结构化摘要文件Markdown / JSON向量数据库Chroma、Milvus、Qdrant 等传统关系型数据库本地文件索引然后在需要问答时再把相关知识取出来放回 Claude 的上下文窗口里。这条路就是目前最常见的 RAGRetrieval-Augmented Generation检索增强生成架构。Claude 负责“思考”外部存储负责“记忆”。本文要做的就是把这条链路完整跑起来。2. Claude 与 Claude Code先分清两个概念在动手之前我们需要先区分两个容易混淆的名词2.1 Claude 是什么Claude 是 Anthropic 推出的大语言模型目前在代码生成、长文本分析、指令理解等方面表现比较稳定。开发者可以在网页版直接对话通过官方 API 调用借助 Claude Code 这类命令行工具在终端里使用。Claude 的优势是上下文理解能力强擅长处理比较复杂、篇幅较长的文本因此很多人拿它来做书籍阅读、文档总结、代码分析。如果你需要处理一批 PDF、TXT、MarkdownClaude 是非常合适的选择。2.2 Claude Code 是什么Claude Code 是 Anthropic 提供的命令行编程助手可以理解为一个跑在终端里的 AI 开发代理。它能让 Claude 直接读取项目文件、执行命令、生成代码适合在编辑器或 CI/CD 环境里使用。对文档处理场景来说Claude Code 的价值在于“可脚本化”你不需要在网页对话框里一次次上传文件而是可以通过命令行批量把文档路径传给 Claude让它按你的指令处理。你可以写一个脚本把几十本电子书统一交给 Claude 生成摘要再把结果落盘保存。这就是解决“阅后即焚”的第一步。另外你还可以在 Python 脚本里调用 Anthropic API让 Claude 对文本块做精细加工。后面实战部分会同时用到 Claude Code 和 Python API。3. 环境准备与 Claude Code 安装3.1 安装 Node.jsClaude Code 基于 Node.js 开发需要先安装 Node.js。建议使用 LTS 版本通常 18 及以上版本都可以。安装完成后终端里验证一下node -v npm -v如果提示node不是内部或外部命令说明 Node.js 还没有加入系统 PATH需要重新安装或手动配置环境变量。3.2 全局安装 Claude Code通过 npm 全局安装npm install -g anthropic-ai/claude-code安装过程可能需要一些时间取决于网络状况。安装完成后检查版本claude --version如果能输出版本号说明 Claude Code 安装成功。如果网络较慢或安装失败可以检查 npm 镜像源配置改用国内 npm 镜像后重试。注意这里只涉及 npm 镜像配置不涉及任何代理或特殊网络工具。3.3 配置 API KeyClaude Code 需要认证后才能调用模型。两种常见方式方式一登录流程在终端直接运行claude首次启动时Claude Code 会引导你完成登录授权绑定 Anthropic 账号。方式二使用环境变量如果你有 API Key可以直接设置环境变量export ANTHROPIC_API_KEYsk-ant-你的密钥在 Windows PowerShell 下可以这样设置$env:ANTHROPIC_API_KEYsk-ant-你的密钥设置好之后再运行claude就能直接进入交互界面。需要注意API Key 属于敏感凭证不要写进公共仓库或分享到博客里。建议在本地使用.env文件或系统环境变量统一管理。3.4 验证 Claude Code 是否可用运行一个最简单的非交互式指令claude -p 请用一句话介绍 Claude如果正常返回一句话说明环境已经通了。-p表示非交互模式适合在脚本或流水线中调用。3.5 Python 环境准备后面的知识库实战部分会用到 Python所以先准备好 Python 基础环境python --version pip --version建议使用 Python 3.9 及以上版本。我们还会安装以下 Python 库pip install anthropic chromadb sentence-transformersanthropic官方 Python SDK用于在脚本中调用 Claude APIchromadb轻量级向量数据库用于保存文档块和向量sentence-transformers本地文本向量化模型库用于生成检索向量。如果只是做实验也可以用简单的 JSON 文件代替向量库。但为了演示完整方案这里采用 ChromaDB。4. 为什么会“阅后即焚”理解上下文窗口与记忆限制4.1 Token 是模型的“内存单位”大模型读取文本时会把文字切分成 Token。Token 并不是完整单词可能是半个词、一个汉字片段或者一个标点。模型一次能处理的 Token 总数是有限的这个限制叫作“上下文窗口”。Claude 系列模型支持比较长的上下文窗口但依然不是无限的。当我们把几百万本书全部塞进一个会话时必然会超出窗口限制。即便只塞几千本书也会因为 Token 过多导致成本飙升、响应变慢。4.2 为什么会话结束后就忘了大模型没有持久记忆能力。你在对话里上传的所有 PDF会被编码成上下文里的 Token模型根据这些 Token 生成回复。对话结束后这些 Token 并不会被永久保存。下次再开新会话模型只会看到你再次输入的内容。这就像一台电脑只使用内存而不写硬盘断电之后所有数据就消失了。因此要想让 Claude “记住”数百万本书就必须在外部把数据整理、保存下来在需要时按需加载到上下文里。4.3 如何处理“数百万本书”这个量级说实话没有哪套方案能一次性把“数百万本书”完整塞进模型也没有必要。工程上的通用做法是把原始书籍转换成纯文本按章节、段落或固定大小切割成文本块对每个文本块做向量化把文本块和向量存入向量数据库用户提问时先从向量库中检索最相关的块把相关块拼接到提示词里交给 Claude 生成最终答案。这样Claude 每次只需要读取少量相关文本既节省了 Token又能提供基于大量书籍的答案。整个过程相当于把“阅后即焚”从缺点变成了优点模型只“看见”当前最需要的部分既高效又能避免上下文污染。5. 完整实战用 Claude 处理书籍并构建持久知识库下面我们用一个简化但完整的项目来演示。假设你的本地上有一个books目录里面存放多本英文或中文书籍的 TXT/Markdown 文本文件。5.1 项目结构book-knowledge/ ├── books/ │ ├── book1.txt │ ├── book2.md │ └── ... ├── summaries/ │ ├── book1_summary.md │ └── ... ├── chunks/ │ └── ... ├── vector_db/ │ └── ... ├── ingest.py ├── query.py └── requirements.txtbooks/原始文本文件summaries/Claude 生成的书籍摘要chunks/切分后的文本块vector_db/ChromaDB 持久化目录ingest.py知识库写入脚本query.py检索问答脚本。5.2 第一阶段用 Claude Code 批量生成结构化摘要先处理摘要。我们可以写一个简单的 shell 脚本遍历books目录里的每个文件调用 Claude Code 的非交互模式生成摘要并保存到summaries目录。#!/bin/bash # 文件路径book-knowledge/generate_summaries.sh mkdir -p summaries for file in books/*.txt books/*.md; do # 提取不带扩展名的文件名 base$(basename $file) name${base%.*} echo 正在处理: $file claude -p 请阅读 ${file}输出一份结构化摘要包含核心主题、关键观点、重要术语、引用片段。使用 Markdown 格式。 summaries/${name}_summary.md echo 已生成: summaries/${name}_summary.md done echo 全部完成这种方式的好处是Claude Code 可以读取本地文件不必手动复制内容。对于每个文件我们都在独立进程里运行因此不会因为上一个文件把上下文占满而影响下一个文件。摘要生成后直接写入磁盘这就解决了“阅后即焚”问题中的“临时记忆”部分。如果你希望批量处理 PDF可以先用pdftotext或 Python 的pypdf把 PDF 转成 TXT再放入books目录。5.3 第二阶段文本切分与向量化摘要适合快速浏览但如果想基于整本书做精确问答还需要把全文切成文本块并建立向量索引。下面是一个ingest.py脚本它的职责是读取books目录下所有 TXT/Markdown 文件按固定长度切块使用本地向量模型生成向量写入 ChromaDB。# 文件路径book-knowledge/ingest.py import os import re from typing import List import chromadb from sentence_transformers import SentenceTransformer BOOKS_DIR books CHUNK_DIR chunks VECTOR_DB_DIR vector_db CHUNK_SIZE 800 OVERLAP 100 # 加载本地向量模型 embedding_model SentenceTransformer(BAAI/bge-small-zh-v1.5) def read_text_file(path: str) - str: with open(path, r, encodingutf-8) as f: return f.read() def split_text(text: str, chunk_size: int CHUNK_SIZE, overlap: int OVERLAP) - List[str]: 按固定长度切分文本并保留重叠区域避免切断语义。 text re.sub(r\n{3,}, \n\n, text) text text.strip() if not text: return [] chunks [] start 0 while start len(text): end start chunk_size chunk text[start:end] if chunk.strip(): chunks.append(chunk) if end len(text): break start end - overlap return chunks def main(): # 初始化 ChromaDB chroma_client chromadb.PersistentClient(pathVECTOR_DB_DIR) collection chroma_client.get_or_create_collection(namebooks) # 遍历所有书籍文件 for filename in os.listdir(BOOKS_DIR): if not (filename.endswith(.txt) or filename.endswith(.md)): continue filepath os.path.join(BOOKS_DIR, filename) print(f正在处理: {filepath}) text read_text_file(filepath) chunks split_text(text) ids [f{filename}_{idx} for idx in range(len(chunks))] metadatas [{source: filename, chunk_index: idx} for idx in range(len(chunks))] embeddings embedding_model.encode(chunks).tolist() collection.upsert( idsids, documentschunks, embeddingsembeddings, metadatasmetadatas, ) print(f已写入 {len(chunks)} 个文本块) print(所有书籍已写入本地知识库) if __name__ __main__: main()这个脚本的关键点在于SentenceTransformer在本地生成向量不依赖外部 API适合大批量处理成本也低。ChromaDB 的PersistentClient会把向量库持久化到vector_db目录不会因为程序退出而丢失。upsert是“存在则更新不存在则插入”重复运行脚本不会产生大量重复数据。如果你希望向量模型更贴合中文书籍可以换成其他开源 BGE 系列模型如果主要是英文书籍也可以选择all-MiniLM-L6-v2这类轻量模型。具体模型名称请根据你的实际环境和网络情况选择。5.4 第三阶段语义检索与 Claude 问答向量库建好之后我们就可以写一个query.py实现“先从本地知识库检索相关内容再交给 Claude 回答”。# 文件路径book-knowledge/query.py import os import chromadb from sentence_transformers import SentenceTransformer from anthropic import Anthropic VECTOR_DB_DIR vector_db TOP_K 5 # 初始化向量模型和向量库 embedding_model SentenceTransformer(BAAI/bge-small-zh-v1.5) chroma_client chromadb.PersistentClient(pathVECTOR_DB_DIR) collection chroma_client.get_or_create_collection(namebooks) # 初始化 Claude API 客户端 client Anthropic(api_keyos.environ.get(ANTHROPIC_API_KEY)) CLAUDE_MODEL claude-sonnet-4-5 # 请根据你的账号可用模型调整 def search_related_chunks(query: str, top_k: int TOP_K) - str: query_embedding embedding_model.encode([query]).tolist() result collection.query( query_embeddingsquery_embedding, n_resultstop_k, ) docs result.get(documents, [[]])[0] return \n\n---\n\n.join(docs) def ask_claude(question: str, context: str) - str: prompt f请根据下面的参考资料回答问题。如果资料中没有足够信息请明确说明。 参考资料 {context} 问题 {question} message client.messages.create( modelCLAUDE_MODEL, max_tokens2000, messages[{role: user, content: prompt}], ) return .join(block.text for block in message.content) if __name__ __main__: q input(请输入你的问题) related search_related_chunks(q) print(\n检索到相关片段\n) print(related) print(\n--- Claude 回答 ---\n) answer ask_claude(q, related) print(answer)运行方式export ANTHROPIC_API_KEYsk-ant-你的密钥 python ingest.py python query.py执行query.py后输入类似“书里关于XX方法的论述是什么”这样的问题脚本会先检索本地向量库找到最相关的几个文本块再让 Claude 基于这些文本块生成回答。这一步就是 RAG 的核心Claude 不再需要“记住”整本书只需要在回答时读取相关片段。检索能力由向量数据库负责生成能力由 Claude 负责。两者组合后就可以在数十万甚至更多文档中可靠问答同时避免上下文窗口被挤爆。5.5 结果与验证你可以做一个小实验准备两本不同主题的书运行ingest.py导入问一个只与其中某一本书相关的问题观察query.py是否检索到了正确来源的片段确认 Claude 的回答是否基于该片段。如果回答正确说明“检索 生成”链路已经打通。你还可以在 ChromaDB 的元数据里记录书籍名、章节、页码让 Claude 在回答时也能输出引用来源进一步提升可信度。6. 常见问题与排查思路在搭建这套方案时容易遇到下面这些问题。问题现象常见原因解决思路claude命令找不到Node.js 未安装或 PATH 未配置检查node -v重新安装 Node.js或把 npm 全局目录加入 PATHclaude -p提示认证失败API Key 未设置或已失效确认ANTHROPIC_API_KEY环境变量在官网控制台检查密钥状态导入向量库时报“模型下载失败”本地网络无法访问 Hugging Face选择官方镜像或预下载模型文件再加载本地模型路径向量化速度太慢文本块数量过多且 CPU 推理降低分块密度或把向量化拆成批量任务也可以换更大的机器Claude 回答内容与书籍无关检索结果不准确调整TOP_K、换用更好的 embedding 模型或检查文本块切分是否把句子切碎ChromaDB 数据重复重复运行了ingest.py使用upsert时注意 id 稳定性或每次导入前清理旧集合单次调用费用过高提示词塞入了太多无关片段减小TOP_K控制文本块长度必要时只让 Claude 返回结构化片段摘要下面挑几个重点问题展开说明。6.1 ChromaDB 数据不一致如果你改了CHUNK_SIZE再次运行ingest.py就可能出现旧文本块与新文本块混在一起的情况。建议在清洗数据时先删除旧集合chroma_client.delete_collection(books)然后再调用get_or_create_collection重新创建。这样能避免旧的向量污染新的索引。6.2 文本块切碎导致语义断裂固定的CHUNK_SIZE切分简单但可能把一个段落甚至一句话从中间切断。更好的做法是按章节标题、段落换行进行切分再对过长段落按句号或换行截断。你可以用 Spacy 或 Jieba 做句子边界识别不过对大多数文本来说增加OVERLAP已经能明显改善检索效果。6.3 Claude API 的max_tokens不够如果要求 Claude 生成长篇结构化回答max_tokens2000可能不够。报错信息一般是output_token_limit_exceeded。这时可以调大max_tokens但也要注意成本。更推荐的做法是把一次大问题拆成多次小问题或者要求 Claude 先输出大纲再逐章节生成。7. 最佳实践与工程建议7.1 先做文本清洗再进向量库原始电子书文本往往包含大量噪声页眉页脚、目录、ISBN、扫描乱码。如果不做清洗直接切块向量化检索时很容易匹配到无意义片段。建议在导入前统一处理去除页眉页脚删除连续空行把全角标点统一成半角去掉空白字符对 OCR 文本做错别字校准如果条件允许。清洗后的文本质量直接决定了知识库效果上限。7.2 元数据越完整后期越省事每个文本块都建议记录书籍唯一 ID 或文件名章节页码文本块序号生成时间来源格式。这样在检索时可以直接按“某本书”“某章节”过滤回答时也能标注来源。7.3 缓存 Claude 的生成结果摘要、解答这类任务往往会被反复触发。如果问题相同或相似建议做缓存把问题和答案存到数据库下次遇到相似问题先查缓存只有缓存没有命中时才调用 Claude API。这样既能减少 API 费用也能提升响应速度。7.4 注意数据版权与安全处理大量书籍时一定要确认自己有合法使用权。企业项目里建议只处理已授权的文档、内部资料或开源协议允许的内容。不要把自己没有权限的书籍全文上传到任意外部服务也不要随意传播处理后的全文数据。在调用 Claude API 时敏感数据要经过脱敏、权限审批后再发送。如果公司有私有化部署或本地模型也可以考虑把向量化完全留在本地只把必要片段发送给大模型。7.5 从简单方案开始再逐步扩容如果你的书只有几十本完全可以只用 JSON 文件保存摘要不必一开始就上向量数据库。当检索需求出现、数据量明显增大、单次关键词匹配已经无法满足要求时再引入 ChromaDB 和向量检索。技术方案永远为业务服务不要为了“高级”而过度设计。7.6 用增量更新代替全量重建书籍知识库不是一次建好就固定不变。后续会新增章节、修订内容甚至删除过期文档。建议在ingest.py里记录每个文件最后处理时间metadata[last_modified] os.path.getmtime(filepath)运行导入任务时只处理修改时间变化的文件。这样能显著降低重复计算成本。8. 总结与下一步本文从一个很形象的说法“数百万本书被 Claude 阅后即焚”出发拆解了大模型上下文临时性的本质问题然后给出了一套完整的落地方案用 Claude Code 批量生成摘要用本地向量模型切块嵌入用 ChromaDB 持久化最后通过 Claude API 做检索增强问答。这套方案的核心思想是不要让 Claude 记住所有书而是让它随时能“查”到所有书。你把“记忆”放到外部系统里Claude 只负责每次读取最相关的片段并完成推理。这样就可以在书籍量级很大的情况下仍然保持可控的成本和较好的回答质量。如果你刚开始接触建议先按本文顺序把claude code 安装跑通然后用 2 到 3 本书试一遍ingest.py和query.py把报错解决掉。之后再考虑扩展到更多文档、更精细的文本清洗以及更完善的知识库管理。下一步你可以继续深入学习 LangChain 或 LlamaIndex 的文档 Loader、Splitter、Retriever 抽象研究不同 embedding 模型在中文文档上的检索效果了解提示词压缩、多轮对话记忆等进阶技巧探索把 Claude Code 接入编辑器或 CI 流程实现文档自动更新与摘要生成。把“阅后即焚”变成“阅后即存”只差一个可靠的知识库。希望这篇教程能帮你把这条链路真正跑起来。如果你在安装或运行过程中卡住欢迎在评论区带上报错信息继续讨论。