最近在做一个智能客服项目传统的关键词匹配和规则引擎实在让人头疼响应慢、知识更新不及时用户体验一言难尽。正好研究了一下RAG检索增强生成和LLM大语言模型发现这俩组合简直是解决这类问题的“黄金搭档”。于是我用Java生态搞了一套方案从零搭建了一个原型系统过程踩了不少坑也积累了一些心得今天就来和大家分享一下我的实战笔记。1. 为什么我们需要RAGLLM传统的客服系统无论是基于规则引擎还是简单的FAQ匹配都存在几个硬伤知识更新滞后每增加一条新知识都需要人工去维护规则或者FAQ库费时费力。理解能力弱用户稍微换个说法比如把“怎么退款”说成“钱能退回来吗”系统可能就懵了无法理解语义层面的相似性。回答僵硬基于模板的回答缺乏灵活性无法根据上下文生成连贯、自然的对话。直接微调一个大语言模型LLM行不行理论上可以但成本太高。你需要大量的标注数据、昂贵的算力而且模型一旦训练好知识就固化了更新起来又是大工程。RAG方案就聪明多了。它的核心思想是“先检索后生成”把公司的知识文档产品手册、客服话术等转换成向量存进向量数据库。用户提问时先把问题也转换成向量去数据库里快速找出最相关的几段知识。把这些相关知识和用户问题一起“喂”给LLM让LLM基于这些知识生成最终回答。这样做的好处显而易见知识库可以随时更新只需重新生成新文档的向量并入库回答的准确性有保障基于事实并且利用了LLM强大的语言生成能力回答自然流畅。对于大多数企业来说RAG是当前性价比最高、最实用的选择。2. 技术栈选型为什么是Java既然确定了RAG路线接下来就是技术选型。我选择了Java生态原因如下成熟稳定Spring Boot框架经过多年发展在构建稳健的Web服务方面无可挑剔社区资源丰富遇到问题容易找到解决方案。工程化能力强Java在并发处理、连接池管理、监控等方面有成熟的库和最佳实践非常适合构建需要高可用的生产级服务。团队适配对于大部分已有Java技术栈的团队来说引入新组件比换一套语言栈的成本低得多。核心组件清单服务框架Spring Boot 3.x向量化模型Sentence-BERT (通过ONNX Runtime或Deep Java Library调用)向量数据库FAISS (Facebook开源的相似性搜索库通过JNI集成)大语言模型开源LLM如ChatGLM3、Qwen等通过其提供的HTTP API调用其他Redis缓存JMeter压测3. 核心实现步骤拆解3.1 搭建Spring Boot服务骨架首先用Spring Initializr快速创建一个项目引入Web、Validation等基础依赖。我们的核心是一个提供问答接口的REST服务。RestController RequestMapping(/api/v1/chat) public class ChatController { Autowired private RagService ragService; PostMapping(/query) public ResponseEntityChatResponse query(Valid RequestBody ChatRequest request) { // 参数校验、敏感词过滤等前置处理可以放在这里或通过AOP实现 ChatResponse response ragService.generateResponse(request.getQuestion(), request.getSessionId()); return ResponseEntity.ok(response); } }3.2 知识库向量化与存储这是RAG的“检索”部分的基础。我们需要一个EmbeddingService负责将文本转换为向量。加载Sentence-BERT模型可以使用ONNX Runtime的Java API来加载预转换好的ONNX模型这样比直接调用Python服务性能更好延迟更低。文本预处理对输入文本进行清洗、分词对于中文至关重要。这里我使用了HanLP进行分词效果不错。生成向量调用模型接口将分词后的句子转换为固定维度的浮点数数组向量。Service public class EmbeddingServiceImpl implements EmbeddingService { private final OrtEnvironment env; private final OrtSession session; public EmbeddingServiceImpl() throws OrtException { env OrtEnvironment.getEnvironment(); session env.createSession(model/paraphrase-multilingual-MiniLM-L12-v2.onnx); } Override public float[] generateEmbedding(String text) { // 1. 中文分词预处理 ListString words HanLP.segment(text).stream() .map(Term::word) .collect(Collectors.toList()); String processedText String.join( , words); // 2. 构建模型输入 MapString, OnnxTensor inputs new HashMap(); // ... 将processedText转换为模型需要的Tensor格式 // 3. 运行推理 try (OrtSession.Result results session.run(inputs)) { OnnxTensor embeddingTensor (OnnxTensor) results.get(0); return embeddingTensor.getFloatBuffer().array(); // 假设输出是1维向量 } catch (OrtException e) { throw new RuntimeException(生成向量失败, e); } } }时间复杂度分析假设句子平均长度为N个词分词复杂度为O(N)模型推理复杂度固定主要取决于模型大小。Sentence-BERT这类轻量级模型在CPU上也能在几十毫秒内完成。3.3 集成FAISS进行高效检索FAISS是C库我们需要通过JNIJava Native Interface来调用。社区有faiss4j这样的封装库可以简化集成。核心是构建一个VectorStoreService。初始化索引选择适合的索引类型如IndexFlatIP内积等价于余弦相似度当向量标准化后或IndexIVFFlat适合海量数据。添加向量将知识库所有文档的向量添加到索引中并建立ID到原始文本的映射。相似性搜索给定查询向量返回Top K个最相似的向量ID及其相似度分数。Service public class FaissVectorStoreService implements VectorStoreService { private Index index; private MapLong, String idToTextMap new ConcurrentHashMap(); private AtomicLong idGenerator new AtomicLong(0); PostConstruct public void init() { // 假设向量维度是384 index new IndexFlatIP(384); // 从数据库或文件加载已有知识库生成向量并添加到index同时填充idToTextMap } Override public ListSearchResult search(float[] queryVector, int topK) { // FAISS搜索返回的是距离我们需要的是相似度这里用内积近似 long[] resultIds new long[topK]; float[] distances new float[topK]; index.search(queryVector, topK, resultIds, distances); ListSearchResult results new ArrayList(); for (int i 0; i resultIds.length; i) { results.add(new SearchResult(resultIds[i], idToTextMap.get(resultIds[i]), 1.0f / (1.0f distances[i]))); // 简单转换距离为相似度 } return results; } Override public void addDocument(String text, float[] vector) { long id idGenerator.incrementAndGet(); index.add(vector, id); idToTextMap.put(id, text); } }时间复杂度分析IndexFlatIP的搜索是线性扫描复杂度O(N*d)N是向量数d是维度。对于百万级以下的数据在内存中速度尚可。如果数据量极大应采用IndexIVFFlat等近似搜索索引复杂度可降至O(sqrt(N)*d)级别。3.4 封装LLM生成最终回答这是RAG的“生成”部分。我们构建一个LLMService封装对开源LLM API的调用。以调用本地部署的ChatGLM3为例。Service public class ChatGLMService implements LLMService { Value(${llm.chatglm.endpoint}) private String apiEndpoint; private final RestTemplate restTemplate; public ChatGLMService(RestTemplateBuilder builder) { this.restTemplate builder.build(); } Override public String generateResponse(String userQuestion, ListString contexts) { // 构建Prompt将检索到的知识contexts和用户问题结合 String prompt buildRAGPrompt(userQuestion, contexts); LLMRequest request new LLMRequest(); request.setPrompt(prompt); request.setMaxTokens(500); // ... 设置其他参数 try { LLMResponse response restTemplate.postForObject(apiEndpoint, request, LLMResponse.class); return response ! null ? response.getGeneratedText() : 抱歉我暂时无法回答这个问题。; } catch (RestClientException e) { // 记录日志进行降级处理例如返回检索到的第一条知识片段 return contexts.isEmpty() ? 服务暂时不可用。 : contexts.get(0); } } private String buildRAGPrompt(String question, ListString contexts) { StringBuilder sb new StringBuilder(); sb.append(基于以下已知信息简洁、专业地回答用户的问题。如果无法从中得到答案请说“根据已知信息无法回答该问题”。\n\n); sb.append(已知信息\n); for (String ctx : contexts) { sb.append(- ).append(ctx).append(\n); } sb.append(\n问题).append(question).append(\n回答); return sb.toString(); } }最后串联起整个流程的RagService就水到渠成了Service public class RagServiceImpl implements RagService { Autowired private EmbeddingService embeddingService; Autowired private VectorStoreService vectorStoreService; Autowired private LLMService llmService; Autowired private CacheManager cacheManager; Override public ChatResponse generateResponse(String question, String sessionId) { // 1. 查询缓存可选 String cacheKey response: DigestUtils.md5DigestAsHex(question.getBytes()); Cache cache cacheManager.getCache(ragCache); Cache.ValueWrapper cached cache.get(cacheKey); if (cached ! null) { return (ChatResponse) cached.get(); } // 2. 生成问题向量 float[] queryVector embeddingService.generateEmbedding(question); // 3. 检索相关上下文 ListSearchResult searchResults vectorStoreService.search(queryVector, 5); // 取Top5 ListString contexts searchResults.stream() .map(SearchResult::getText) .collect(Collectors.toList()); // 4. 调用LLM生成回答 String answer llmService.generateResponse(question, contexts); // 5. 构造响应并缓存 ChatResponse response new ChatResponse(answer, searchResults); cache.put(cacheKey, response); return response; } }4. 性能优化实战技巧一个原型跑起来容易但要达到生产可用性能优化必不可少。4.1 批量处理与异步化对于向量生成和LLM调用这两个最耗时的环节批量处理能极大提升吞吐量。批量向量化EmbeddingService可以支持传入一个ListString模型一次推理处理多个句子效率远高于循环调用。FAISS的add方法也支持批量添加向量。异步编排使用Spring的Async或CompletableFuture将“检索”和“生成”部分异步化。注意检索是生成的前提但检索到多个上下文后可以并行处理一些后续逻辑如多路召回结果融合。Service public class AsyncRagService { Async(taskExecutor) public CompletableFutureListString retrieveContextAsync(float[] queryVector) { // 模拟耗时检索 return CompletableFuture.completedFuture(vectorStoreService.search(queryVector, 5).stream() .map(SearchResult::getText) .collect(Collectors.toList())); } Async(taskExecutor) public CompletableFutureString generateAnswerAsync(String question, ListString contexts) { // 模拟耗时生成 return CompletableFuture.completedFuture(llmService.generateResponse(question, contexts)); } public ChatResponse generateResponseAsync(String question) throws Exception { float[] queryVector embeddingService.generateEmbedding(question); CompletableFutureListString contextFuture retrieveContextAsync(queryVector); CompletableFutureString answerFuture contextFuture.thenCompose(contexts - generateAnswerAsync(question, contexts)); // 等待所有异步任务完成 CompletableFuture.allOf(contextFuture, answerFuture).join(); return new ChatResponse(answerFuture.get(), contextFuture.get().stream() .map(t - new SearchResult(0L, t, 0.9f)) // 简化示例 .collect(Collectors.toList())); } }记得在配置类中定义线程池TaskExecutor避免无限制创建线程。4.2 多级缓存策略本地缓存Caffeine缓存高频问题的最终答案或问题向量。注意设置合理的过期时间和最大大小。分布式缓存Redis缓存生成的文本向量和知识片段向量避免每次查询都重复计算。当知识库更新时需要清理或更新相关缓存。4.3 对话状态管理对于多轮对话需要维护上下文。这里有个线程安全的坑每个用户的会话状态应该隔离。可以用ConcurrentHashMap以sessionId为键来存储或者直接使用Redis存储会话上下文。Component public class ConversationManager { private final MapString, ListChatMessage conversationStore new ConcurrentHashMap(); public void addMessage(String sessionId, String role, String content) { conversationStore.computeIfAbsent(sessionId, k - new ArrayList()) .add(new ChatMessage(role, content)); // 可选限制历史消息长度防止上下文过长 } public ListChatMessage getHistory(String sessionId) { return conversationStore.getOrDefault(sessionId, new ArrayList()); } }在构建LLM的Prompt时将历史对话也拼接进去。5. 避坑指南与进阶思考5.1 中文分词的“陷阱”一开始我直接用原始句子去做向量化发现对于“苹果手机”和“iPhone”这样的同义查询检索效果很差。这是因为Sentence-BERT等模型虽然支持多语言但其底层的分词器Tokenizer对中文的处理可能不是最优的。先使用专门的中文分词工具如HanLP、Jieba进行分词再用空格连接成分词后的句子送入模型能显著提升向量表征的质量让语义相似的句子在向量空间里靠得更近。5.2 敏感信息过滤让LLM直接生成回答存在泄露训练数据中敏感信息或生成不当内容的风险。一个有效的办法是使用Spring AOP在调用LLM接口前后进行拦截。Aspect Component public class SafetyAspect { Around(execution(* com.your.service.LLMService.generateResponse(..))) public Object filterSensitiveInfo(ProceedingJoinPoint joinPoint) throws Throwable { Object[] args joinPoint.getArgs(); String userQuestion (String) args[0]; SuppressWarnings(unchecked) ListString contexts (ListString) args[1]; // 1. 对用户输入和检索上下文进行敏感词过滤 userQuestion SensitiveWordFilter.filter(userQuestion); ListString filteredContexts contexts.stream() .map(SensitiveWordFilter::filter) .collect(Collectors.toList()); // 2. 执行原方法传入过滤后的参数 args[0] userQuestion; args[1] filteredContexts; String originalResponse (String) joinPoint.proceed(args); // 3. 对LLM生成的结果进行二次过滤 return SensitiveWordFilter.filter(originalResponse); } }5.3 压力测试与性能基准系统上线前必须用JMeter进行压力测试。重点关注的指标包括吞吐量Throughput系统每秒能处理的请求数。平均响应时间Average Response Time特别是P95、P99响应时间这直接关系到用户体验。错误率在高并发下服务是否稳定。在JMeter中你需要模拟用户从发送问题到收到回答的完整流程。将/api/v1/chat/query接口配置到线程组中使用CSV文件准备一批测试问题观察在不同并发用户数下上述指标的变化情况。根据测试结果调整线程池大小、缓存策略、FAISS索引参数等。6. 总结与思考通过这一套组合拳我们成功构建了一个响应迅速、知识可实时更新、回答自然流畅的智能客服原型。Java生态的成熟组件让我们能更专注于业务逻辑的实现而RAGLLM的架构则赋予了系统强大的智能。当然这只是一个起点。在实际生产环境中我们还需要考虑更多检索质量优化单纯的向量相似度检索够用吗是否需要结合关键词BM25进行混合检索Hybrid Search如何对多路召回的结果进行精排Re-rankingLLM的幻觉问题即使提供了上下文LLM有时还是会“胡编乱造”。如何通过Prompt工程、或者让LLM在生成时引用原文片段并校验来减少幻觉Hallucination系统可观测性如何监控每一次问答的检索结果相关性、LLM生成质量如何设计反馈机制让错误的回答能被发现并用于持续优化检索和生成模块这条路还很长但每一步的探索都让机器更懂人言也让我们的开发工作充满了挑战和乐趣。希望这篇笔记能给你带来一些启发欢迎一起交流探讨。