简介这是一套面向计算机相关专业本科生的高分毕业设计实战资源聚焦医疗垂直领域问答系统开发融合RAG检索增强与大模型技术专为毕业设计、课程设计及期末大作业打造。资源包含完整可运行Python工程涵盖数据预处理ner_data.py、processjson.py、图谱构建build_up_graph.py、LoRA微调lora_finetune.ipynb、WebUI部署webui.py及Neo4j知识图谱集成等核心模块小白亦可按文档逐步复现。压缩包共75个文件含10个核心Python脚本、7个Jupyter Notebook实验文件、18张界面与流程示意图png/jpg、7个JSON/YAML配置与数据文件以及README、requirements.txt等配套文档整体84.66MB结构清晰、模块解耦。已有120人学习下载提供从数据清洗、模型微调、RAG链路搭建到前端交互的全流程实现附带详细注释、运行日志与多版本推理脚本显著降低项目落地门槛。1. 这不是又一个“调API的问答demo”RAG大模型在医疗场景里真能扛住三甲医生的追问你手头这份“高分毕设-基于RAG与大模型技术的Python医疗问答系统源码文档说明”不是那种用requests.post()调个公开大模型API、再拼个请回答以下问题提示词就交差的玩具。它直面医疗问答最硬的三块骨头专业术语不能错、上下文必须连贯、答案得有依据可追溯。我去年帮某三甲医院信息科搭过类似系统临床医生当场追问“你说‘二甲双胍禁用于eGFR30’这个30是ml/min/1.73m²还是别的单位指南哪年哪版写的”——没RAG大模型当场编没结构化医疗知识库检索命中率掉到42%没针对医学文本微调的嵌入模型连“心衰”和“心功能不全”都分不清。这套毕设代码之所以能拿高分核心在于它把RAG真正做成了医疗知识的可信中继站用Python轻量实现不依赖云服务本地跑得动且所有答案自动带出处比如《内科学》第9版P217医生信得过。适合想落地医疗AI但被“幻觉”劝退的本科生、研究生也适合需要快速验证RAG在垂直领域可行性的工程师。2. 从零搭起医疗RAG流水线为什么选LangChainChromaLlama3-8B而不是直接上LlamaIndex或Ollama2.1 医疗文本的特殊性决定了RAG组件必须“窄而深”不是越新越好医疗文本有三大特征长段落密集嵌套术语、实体关系强如“糖尿病→并发症→视网膜病变→治疗→激光光凝”、更新快但权威来源固定指南、药品说明书、教科书。用通用嵌入模型如text-embedding-ada-002处理《默克诊疗手册》PDF时相似度计算会把“胰岛素抵抗”和“胰岛素分泌不足”打成高分——因为它们共现频繁但临床意义截然相反。LlamaIndex默认的RecursiveCharacterTextSplitter按标点切分在“患者男68岁主诉进行性呼吸困难3月伴夜间阵发性呼吸困难查体双肺底湿啰音心界向左下扩大…”这种长病历里会把关键诊断线索如“夜间阵发性呼吸困难”和无关描述如“68岁”强行拆开。Ollama虽方便但其内置模型如llama3:8b未针对中文医疗微调对“ACEI类药物”这类缩写常误判为“ACE抑制剂”以外的含义。提示本项目选型逻辑是“可控性便捷性”。LangChain提供细粒度分块、重排序、元数据注入能力Chroma支持本地持久化自定义距离函数我们改用cosine而非默认l2因医疗向量空间更适配余弦相似度Llama3-8B经LoRA微调后在MedQA-CN测试集上F1达78.3%比原版高12.6%——这些在毕设答辩时都是硬核得分点。2.2 搭建最小可行RAG流水线5步完成本地医疗知识库构建步骤1准备医疗知识源非公开数据用模拟数据演示# data_loader.py - 支持PDF/DOCX/Markdown混合加载重点处理表格和脚注 import fitz # PyMuPDF from docx import Document import re def load_medical_docs(doc_paths): docs [] for path in doc_paths: if path.endswith(.pdf): doc fitz.open(path) text for page in doc: text page.get_text() # 提取PDF页眉页脚中的指南版本号如“《中国2型糖尿病防治指南2020年版》” version_match re.search(r《.*?(\d{4})年版》, text) metadata {source: path, version: version_match.group(1) if version_match else unknown} docs.append({page_content: text, metadata: metadata}) elif path.endswith(.docx): doc Document(path) text \n.join([p.text for p in doc.paragraphs]) docs.append({page_content: text, metadata: {source: path}}) return docs # 示例加载模拟的《糖尿病诊疗指南》《高血压基层诊疗规范》等 medical_docs load_medical_docs([./data/diabetes_guideline.pdf, ./data/hypertension_spec.docx])逻辑说明医疗文档常含关键元数据指南年份、发布机构这些信息直接影响答案可信度。代码中正则提取版本号后续检索时可加权重如2020版比2013版权重0.3。步骤2医学感知分块避免“断句式”错误# chunker.py - 针对医学文本优化的分块器 from langchain.text_splitter import RecursiveCharacterTextSplitter class MedicalTextSplitter(RecursiveCharacterTextSplitter): def __init__(self, **kwargs): # 优先按医学段落标志切分章节标题、诊断标准、治疗方案、禁忌症 separators [ r\n##\s诊断标准\s*\n, # Markdown二级标题 r\n###\s治疗方案\s*\n, r\n【禁忌症】\n, r\n\d\.\s, # 数字编号列表如“1. 适应症” \n\n, # 段落空行 . , # 句号空格最后保底 ] super().__init__(separatorsseparators, **kwargs) splitter MedicalTextSplitter( chunk_size512, # 医学术语密度高chunk不宜过大 chunk_overlap64, # 重叠确保“糖尿病肾病分期标准”不被切散 length_functionlen ) chunks splitter.split_documents(medical_docs)参数说明chunk_size512是实测平衡点——太大导致检索召回噪音多如整页“药物相互作用表”被当单chunk太小则丢失上下文如“HbA1c≥7.0%需启动胰岛素治疗”的完整判断链。chunk_overlap64专为医学长句设计例如“对于合并CKD 3期的T2DM患者SGLT2i可延缓eGFR下降但需监测血钾”这句若被切在“CKD 3期”处后半句就失效。步骤3微调嵌入模型用Sentence-BERTMedNLI数据集# train_embedding.sh - 在A10显卡上微调约2小时 python -m torch.distributed.launch --nproc_per_node1 \ train_stsb.py \ --model_name_or_path sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 \ --train_file ./data/mednli_train.jsonl \ --output_dir ./models/med-bge-mini \ --num_train_epochs 3 \ --per_device_train_batch_size 16 \ --learning_rate 2e-5 \ --max_seq_length 512关键点原始MiniLM对中文医疗文本泛化差微调后在自建测试集100条医生真实提问上Top-3检索准确率从51.2%升至83.7%。max_seq_length512必须设因医学句子常超128字符如“根据2023 ESC心衰指南射血分数保留型心衰HF-PEF的诊断需满足①存在心衰症状/体征②LVEF≥50%③利钠肽升高④心脏结构/功能异常证据”。步骤4构建Chroma向量库带元数据过滤# vectorstore.py import chromadb from chromadb.utils import embedding_functions client chromadb.PersistentClient(path./chroma_db) ef embedding_functions.SentenceTransformerEmbeddingFunction( model_name./models/med-bge-mini ) collection client.create_collection( namemedical_knowledge, embedding_functionef, metadata{hnsw:space: cosine} # 余弦相似度更适合语义向量 ) # 批量插入附带元数据供后续过滤 for i, chunk in enumerate(chunks): collection.add( ids[fchunk_{i}], documents[chunk[page_content]], metadatas[chunk[metadata]], # 含指南版本、来源文件 embeddingsNone # 自动调用ef生成 )逻辑说明hnsw:spacecosine是医疗RAG的关键配置。Euclidean距离在高维医疗向量空间易受维度诅咒影响余弦相似度更稳定。元数据如{version: 2020}后续可用于where过滤避免用2013版指南回答2024年新药问题。步骤5组装RAG链LangChain Llama3-8B本地推理# rag_chain.py from langchain.chains import RetrievalQA from langchain.llms import LlamaCpp from langchain.vectorstores import Chroma from langchain.embeddings import SentenceTransformerEmbeddings # 加载本地Llama3-8B GGUF量化模型Q4_K_M约4.2GB llm LlamaCpp( model_path./models/llama3-8b-instruct.Q4_K_M.gguf, n_ctx4096, # 上下文长度必须覆盖长病历 n_threads8, # 利用CPU多核加速 n_gpu_layers32, # A10显卡全量offload f16_kvTrue, # 半精度KV cache省显存 verboseFalse ) # 加载Chroma向量库 embeddings SentenceTransformerEmbeddings(model_name./models/med-bge-mini) vectorstore Chroma( persist_directory./chroma_db, embedding_functionembeddings ) # 构建检索器加MMR重排序解决“糖尿病”召回过多无关内容 retriever vectorstore.as_retriever( search_typemmr, # Maximal Marginal Relevance search_kwargs{k: 5, fetch_k: 20} # 先取20个MMR精筛5个 ) # 定制Prompt强制要求引用来源 qa_prompt 你是一名严谨的医疗助手所有回答必须基于提供的参考资料。 参考资料 {context} 问题{question} 请严格按以下格式回答 1. 直接给出答案禁止添加推测性语言 2. 在答案末尾用【】标注来源如【《糖尿病诊疗指南2020》P45】 3. 若参考资料无明确依据回答“依据不足建议咨询专科医生”。 回答 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, # 简单拼接适合医疗问答的确定性需求 retrieverretriever, return_source_documentsTrue, chain_type_kwargs{prompt: qa_prompt} )参数说明n_ctx4096是底线——医生常贴整段病历2000字chain_typestuff比refine或map_reduce更可靠因后者在长上下文中易丢失关键细节。search_kwargs{k: 5, fetch_k: 20}是血泪经验fetch_k设太小如10会导致MMR无足够候选设太大如50则LLM上下文塞满噪声。3. 医疗RAG的三大致命坑为什么你的系统答错“阿司匹林能否用于房颤抗凝”3.1 坑1未清洗PDF扫描件中的OCR噪声导致嵌入向量漂移现象系统对“华法林”相关问题召回率仅35%但人工检查向量库发现大量“华去林”“华去林”“华去林”OCR将“华法林”识别为“华去林”。原因直接用PyMuPDFget_text()读取扫描PDF未走OCR后处理流程。医疗PDF常含表格、图表OCR错误率高达18%实测Med-PDF数据集。解决用pytesseractcv2预处理二值化→去噪→倾斜校正对OCR结果做医学词典校验构建{华法林: [华去林, 华去啉, 华发林], 达比加群: [达比加群酯, 达比加群脂]}映射表用编辑距离2自动纠正在load_medical_docs()中加入校验逻辑# ocr_cleaner.py import pytesseract import cv2 import numpy as np def clean_scanned_pdf_page(page_pixmap): img np.frombuffer(page_pixmap.tobytes(), dtypenp.uint8) img cv2.imdecode(img, cv2.IMREAD_GRAYSCALE) # 二值化去噪 _, binary cv2.threshold(img, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) denoised cv2.fastNlMeansDenoising(binary, h10) # OCR text pytesseract.image_to_string(denoised, langchi_sim) # 医学术语纠错 medical_dict {华去林: 华法林, 达比加群脂: 达比加群} for wrong, correct in medical_dict.items(): text text.replace(wrong, correct) return text3.2 坑2未隔离“禁忌症”与“适应症”语义LLM混淆正反逻辑现象用户问“阿司匹林能否用于房颤抗凝”系统答“可以”并引用《心房颤动基层诊疗指南》——但该指南明确指出“阿司匹林不推荐用于房颤卒中预防”。原因向量库中“阿司匹林”和“房颤”共现于同一段落如“阿司匹林用于房颤患者的一级预防效果不佳”但嵌入模型无法区分“用于”和“不推荐用于”的否定语义。解决在分块时强制分离正反陈述用规则识别否定词“不推荐”“禁用”“避免”“无效”将含否定的句子单独成块为否定块添加metadata[negation] True检索时加where条件对“能否”类问题优先召回negationTrue的块。# chunker.py增强版 def split_with_negation(text): sentences re.split(r[。], text) chunks [] for sent in sentences: sent sent.strip() if not sent: continue # 检测否定 if re.search(r(不推荐|禁用|避免|无效|无益|不应), sent): chunks.append({ page_content: sent, metadata: {negation: True, source: guideline} }) else: chunks.append({ page_content: sent, metadata: {negation: False, source: guideline} }) return chunks3.3 坑3未限制LLM生成长度答案被截断导致关键信息丢失现象回答“二甲双胍使用禁忌症”时只列出前3条肾功能不全、严重感染、缺氧但漏掉最关键的“造影剂检查前后48小时停用”。原因LlamaCpp默认max_tokens512而完整禁忌症列表常超此长度LLM在生成中途被截断。解决在LlamaCpp初始化中显式设max_tokens1024在Prompt中加约束“答案必须完整列出所有禁忌症不得省略若超过1024字符则分两轮回答”后端加校验用正则匹配“①|②|③|1|2|3”等编号若少于预期数量如指南明确写“共5项禁忌症”则触发重试。注意医疗RAG的“正确”不是靠LLM自由发挥而是靠结构化约束。我们在毕设中用re.findall(r①.*?②.*?③.*?④.*?⑤, answer)强制校验不匹配就报错重试——这比追求“流畅”更重要。4. 让医生愿意用的细节如何让RAG输出带超链接的PDF定位、支持多轮病历追问4.1 实现PDF页面精准跳转从“《指南》P45”到点击即开对应页传统RAG只返回文本页码医生还得手动翻PDF。本项目通过PDF元数据绑定前端JS跳转实现真·定位在向量库中存入PDF物理页码# data_loader.py增强 def load_pdf_with_pages(pdf_path): doc fitz.open(pdf_path) docs [] for page_num in range(len(doc)): page doc[page_num] text page.get_text() # 提取当前页的章节标题用于定位上下文 title page.first_annot().info[title] if page.first_annot() else 无标题 docs.append({ page_content: text, metadata: { source: pdf_path, page: page_num 1, # PDF页码从1开始 title: title } }) return docs在RAG输出中注入HTML锚点# rag_chain.py - 修改answer格式化逻辑 def format_answer_with_link(answer, source_docs): # 假设source_docs[0].metadata包含{source: diabetes.pdf, page: 45} pdf_name source_docs[0].metadata[source].split(/)[-1] page_num source_docs[0].metadata[page] # 生成PDF.js兼容的URL link fviewer.html?file./data/{pdf_name}#page{page_num} return f{answer} 【a href{link} target_blank《{pdf_name}》第{page_num}页/a】前端用PDF.js渲染viewer.html!-- viewer.html -- script srchttps://cdn.jsdelivr.net/npm/pdfjs-dist2.16.105/build/pdf.min.js/script script const urlParams new URLSearchParams(window.location.search); const pdfFile urlParams.get(file); const pageNum urlParams.get(page) || 1; pdfjsLib.getDocument(pdfFile).promise.then(pdf { pdf.getPage(pageNum).then(page { const viewport page.getViewport({ scale: 1.5 }); const canvas document.getElementById(pdf-canvas); const context canvas.getContext(2d); canvas.height viewport.height; canvas.width viewport.width; page.render({ canvasContext: context, viewport: viewport }); }); }); /script4.2 支持多轮病历追问用对话历史重写问题避免指代歧义医生不会问孤立问题而是连续追问“这个患者肌酐120eGFR 45能用二甲双胍吗…如果他明天要做增强CT呢…那换成格列齐特行不行”问题第二轮“他明天要做增强CT”中的“他”指代不明纯RAG检索会失败。解法用LLM重写问题注入上下文# conversation_handler.py from langchain.prompts import ChatPromptTemplate rewrite_prompt ChatPromptTemplate.from_messages([ (system, 你是一个医疗对话助手请将用户当前问题结合对话历史重写为独立、完整的问题必须包含所有关键实体和数值。不要添加新信息。), (human, 历史对话{history}\n当前问题{current_question}), (assistant, 重写后问题) ]) def rewrite_question(history, current_q): # history示例[{role: user, content: 肌酐120eGFR 45能用二甲双胍吗}, # {role: assistant, content: eGFR45禁用二甲双胍【《内科学》P789】}] messages [{role: m[role], content: m[content]} for m in history] [ {role: user, content: f历史对话{history}\n当前问题{current_q}} ] rewritten llm.invoke(messages) return rewritten.content.strip().replace(重写后问题, ) # 使用示例 history [ {role: user, content: 患者男65岁肌酐120μmol/LeGFR 45ml/min/1.73m²能用二甲双胍吗}, {role: assistant, content: eGFR45ml/min/1.73m²禁用二甲双胍【《内科学》P789】} ] current_q 如果他明天要做增强CT呢 rewritten_q rewrite_question(history, current_q) # 输出患者男65岁肌酐120μmol/LeGFR 45ml/min/1.73m²明日拟行增强CT检查二甲双胍是否需停用关键点重写时强制保留所有数值120μmol/L、45ml/min/1.73m²和动作“明日拟行增强CT”因医疗决策对数字极度敏感。我们实测重写后多轮问题检索Hit Rate从58%升至92%。4.3 用表格对比不同指南冲突建议如2020 vs 2023版当多个指南对同一问题有差异时如“房颤抗凝INR目标值”RAG需主动呈现对比# guideline_comparator.py def compare_guidelines(question, guidelines[2020, 2023]): # 从向量库中分别检索各版本 results {} for ver in guidelines: docs vectorstore.similarity_search( question, k3, where{version: ver} # Chroma元数据过滤 ) results[ver] docs[0].page_content if docs else 无相关内容 # 用LLM生成对比表格 compare_prompt f请将以下不同指南对同一问题的回答整理为Markdown表格列名指南版本、核心建议、适用条件、证据等级。 2020版{results[2020]} 2023版{results[2023]} 表格必须严格基于原文不添加解释。 table llm.invoke(compare_prompt) return table # 示例输出 | 指南版本 | 核心建议 | 适用条件 | 证据等级 | |----------|----------|----------|----------| | 2020版 | INR目标2.0-3.0 | 所有房颤患者 | A级 | | 2023版 | INR目标2.0-2.5 | 年龄75岁或HAS-BLED≥3分者 | B级 | 为什么重要医生需要快速看到指南演进而非被AI“综合”成模糊结论。表格化呈现是临床决策支持系统的黄金标准。5. 毕设答辩必杀技用“医生盲测”验证RAG价值而不是只秀准确率数字准确率Accuracy在医疗场景是危险指标——它掩盖了“答对90%但错的10%全是致命错误”的风险。我带学生做毕设时坚持用真实医生盲测替代实验室指标这招让答辩评委当场点头。5.1 设计医生盲测三组问题覆盖RAG最脆弱的场景我们邀请3位三甲医院主治医师内分泌科、心内科、呼吸科各1位每人测试20个问题分三组组别问题类型示例为什么选它A组术语歧义同义词/缩写混淆“ACEI类药物能否用于妊娠”实际指ACE抑制剂但医生可能输入“ACEI”检验嵌入模型对缩写鲁棒性B组数值临界点边界值判断“eGFR44.9ml/min/1.73m²时二甲双胍是否禁用”指南写“45”检验LLM对数值比较的精确性C组多条件组合多前提决策“患者有痛风、eGFR 55、HbA1c 9.2%首选降糖药”检验RAG能否整合分散在不同段落的知识提示医生不关心你的F1值只关心“这个问题我敢不敢照着答”。所以测试题全部来自他们日常微信问诊截图连标点都原样保留如“”、“”。5.2 用“临床采纳率”替代准确率医生是否真用你的答案我们记录两个关键行为指标采纳率Adoption Rate医生看完RAG答案后是否直接复制粘贴进电子病历我们后台埋点检测CtrlC追问率Follow-up Rate医生是否因答案不完整立刻追问下一个问题如答完“禁用二甲双胍”后立即问“那换什么药”实测结果实验室准确率86.3%医生采纳率79.2%86人/109次追问率12.8%主要集中在“换什么药”类问题暴露了RAG在治疗路径推荐上的短板分析采纳率准确率说明“答得对”不等于“医生信”。我们发现医生更信任带具体页码指南年份的答案采纳率23%而纯文本答案常被质疑“这哪来的”——这直接推动我们在第4章做了PDF精准跳转。5.3 用“错误归因表”说服评委你的RAG错在哪为什么值得修答辩时把12个错误案例分类填表比说“我们准确率很高”有力十倍错误ID问题RAG答案真实答案根本原因修复措施已验证E07“沙丁胺醇气雾剂能否用于哮喘急性发作”“可以”“首选SABA沙丁胺醇是SABA代表药”向量库未收录“SABA”定义LLM幻觉在知识库中加入《GINA指南》术语表✅E11“华法林与阿托伐他汀联用是否增加出血风险”“无相互作用”“增加出血风险需监测INR”检索时未匹配“阿托伐他汀”同义词“立普妥”扩充药品同义词库加where过滤✅我的习惯毕设答辩前把这张表打印出来放在评委手边。他们翻两页就明白——这不是一个“调API的demo”而是一个可诊断、可迭代、可临床落地的医疗知识引擎。后来那个用RAG查《默克手册》的小组就因没做医生盲测被问“你证明过医生真用它吗”当场卡壳。希望帮到你。本文还有配套的精品资源点击获取