尧图网页设计 
之前在给医学背景的同学做 NLP 入门辅导时我经常收到类似的问题生物医学方向的学生到底该怎样进入自然语言处理和大模型这个领域学校里只教过一点点 Python高数和线代也忘得差不多了看到 RNN、Transformer、微调这些名词就头皮发麻是不是需要先把数学补完才能学其实完全不是这样。生物医学背景转 AI最大的优势恰恰不是你“不会什么”而是你“知道什么”。你熟悉临床术语、疾病命名、药物相互作用、电子病历结构、检验指标变化规律。这些领域知识是纯计算机背景的同学短期补不上的也是大模型落地医学场景时最缺的“行业壁垒”。本文就围绕一条完整的学习路径展开从经典的 RNN 循环神经网络到当前大模型主流的 Transformer 架构再到 Prompt 微调技术最后落到一个生物医学 NLP 的实战案例。全程会尽量用医学场景打比方把抽象概念讲得具体一些。如果你是医学生、生物信息学研究生或者刚进入医疗 AI 方向开发的工程师这篇文章可以帮你把零散的知识点串成一条线也能直接照着代码跑一遍真实的小项目。1. 为什么生物医学背景适合做 NLP 与医疗大模型1.1 生物医学数据中非结构化文本占比极高医院信息系统里存得最多的其实不是结构化数据而是大量自由文本入院记录、出院小结、手术记录、影像报告、护理文书、检验报告备注。电子病历系统里的关键信息有很大一部分依然依赖医生用自然语言描述。比如一条病理报告可能写着“镜下见异型细胞巢状浸润核分裂象易见考虑高级别浆液性癌。”这句话如果靠人去整理需要医生或病案室人员逐条阅读、抽取、录入费时费力。如果交给 NLP 模型它可以自动完成术语识别、实体抽取、诊断分类等任务把非结构化文本变成可统计、可查询的结构化数据。这类任务就是典型的生物医学自然语言处理Biomedical NLP。1.2 大模型在医学场景的落地难点不在模型而在数据与评价很多人以为医疗大模型难在模型结构其实不然。当前的 Transformer 架构在文本生成、理解、摘要、翻译等通用任务上已经非常成熟难的是三件事高质量医学语料的获取与清洗医学实体和关系的精确抽取与知识融合生成内容的可信度评估与合规审核。这三件事每一件都离不开医学背景知识的支撑。所以生物医学背景的同学转 AI不需要把自己当成“纯程序员”去拼算法推导而是应该把专业优势与技术工具结合走“懂医学的数据科学家”这条差异化路线。2. 从 RNN 开始理解序列建模的起点2.1 什么是 RNN为什么 NLP 早期靠它自然语言本质上是一个序列。句子里的每个词都依赖前面的词来确定语义。比如“胃痛”和“痛胃”虽然词汇相同但顺序颠倒后语义完全不同。处理这种带顺序信息的数据最早的主流方案之一就是循环神经网络英文简称 RNN。RNN 的核心思路是让网络在处理当前输入时把前面处理过的信息保留下来作为一个“记忆”传递到下一步。假设我们把一句话按词切分成我 今天 胃 不舒服RNN 会从“我”开始依次读入每个词。每读一个新词它都会结合上一时刻的隐藏状态产生一个新的隐藏状态。这个隐藏状态就像一个“记忆容器”装着到目前为止读过的内容摘要。用公式表达就是h_t tanh(W_hh * h_{t-1} W_xh * x_t b)其中h_t是当前时刻的隐藏状态h_{t-1}是上一时刻的隐藏状态x_t是当前输入词向量W和b是模型参数。每一步都做同样的计算只是输入不同。2.2 RNN 的两个明显短板RNN 的原理虽然直观但实际应用中存在两个让人头疼的问题。第一个问题是长距离依赖。当句子很长时最早的信息在传递过程中会被逐步“稀释”。比如医生写了一段很长的病史第一句提到“患者 5 年前因胃溃疡入院”最后一句说“现复查胃镜提示吻合口炎”。如果模型已经忘记前面说的“胃溃疡”就很难把“吻合口炎”和“胃溃疡术后”关联起来。第二个问题是梯度消失或梯度爆炸。因为在反向传播时RNN 的梯度需要沿着时间步连乘。如果权重矩阵的特征值小于 1梯度会指数级衰减导致靠前的参数几乎得不到有效更新如果大于 1梯度又会指数级增大导致训练不稳定。2.3 从 RNN 到 LSTM 与 GRU为了缓解长距离依赖问题学术界随后提出了 LSTM长短期记忆网络和 GRU门控循环单元。它们给 RNN 增加了“门”机制让模型学会选择性地记住或遗忘信息。LSTM 引入了三个门遗忘门决定过去的记忆要保留多少输入门决定当前输入要写入多少输出门决定当前输出要暴露多少。GRU 则把门控结构简化成两个门更新门和重置门。参数更少训练更快在很多任务上效果接近 LSTM。不过不管是 RNN、LSTM 还是 GRU它们都属于“按顺序逐步处理”的架构存在两个天然瓶颈一是不能并行计算训练速度慢二是长距离依赖依然受限。这两个瓶颈直接推动了 Transformer 的诞生。3. Transformer为什么它取代了 RNN 成为大模型基石3.1 Transformer 的核心贡献自注意力机制2017 年Google 发表论文《Attention Is All You Need》提出了 Transformer 架构。它彻底抛弃了循环结构不再按时间步逐个处理词而是让一句话里的所有词同时进入网络通过“自注意力机制”计算任意两个词之间的关联程度。用一个医学打比方来理解自注意力假设模型读到一句病历文本“患者服用阿司匹林后出现上腹疼痛考虑药物刺激胃黏膜所致。”在这句话里“阿司匹林”和“胃黏膜”之间存在很强的隐含关系。自注意力机制会为每个词生成三个向量Query查询、Key键、Value值。当前词用 Query 去和句子中其他词的 Key 做相似度计算得到注意力权重再用权重对 Value 做加权求和。简单来说模型在处理“胃黏膜”这个词时会通过注意力权重“回头看”前面的“阿司匹林”把两者的语义信息融合到一起。用公式表示Attention(Q, K, V) softmax(Q * K^T / sqrt(d_k)) * V其中d_k是 Key 向量的维度除以sqrt(d_k)是为了防止点积结果过大让 softmax 后的分布更平稳。3.2 多头注意力从多个视角看文本实际使用的 Transformer 不是单一的自注意力而是“多头注意力”。意思是把 Query、Key、Value 分别投影到多个子空间每个子空间独立做注意力计算最后把结果拼接起来。还是用上面的病历打比方一个注意力头可能更关注“药物-症状”关系另一个注意力头更关注“检查项目-阳性结果”关系多头机制让模型能从多个语义维度同时捕捉文本中的关联信息。3.3 位置编码让模型知道顺序自注意力机制天然不具备顺序感知能力。如果把一句话里的词随机打乱在不加位置信息的情况下模型计算出来的注意力结果可能完全一样。这显然不符合语言规律。为了解决这个问题Transformer 在输入词向量上叠加了“位置编码”。位置编码通常是基于正弦函数生成的固定向量或者是可学习的参数向量。通过这种方式模型能够区分“患者出现胸痛”和“胸痛出现患者”这两种不同顺序的语义差异。3.4 从 Transformer 到大模型的进化Transformer 架构本身只是一个骨干结构。后续的发展可以分为两条主线Encoder 架构以 BERT 为代表擅长文本理解、分类、实体识别等任务Decoder 架构以 GPT 系列为代表擅长文本生成、对话、摘要等任务。再后来研究者把 Transformer 的参数量扩大到百亿、千亿级别并在海量文本上做预训练就得到了“大语言模型”。所谓大模型本质上依然是在 Transformer 基础上通过“更大参数量 更多训练数据 更强的算力”训练出来的。理解了这个脉络你就会发现医学生转 AI不需要被“大模型”三个字吓住。底层架构还是那套注意力机制只是工程规模被放大了。4. Prompt 与大模型微调让小模型也能适配医学场景4.1 什么是 Prompt Engineering大模型在预训练阶段学习的是通用语言知识它知道你问“感冒了怎么办”应该怎么回答。但如果你它问“根据病理报告判断肿瘤分期”它可能只能给一个泛泛的答案因为你没有告诉它应该参考哪些字段、遵循什么医学规范。Prompt Engineering提示工程就是通过设计合适的输入文本引导大模型输出更符合预期的结果。举个例子如果你直接问“患者女45岁左乳肿块穿刺病理提示浸润性导管癌免疫组化 ER 阳性PR 阳性HER2 阴性。请给出治疗建议。”模型可能给出一个不够规范的回复。更好的写法是给模型一个明确的角色和任务约束你是一位乳腺肿瘤科医生。请根据以下病理信息给出初步诊疗建议并按【诊断评估】【治疗方向】【注意事项】三段式输出。Prompt 工程的核心是把任务边界、输出格式、领域术语都写清楚。对于生物医学场景尤其要强调“基于给出的信息回答不要编造”和“如果信息不足请明确说明”。因为医疗场景对安全性的要求远高于普通问答。4.2 什么时候需要微调Prompt 虽然零成本但它的能力上限受限于模型本身。如果希望模型掌握一套固定的医学知识库、习惯某种术语体系、适应某个医院病历的表达风格单靠 Prompt 往往不够稳定。这时就需要微调。微调Fine-tuning是指在预训练模型的基础上用少量带标注的任务数据继续训练让模型适配特定任务。微调有两个明显的作用让模型学习领域专有词汇和表达习惯让模型的输出格式更贴近业务需求。不过微调并不是万能的。如果数据量太少微调可能导致过拟合如果基座模型本身知识能力不足微调也只能在有限范围内提升效果。4.3 低成本微调LoRA 与 QLoRA对普通开发者和医学研究者来说直接全量微调一个 70 亿参数的大模型几乎不可能因为显存不够。目前的主流方案是参数高效微调其中最常见的是 LoRA。LoRA 的核心思想是冻结原始模型的全部参数只在某些层旁边添加低秩矩阵作为可训练参数。训练时只更新这些新加的参数推理时再把两个矩阵合并回原模型。这样做的直接好处是需要训练的参数量从几十亿降到几百万显存占用大幅下降。QLoRA 则是在 LoRA 的基础上进一步量化基座模型使得在消费级显卡上微调大模型也成为可能。给生物医学背景同学的一个建议刚开始不需要追求从零预训练模型也不建议盲目全量微调。先用 Prompt 验证任务可行性再考虑用 LoRA 做低成本微调这是性价比最高的路径。5. 生物医学 NLP 实战基于 PubMed 摘要抽取药物-疾病关系接下来进入实战。我们做一个典型的生物医学 NLP 任务给定一段药物相关文本判断该药物对应的适应疾病或者不良反应。这个任务可以看作医疗文本分类的一个简化版本用到的技术包括预训练模型加载、文本分词、模型推理。5.1 环境准备推荐使用 Python 3.9 或以上版本PyTorch 和 Hugging Face Transformers。安装命令pip install torch transformers datasets pandas scikit-learn版本说明这里不指定具体版本号因为不同环境下的 CUDA 版本、显卡配置会影响 PyTorch 安装方式。建议根据你的实际环境在 PyTorch 官网选择合适的安装命令。CPU 环境也能运行本文示例只是速度会慢一些。5.2 数据集构造我们手动构造一个非常小的示例数据集每条数据包含两列text药物相关的临床描述label分类标签0 表示“药物适应症”1 表示“药物不良反应”。# 数据准备 data [ {text: Metformin is used for the treatment of type 2 diabetes., label: 0}, {text: Aspirin can cause gastrointestinal bleeding in some patients., label: 1}, {text: Amoxicillin is indicated for bacterial infections of the respiratory tract., label: 0}, {text: Ibuprofen may lead to acute kidney injury in high-risk patients., label: 1}, {text: Atorvastatin is prescribed to lower cholesterol levels., label: 0}, {text: Warfarin has been associated with an increased risk of bleeding., label: 1}, ]这个数据集虽然很小但是足够演示完整的处理流程。实际项目中不建议直接使用这么少的数据训练模型更适合用已经标注好的公开数据集做微调或评测。5.3 使用生物医学预训练模型通用大模型虽然知识面广但在生物医学文本上使用专门的生物医学预训练模型效果通常更好。一个经典的选择是 PubMedBERT它是在 PubMed 论文摘要上预训练出来的模型对医学词汇的理解能力明显优于通用 BERT。这里我们使用 Hugging Face 的 pipeline 接口快速完成推理from transformers import pipeline # 加载文本分类 pipeline classifier pipeline( text-classification, modelmicrosoft/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltext, tokenizermicrosoft/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltext, ) # 测试文本 test_text Tamoxifen is commonly used as adjuvant therapy for hormone receptor positive breast cancer. result classifier(test_text) print(result)这里有一个需要注意的地方PubMedBERT 原始的 classification head 输出类别数量和我们定义的二分类任务不一样直接使用 pipeline 进行 zero-shot 分类得到的结果可能不太准确。上面的代码仅作为加载和调用模型的演示真正的二分类微调需要替换 classification head 并在标注数据上训练。5.4 完整微调代码下面给出一个完整的微调示例代码可以在本地 CPU 或 GPU 环境运行。为了便于理解我们不做过多的封装每一步都尽量简单直接。import torch from transformers import ( AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments, ) from datasets import Dataset # 1. 准备数据 data [ {text: Metformin is used for the treatment of type 2 diabetes., label: 0}, {text: Aspirin can cause gastrointestinal bleeding in some patients., label: 1}, {text: Amoxicillin is indicated for bacterial infections of the respiratory tract., label: 0}, {text: Ibuprofen may lead to acute kidney injury in high-risk patients., label: 1}, {text: Atorvastatin is prescribed to lower cholesterol levels., label: 0}, {text: Warfarin has been associated with an increased risk of bleeding., label: 1}, ] dataset Dataset.from_list(data) # 2. 加载 tokenizer 和模型 model_name microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltext tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2) # 3. 数据预处理 def tokenize_function(examples): return tokenizer(examples[text], paddingmax_length, truncationTrue, max_length128) tokenized_dataset dataset.map(tokenize_function, batchedTrue) # 4. 划分训练集与验证集 split_dataset tokenized_dataset.train_test_split(test_size0.2, seed42) train_dataset split_dataset[train] eval_dataset split_dataset[test] # 5. 配置训练参数 training_args TrainingArguments( output_dir./biomedical-nlp-finetune, evaluation_strategyepoch, save_strategyepoch, num_train_epochs3, per_device_train_batch_size2, per_device_eval_batch_size2, logging_dir./logs, logging_steps10, load_best_model_at_endTrue, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, tokenizertokenizer, ) # 6. 开始训练 trainer.train() # 7. 保存模型 model.save_pretrained(./biomedical-nlp-finetune-final) tokenizer.save_pretrained(./biomedical-nlp-finetune-final)5.5 模型推理验证训练完成后我们可以加载保存好的模型对新的句子进行分类from transformers import pipeline # 加载训练好的模型 classifier pipeline( text-classification, model./biomedical-nlp-finetune-final, tokenizer./biomedical-nlp-finetune-final, ) # 测试样本 samples [ Dexamethasone is used to reduce inflammation in patients with severe asthma., Clopidogrel increases the risk of bleeding when combined with aspirin., ] for text in samples: result classifier(text) label 适应症 if result[0][label] LABEL_0 else 不良反应 score result[0][score] print(f文本: {text}) print(f预测: {label}, 置信度: {score:.4f}) print(- * 50)说明因为训练数据只有 6 条而且训练轮数很少模型泛化能力有限。本文示例的目的是跑通完整流程真正用于业务时至少需要几千甚至上万条经过医学专业人员标注的数据并且要做充分的评测。6. 生物医学 NLP 常见难点与排查思路6.1 医学缩写与术语不统一同一种疾病在不同医院系统里可能有不同的写法比如“高血压”可能有“HTN”、“Essential hypertension”、“hypertensive disease”等多种表达。解决思路是引入医学标准词典如 UMLS、SNOMED CT、ICD-10在预处理阶段做术语归一化。6.2 上下文信息缺失导致误判很多医疗文本存在指代不清的问题。比如病历中写“患者自觉良好无明显不适”如果只看这句话无法判断“患者”是谁、在治疗什么病。这种情况下需要结合前后文或结构化字段一起建模。6.3 类别不平衡在真实医疗数据中某种疾病的阳性样本占比可能只有 5%如果直接训练模型会倾向于把所有样本都预测为阴性。建议使用类别加权、Focal Loss、过采样/欠采样等策略并用 Precision、Recall、F1 而不是准确率来评估模型。6.4 显存不足如果训练时提示 CUDA out of memory可以尝试减小per_device_train_batch_size或者降低max_length也可以使用梯度累积或 LoRA 微调。下面给出一个常见问题速查表问题现象常见原因解决思路显存不足batch size 过大或序列过长降低 batch size、缩短 max_length、使用梯度累积模型输出全是同一类别类别不平衡或学习率太大检查数据分布、调整类别权重、降低学习率分词结果不理想使用通用 tokenizer 处理医学文本换成 PubMedBERT 等生物医学预训练模型微调后效果反而变差数据量太少或标注噪声太大增加标注数据、清洗标签、使用 Prompt 先验证任务保存模型后加载报错模型路径或 tokenizer 不匹配确认 model 和 tokenizer 使用同一目录7. 医学生转 AI 的最佳实践与工程建议7.1 从日常医学数据中寻找练习场景如果你是医学生最方便的学习资源就在身边。可以尝试把以下场景作为练习项目将一段病历文书自动转成结构化字段从检验报告中抽取异常指标对医学文献摘要做疾病-药物关系抽取开发一个基于检索的医学知识问答助手。这些项目不需要一开始就做大模型先从规则和经典机器学习入手再逐步引入 BERT、GPT 等模型学习曲线会更平缓。7.2 重视数据标注质量与合规性医疗数据涉及患者隐私任何实验都必须遵守数据安全法规在合法授权的前提下使用数据。建议在实验环境中使用脱敏数据或公开数据集如 PubMed、MIMIC-III 的公开子集。涉及医院真实数据时必须经过伦理审批和数据使用授权不能私自获取和传播。7.3 合理选择模型与训练策略数据量小低于 1000 条优先使用 Prompt 大模型 API或在上游预训练模型上做少量微调数据量中等1 万条左右可以考虑全量微调小型 BERT 类模型数据量很大10 万条以上可以考虑领域继续预训练加上任务微调。在算力有限的情况下LoRA 微调是最稳妥的路径。它既保留了大模型的通用能力又能注入领域知识而且训练成本可控。7.4 保留简单的学习日志这个建议听起来很基础但非常管用。记录每个实验使用的数据量、模型版本、训练参数、评测指标以及踩过的坑。三个月后回头看这份日志就是你最宝贵的项目经验。8. 总结与下一步学习建议回到开头的问题生物医学背景的同学到底该怎样进入 NLP 和大模型领域答案不是先去刷完高数和线代而是沿着“RNN 理解序列建模 → Transformer 理解注意力机制 → 预训练模型 → Prompt/微调适配医学任务”这条路径一边补技术基础一边结合自己的医学知识做真实场景练习。你可以先跑通本文的药物-疾病关系分类案例把代码在本地运行一遍然后换一个自己熟悉的医学数据集比如症状-检查项目匹配、疾病-科室推荐用同样的代码思路重新实现一版。如果感觉自己对 Transformer 的细节还不够清楚建议再深入阅读 Self-Attention 和 Multi-Head Attention 的原始论文结合代码逐步推导一遍。不用追求一步到位把输入矩阵的维度变化搞清楚比背住所有公式有用得多。你最大的底气不是某一天突然学会了所有算法而是“我既懂医学语言又懂模型怎么处理语言”。把这两件事结合起来你就是医疗 AI 方向最需要的那种人。 生物医学背景转 NLP：从 RNN 到 Transformer 与微调的实战路径
之前在给医学背景的同学做 NLP 入门辅导时我经常收到类似的问题生物医学方向的学生到底该怎样进入自然语言处理和大模型这个领域学校里只教过一点点 Python高数和线代也忘得差不多了看到 RNN、Transformer、微调这些名词就头皮发麻是不是需要先把数学补完才能学其实完全不是这样。生物医学背景转 AI最大的优势恰恰不是你“不会什么”而是你“知道什么”。你熟悉临床术语、疾病命名、药物相互作用、电子病历结构、检验指标变化规律。这些领域知识是纯计算机背景的同学短期补不上的也是大模型落地医学场景时最缺的“行业壁垒”。本文就围绕一条完整的学习路径展开从经典的 RNN 循环神经网络到当前大模型主流的 Transformer 架构再到 Prompt 微调技术最后落到一个生物医学 NLP 的实战案例。全程会尽量用医学场景打比方把抽象概念讲得具体一些。如果你是医学生、生物信息学研究生或者刚进入医疗 AI 方向开发的工程师这篇文章可以帮你把零散的知识点串成一条线也能直接照着代码跑一遍真实的小项目。1. 为什么生物医学背景适合做 NLP 与医疗大模型1.1 生物医学数据中非结构化文本占比极高医院信息系统里存得最多的其实不是结构化数据而是大量自由文本入院记录、出院小结、手术记录、影像报告、护理文书、检验报告备注。电子病历系统里的关键信息有很大一部分依然依赖医生用自然语言描述。比如一条病理报告可能写着“镜下见异型细胞巢状浸润核分裂象易见考虑高级别浆液性癌。”这句话如果靠人去整理需要医生或病案室人员逐条阅读、抽取、录入费时费力。如果交给 NLP 模型它可以自动完成术语识别、实体抽取、诊断分类等任务把非结构化文本变成可统计、可查询的结构化数据。这类任务就是典型的生物医学自然语言处理Biomedical NLP。1.2 大模型在医学场景的落地难点不在模型而在数据与评价很多人以为医疗大模型难在模型结构其实不然。当前的 Transformer 架构在文本生成、理解、摘要、翻译等通用任务上已经非常成熟难的是三件事高质量医学语料的获取与清洗医学实体和关系的精确抽取与知识融合生成内容的可信度评估与合规审核。这三件事每一件都离不开医学背景知识的支撑。所以生物医学背景的同学转 AI不需要把自己当成“纯程序员”去拼算法推导而是应该把专业优势与技术工具结合走“懂医学的数据科学家”这条差异化路线。2. 从 RNN 开始理解序列建模的起点2.1 什么是 RNN为什么 NLP 早期靠它自然语言本质上是一个序列。句子里的每个词都依赖前面的词来确定语义。比如“胃痛”和“痛胃”虽然词汇相同但顺序颠倒后语义完全不同。处理这种带顺序信息的数据最早的主流方案之一就是循环神经网络英文简称 RNN。RNN 的核心思路是让网络在处理当前输入时把前面处理过的信息保留下来作为一个“记忆”传递到下一步。假设我们把一句话按词切分成我 今天 胃 不舒服RNN 会从“我”开始依次读入每个词。每读一个新词它都会结合上一时刻的隐藏状态产生一个新的隐藏状态。这个隐藏状态就像一个“记忆容器”装着到目前为止读过的内容摘要。用公式表达就是h_t tanh(W_hh * h_{t-1} W_xh * x_t b)其中h_t是当前时刻的隐藏状态h_{t-1}是上一时刻的隐藏状态x_t是当前输入词向量W和b是模型参数。每一步都做同样的计算只是输入不同。2.2 RNN 的两个明显短板RNN 的原理虽然直观但实际应用中存在两个让人头疼的问题。第一个问题是长距离依赖。当句子很长时最早的信息在传递过程中会被逐步“稀释”。比如医生写了一段很长的病史第一句提到“患者 5 年前因胃溃疡入院”最后一句说“现复查胃镜提示吻合口炎”。如果模型已经忘记前面说的“胃溃疡”就很难把“吻合口炎”和“胃溃疡术后”关联起来。第二个问题是梯度消失或梯度爆炸。因为在反向传播时RNN 的梯度需要沿着时间步连乘。如果权重矩阵的特征值小于 1梯度会指数级衰减导致靠前的参数几乎得不到有效更新如果大于 1梯度又会指数级增大导致训练不稳定。2.3 从 RNN 到 LSTM 与 GRU为了缓解长距离依赖问题学术界随后提出了 LSTM长短期记忆网络和 GRU门控循环单元。它们给 RNN 增加了“门”机制让模型学会选择性地记住或遗忘信息。LSTM 引入了三个门遗忘门决定过去的记忆要保留多少输入门决定当前输入要写入多少输出门决定当前输出要暴露多少。GRU 则把门控结构简化成两个门更新门和重置门。参数更少训练更快在很多任务上效果接近 LSTM。不过不管是 RNN、LSTM 还是 GRU它们都属于“按顺序逐步处理”的架构存在两个天然瓶颈一是不能并行计算训练速度慢二是长距离依赖依然受限。这两个瓶颈直接推动了 Transformer 的诞生。3. Transformer为什么它取代了 RNN 成为大模型基石3.1 Transformer 的核心贡献自注意力机制2017 年Google 发表论文《Attention Is All You Need》提出了 Transformer 架构。它彻底抛弃了循环结构不再按时间步逐个处理词而是让一句话里的所有词同时进入网络通过“自注意力机制”计算任意两个词之间的关联程度。用一个医学打比方来理解自注意力假设模型读到一句病历文本“患者服用阿司匹林后出现上腹疼痛考虑药物刺激胃黏膜所致。”在这句话里“阿司匹林”和“胃黏膜”之间存在很强的隐含关系。自注意力机制会为每个词生成三个向量Query查询、Key键、Value值。当前词用 Query 去和句子中其他词的 Key 做相似度计算得到注意力权重再用权重对 Value 做加权求和。简单来说模型在处理“胃黏膜”这个词时会通过注意力权重“回头看”前面的“阿司匹林”把两者的语义信息融合到一起。用公式表示Attention(Q, K, V) softmax(Q * K^T / sqrt(d_k)) * V其中d_k是 Key 向量的维度除以sqrt(d_k)是为了防止点积结果过大让 softmax 后的分布更平稳。3.2 多头注意力从多个视角看文本实际使用的 Transformer 不是单一的自注意力而是“多头注意力”。意思是把 Query、Key、Value 分别投影到多个子空间每个子空间独立做注意力计算最后把结果拼接起来。还是用上面的病历打比方一个注意力头可能更关注“药物-症状”关系另一个注意力头更关注“检查项目-阳性结果”关系多头机制让模型能从多个语义维度同时捕捉文本中的关联信息。3.3 位置编码让模型知道顺序自注意力机制天然不具备顺序感知能力。如果把一句话里的词随机打乱在不加位置信息的情况下模型计算出来的注意力结果可能完全一样。这显然不符合语言规律。为了解决这个问题Transformer 在输入词向量上叠加了“位置编码”。位置编码通常是基于正弦函数生成的固定向量或者是可学习的参数向量。通过这种方式模型能够区分“患者出现胸痛”和“胸痛出现患者”这两种不同顺序的语义差异。3.4 从 Transformer 到大模型的进化Transformer 架构本身只是一个骨干结构。后续的发展可以分为两条主线Encoder 架构以 BERT 为代表擅长文本理解、分类、实体识别等任务Decoder 架构以 GPT 系列为代表擅长文本生成、对话、摘要等任务。再后来研究者把 Transformer 的参数量扩大到百亿、千亿级别并在海量文本上做预训练就得到了“大语言模型”。所谓大模型本质上依然是在 Transformer 基础上通过“更大参数量 更多训练数据 更强的算力”训练出来的。理解了这个脉络你就会发现医学生转 AI不需要被“大模型”三个字吓住。底层架构还是那套注意力机制只是工程规模被放大了。4. Prompt 与大模型微调让小模型也能适配医学场景4.1 什么是 Prompt Engineering大模型在预训练阶段学习的是通用语言知识它知道你问“感冒了怎么办”应该怎么回答。但如果你它问“根据病理报告判断肿瘤分期”它可能只能给一个泛泛的答案因为你没有告诉它应该参考哪些字段、遵循什么医学规范。Prompt Engineering提示工程就是通过设计合适的输入文本引导大模型输出更符合预期的结果。举个例子如果你直接问“患者女45岁左乳肿块穿刺病理提示浸润性导管癌免疫组化 ER 阳性PR 阳性HER2 阴性。请给出治疗建议。”模型可能给出一个不够规范的回复。更好的写法是给模型一个明确的角色和任务约束你是一位乳腺肿瘤科医生。请根据以下病理信息给出初步诊疗建议并按【诊断评估】【治疗方向】【注意事项】三段式输出。Prompt 工程的核心是把任务边界、输出格式、领域术语都写清楚。对于生物医学场景尤其要强调“基于给出的信息回答不要编造”和“如果信息不足请明确说明”。因为医疗场景对安全性的要求远高于普通问答。4.2 什么时候需要微调Prompt 虽然零成本但它的能力上限受限于模型本身。如果希望模型掌握一套固定的医学知识库、习惯某种术语体系、适应某个医院病历的表达风格单靠 Prompt 往往不够稳定。这时就需要微调。微调Fine-tuning是指在预训练模型的基础上用少量带标注的任务数据继续训练让模型适配特定任务。微调有两个明显的作用让模型学习领域专有词汇和表达习惯让模型的输出格式更贴近业务需求。不过微调并不是万能的。如果数据量太少微调可能导致过拟合如果基座模型本身知识能力不足微调也只能在有限范围内提升效果。4.3 低成本微调LoRA 与 QLoRA对普通开发者和医学研究者来说直接全量微调一个 70 亿参数的大模型几乎不可能因为显存不够。目前的主流方案是参数高效微调其中最常见的是 LoRA。LoRA 的核心思想是冻结原始模型的全部参数只在某些层旁边添加低秩矩阵作为可训练参数。训练时只更新这些新加的参数推理时再把两个矩阵合并回原模型。这样做的直接好处是需要训练的参数量从几十亿降到几百万显存占用大幅下降。QLoRA 则是在 LoRA 的基础上进一步量化基座模型使得在消费级显卡上微调大模型也成为可能。给生物医学背景同学的一个建议刚开始不需要追求从零预训练模型也不建议盲目全量微调。先用 Prompt 验证任务可行性再考虑用 LoRA 做低成本微调这是性价比最高的路径。5. 生物医学 NLP 实战基于 PubMed 摘要抽取药物-疾病关系接下来进入实战。我们做一个典型的生物医学 NLP 任务给定一段药物相关文本判断该药物对应的适应疾病或者不良反应。这个任务可以看作医疗文本分类的一个简化版本用到的技术包括预训练模型加载、文本分词、模型推理。5.1 环境准备推荐使用 Python 3.9 或以上版本PyTorch 和 Hugging Face Transformers。安装命令pip install torch transformers datasets pandas scikit-learn版本说明这里不指定具体版本号因为不同环境下的 CUDA 版本、显卡配置会影响 PyTorch 安装方式。建议根据你的实际环境在 PyTorch 官网选择合适的安装命令。CPU 环境也能运行本文示例只是速度会慢一些。5.2 数据集构造我们手动构造一个非常小的示例数据集每条数据包含两列text药物相关的临床描述label分类标签0 表示“药物适应症”1 表示“药物不良反应”。# 数据准备 data [ {text: Metformin is used for the treatment of type 2 diabetes., label: 0}, {text: Aspirin can cause gastrointestinal bleeding in some patients., label: 1}, {text: Amoxicillin is indicated for bacterial infections of the respiratory tract., label: 0}, {text: Ibuprofen may lead to acute kidney injury in high-risk patients., label: 1}, {text: Atorvastatin is prescribed to lower cholesterol levels., label: 0}, {text: Warfarin has been associated with an increased risk of bleeding., label: 1}, ]这个数据集虽然很小但是足够演示完整的处理流程。实际项目中不建议直接使用这么少的数据训练模型更适合用已经标注好的公开数据集做微调或评测。5.3 使用生物医学预训练模型通用大模型虽然知识面广但在生物医学文本上使用专门的生物医学预训练模型效果通常更好。一个经典的选择是 PubMedBERT它是在 PubMed 论文摘要上预训练出来的模型对医学词汇的理解能力明显优于通用 BERT。这里我们使用 Hugging Face 的 pipeline 接口快速完成推理from transformers import pipeline # 加载文本分类 pipeline classifier pipeline( text-classification, modelmicrosoft/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltext, tokenizermicrosoft/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltext, ) # 测试文本 test_text Tamoxifen is commonly used as adjuvant therapy for hormone receptor positive breast cancer. result classifier(test_text) print(result)这里有一个需要注意的地方PubMedBERT 原始的 classification head 输出类别数量和我们定义的二分类任务不一样直接使用 pipeline 进行 zero-shot 分类得到的结果可能不太准确。上面的代码仅作为加载和调用模型的演示真正的二分类微调需要替换 classification head 并在标注数据上训练。5.4 完整微调代码下面给出一个完整的微调示例代码可以在本地 CPU 或 GPU 环境运行。为了便于理解我们不做过多的封装每一步都尽量简单直接。import torch from transformers import ( AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments, ) from datasets import Dataset # 1. 准备数据 data [ {text: Metformin is used for the treatment of type 2 diabetes., label: 0}, {text: Aspirin can cause gastrointestinal bleeding in some patients., label: 1}, {text: Amoxicillin is indicated for bacterial infections of the respiratory tract., label: 0}, {text: Ibuprofen may lead to acute kidney injury in high-risk patients., label: 1}, {text: Atorvastatin is prescribed to lower cholesterol levels., label: 0}, {text: Warfarin has been associated with an increased risk of bleeding., label: 1}, ] dataset Dataset.from_list(data) # 2. 加载 tokenizer 和模型 model_name microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltext tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForSequenceClassification.from_pretrained(model_name, num_labels2) # 3. 数据预处理 def tokenize_function(examples): return tokenizer(examples[text], paddingmax_length, truncationTrue, max_length128) tokenized_dataset dataset.map(tokenize_function, batchedTrue) # 4. 划分训练集与验证集 split_dataset tokenized_dataset.train_test_split(test_size0.2, seed42) train_dataset split_dataset[train] eval_dataset split_dataset[test] # 5. 配置训练参数 training_args TrainingArguments( output_dir./biomedical-nlp-finetune, evaluation_strategyepoch, save_strategyepoch, num_train_epochs3, per_device_train_batch_size2, per_device_eval_batch_size2, logging_dir./logs, logging_steps10, load_best_model_at_endTrue, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, tokenizertokenizer, ) # 6. 开始训练 trainer.train() # 7. 保存模型 model.save_pretrained(./biomedical-nlp-finetune-final) tokenizer.save_pretrained(./biomedical-nlp-finetune-final)5.5 模型推理验证训练完成后我们可以加载保存好的模型对新的句子进行分类from transformers import pipeline # 加载训练好的模型 classifier pipeline( text-classification, model./biomedical-nlp-finetune-final, tokenizer./biomedical-nlp-finetune-final, ) # 测试样本 samples [ Dexamethasone is used to reduce inflammation in patients with severe asthma., Clopidogrel increases the risk of bleeding when combined with aspirin., ] for text in samples: result classifier(text) label 适应症 if result[0][label] LABEL_0 else 不良反应 score result[0][score] print(f文本: {text}) print(f预测: {label}, 置信度: {score:.4f}) print(- * 50)说明因为训练数据只有 6 条而且训练轮数很少模型泛化能力有限。本文示例的目的是跑通完整流程真正用于业务时至少需要几千甚至上万条经过医学专业人员标注的数据并且要做充分的评测。6. 生物医学 NLP 常见难点与排查思路6.1 医学缩写与术语不统一同一种疾病在不同医院系统里可能有不同的写法比如“高血压”可能有“HTN”、“Essential hypertension”、“hypertensive disease”等多种表达。解决思路是引入医学标准词典如 UMLS、SNOMED CT、ICD-10在预处理阶段做术语归一化。6.2 上下文信息缺失导致误判很多医疗文本存在指代不清的问题。比如病历中写“患者自觉良好无明显不适”如果只看这句话无法判断“患者”是谁、在治疗什么病。这种情况下需要结合前后文或结构化字段一起建模。6.3 类别不平衡在真实医疗数据中某种疾病的阳性样本占比可能只有 5%如果直接训练模型会倾向于把所有样本都预测为阴性。建议使用类别加权、Focal Loss、过采样/欠采样等策略并用 Precision、Recall、F1 而不是准确率来评估模型。6.4 显存不足如果训练时提示 CUDA out of memory可以尝试减小per_device_train_batch_size或者降低max_length也可以使用梯度累积或 LoRA 微调。下面给出一个常见问题速查表问题现象常见原因解决思路显存不足batch size 过大或序列过长降低 batch size、缩短 max_length、使用梯度累积模型输出全是同一类别类别不平衡或学习率太大检查数据分布、调整类别权重、降低学习率分词结果不理想使用通用 tokenizer 处理医学文本换成 PubMedBERT 等生物医学预训练模型微调后效果反而变差数据量太少或标注噪声太大增加标注数据、清洗标签、使用 Prompt 先验证任务保存模型后加载报错模型路径或 tokenizer 不匹配确认 model 和 tokenizer 使用同一目录7. 医学生转 AI 的最佳实践与工程建议7.1 从日常医学数据中寻找练习场景如果你是医学生最方便的学习资源就在身边。可以尝试把以下场景作为练习项目将一段病历文书自动转成结构化字段从检验报告中抽取异常指标对医学文献摘要做疾病-药物关系抽取开发一个基于检索的医学知识问答助手。这些项目不需要一开始就做大模型先从规则和经典机器学习入手再逐步引入 BERT、GPT 等模型学习曲线会更平缓。7.2 重视数据标注质量与合规性医疗数据涉及患者隐私任何实验都必须遵守数据安全法规在合法授权的前提下使用数据。建议在实验环境中使用脱敏数据或公开数据集如 PubMed、MIMIC-III 的公开子集。涉及医院真实数据时必须经过伦理审批和数据使用授权不能私自获取和传播。7.3 合理选择模型与训练策略数据量小低于 1000 条优先使用 Prompt 大模型 API或在上游预训练模型上做少量微调数据量中等1 万条左右可以考虑全量微调小型 BERT 类模型数据量很大10 万条以上可以考虑领域继续预训练加上任务微调。在算力有限的情况下LoRA 微调是最稳妥的路径。它既保留了大模型的通用能力又能注入领域知识而且训练成本可控。7.4 保留简单的学习日志这个建议听起来很基础但非常管用。记录每个实验使用的数据量、模型版本、训练参数、评测指标以及踩过的坑。三个月后回头看这份日志就是你最宝贵的项目经验。8. 总结与下一步学习建议回到开头的问题生物医学背景的同学到底该怎样进入 NLP 和大模型领域答案不是先去刷完高数和线代而是沿着“RNN 理解序列建模 → Transformer 理解注意力机制 → 预训练模型 → Prompt/微调适配医学任务”这条路径一边补技术基础一边结合自己的医学知识做真实场景练习。你可以先跑通本文的药物-疾病关系分类案例把代码在本地运行一遍然后换一个自己熟悉的医学数据集比如症状-检查项目匹配、疾病-科室推荐用同样的代码思路重新实现一版。如果感觉自己对 Transformer 的细节还不够清楚建议再深入阅读 Self-Attention 和 Multi-Head Attention 的原始论文结合代码逐步推导一遍。不用追求一步到位把输入矩阵的维度变化搞清楚比背住所有公式有用得多。你最大的底气不是某一天突然学会了所有算法而是“我既懂医学语言又懂模型怎么处理语言”。把这两件事结合起来你就是医疗 AI 方向最需要的那种人。