Human–large language model collaboration in clinical medicine: a systematic review and meta-analysis摘要本研究通过系统综述和荟萃分析评估了人类与AI协作HAI在临床医学中的表现。研究纳入10项同行评审研究结果显示诊断准确性虽呈正向趋势但统计学不显著综合诊断评分有显著改善但实际应用存在高度不确定性时间效率无明显差异文档质量提升但事实错误率仍高达26-36%。证据表明人机协作效果高度依赖具体情境。阅读原文或https://t.zsxq.com/YlyZB获取原文pdf一、研究背景与意义1.1 人工智能在医疗领域的快速发展人工智能AI特别是大语言模型LLMs如GPT-4、Claude以及任务专用系统AMIE正在医疗保健领域快速发展被广泛视为服务交付的潜在范式转变。早期证据显示这些模型在标准化考试、临床数据解释、关键病史要素提取和初步诊断方面表现强劲。与此同时越来越多的医疗机构正在试点或部署AI工具用于分诊、临床决策支持和文档记录这强化了协作优先的叙事许多组织正在采用人类-AI协作HAI模型副驾驶/半人马模式利用AI的检索、计算和信息整合能力来增强临床判断同时保留医生的最终权威。这种协作被认为可以提高效率和准确性并更好地符合监管和伦理对可解释性和问责制的期望。1.2 现有研究的局限性尽管AI在医疗领域的应用势头强劲但大多数研究仍着重于模型的独立诊断能力以及与临床医生的直接比较。一项包含83项研究的荟萃分析报告称生成式AI的总体诊断准确率为52.1%与整体医生或非专家医生无显著差异但显著低于专家医生。然而一个关键差距依然存在直接比较人类AIHAI与仅人类H和/或仅AI模式在临床任务表现及相关结果方面的研究非常有限。另一项综合了106项实验研究370个效应量的荟萃分析发现平均而言人类-AI团队的表现显著差于单一最佳代理——无论是人类还是AIHedges g -0.23; 95% CI -0.39至-0.07——这凸显了协作有效性的可变性。1.3 研究目标本系统综述旨在综合和严格评估直接比较人类AIHAI与仅人类H和/或仅AI模式的证据超越协作本质上有益的先验假设。我们的目标是识别人类-AI协作成功的临床任务、交互和工作流程设计以及实施条件——以及何时可能失败——从而为AI在临床护理中的审慎和有效部署提供可操作的、基于证据的指导。二、研究方法2.1 协议与注册本综述遵循2020年系统综述和荟萃分析首选报告项目PRISMA 2020指南。该协议已在PROSPERO前瞻性注册注册号CRD420251068272。研究识别、去重和筛选程序总结在PRISMA流程图中。2.2 检索策略研究团队系统性地检索了MEDLINEPubMed、Embase、Cochrane图书馆和Web of Science核心合集检索时间从数据库建立至2025年6月28日。检索策略结合了受控词汇和自由文本术语MeSH/Emtree加文本词涉及人工智能和大语言模型人工智能、自然语言处理、大语言模型/LLM、ChatGPT、GPT-3.5/4/4o、Claude、Gemini以及临床应用临床诊断、决策制定、分诊、管理、文档记录。由于资源限制研究仅限于英文出版物。2.3 纳入标准资格标准使用PICO框架先验指定人群P从事临床护理的持证临床医生干预I基于LLM的AI辅助比较C标准的仅人类临床工作流程可能包括非AI决策支持如指南、评分系统但不含AI组件结局O主要结局是临床正确性次要结局包括时间效率等2.4 文献筛选结果研究团队最初识别了1235条记录包括182条重复记录。经过标题/摘要筛选后排除了958条不相关记录对95篇全文文章进行了资格评估。10项同行评审研究符合主要分析的纳入标准另外3项medRxiv预印本被添加为敏感性证据。研究排除了纯观察性方法学报告、没有临床结局的技术评估以及缺乏对照组的研究。三、研究特征在10项同行评审研究中8项采用双臂设计HAI vs. H2项还包括仅AI组未纳入主要荟萃分析。临床任务包括诊断推理、分诊/重症监护病房鉴别诊断、放射学和神经电诊断解释、临床文档记录以及跨学科沟通。所有干预措施均采用基于LLM的系统——主要是GPT-4/ChatGPT也包括AMIE、DeepSeek-R1和PEACH。参与者主要是主治医师和住院医师少数研究招募了医学生或亚专科阅片者。主要结局包括诊断/解释准确性、综合推理评分、时间效率、文档/报告质量PDQI-9、AIGERS以及跨学科理解。四、荟萃分析主要结果4.1 诊断与解释准确性二元结局两项同行评审研究k2Kim研究、Wu研究报告了适合汇总的事件类型数据。研究层面的风险比RRs分别为1.3295% CI 1.03-1.69和2.1595% CI 1.28-3.63。关键发现共同效应模型RR 1.4495% CI 1.16-1.80随机效应模型RR 1.5995% CI 0.08-32.74I² 63.8%τ² 0.076395%预测区间0.02-163.67尽管点估计值倾向于HAI但95%置信区间包含无效值95%预测区间跨越无效值。因此效应方向高度不确定高度异质性和不精确性严重限制了跨设置的外推。一项未纳入荟萃分析的配对读者-病例研究McDuff研究发表于《自然》杂志NEJM临床病理讨论病例集显示了一致的、统计学上显著的收益Top-129.2%→59.1%Top-1033.6%→51.7%McNemar检验P0.01作为外部一致性被引用。由于其配对方差结构与平行RCT不同未与独立样本试验合并。4.2 综合诊断与管理表现百分比评分两项平行RCT研究k2Goh 2024研究、Goh 2025研究报告了综合百分比评分。关键发现共同效应模型MD 5.24百分点95% CI 2.06至8.42随机效应模型MD 4.88百分点95% CI 0.65至9.12I² 35.6%τ² 3.609195%预测区间-31.65至41.42结果显示统计学上显著的改善平均差异4.88个百分点但预测区间-31.65至41.42表明在现实世界中存在高度不确定性。4.3 时间效率分钟三项研究k3报告了时间效率数据。关键发现随机效应模型MD 0.40分钟95% CI -4.18至4.97I² 70.1%τ² 1.975795%预测区间-7.18至7.98整体显示无差异MD定义为HAI - H正值表示AI辅助工作流程比仅人类工作流程更慢。个别研究显示混合结果一项研究倾向于H另一项倾向于HAI。随机效应模型显示小的正MD0.40但其置信区间跨越零表明无统计学显著差异。4.4 文档质量与错误率虽然文档质量有所改善但事实错误率仍然很高约26-36%这削弱了质量提升的价值。在三臂设置中HAI并未普遍优于仅AI模式。五、研究发现的解读与启示5.1 证据的不确定性本研究表明尽管人类-AI协作在某些指标上显示出积极趋势但证据仍然是初步的且高度不确定和情境依赖。诊断准确性的宽置信区间和预测区间表明在不同设置中协作的效果可能存在巨大差异。5.2 协作并非总是优于单独工作理论期望与实证发现之间的紧张关系突显了关于如何协作以及何时协作能增加价值的持续不确定性。早期来自高质量随机对照试验的证据喜忧参半一些研究发现AI辅助没有显著的净收益其他研究仅在特定任务和情境中显示明显优势还有几项研究报告了一个悖论——在某些条件下仅AI的表现优于人类AI团队。5.3 高错误率的隐忧尽管文档质量有所改善但高达26-36%的事实错误率是一个严重问题。这表明AI系统在生成内容时可能产生看似合理但实际错误的信息即幻觉问题这在临床环境中可能带来安全风险。六、研究建议基于本系统综述的发现研究团队提出以下建议6.1 开展预注册的实用性多中心试验需要在真实工作流程中嵌入预注册的、实用性的多中心试验以更好地评估人类-AI协作在实际临床环境中的表现。6.2 建立统一的核心结局指标应当建立协调一致的核心结局指标优先考虑安全性/错误指标。这将有助于不同研究之间的比较和证据的累积。6.3 设计支持验证的交互界面需要设计能够显示不确定性并支持验证的交互界面。这样的界面可以帮助临床医生识别AI建议中的潜在错误并促进更有效的人机协作。6.4 关注特定任务和情境鉴于协作效果的高度情境依赖性未来研究应明确关注特定的临床任务、交互设计和实施条件以识别协作成功的具体场景。七、研究局限性本研究存在以下局限性研究数量有限仅纳入10项同行评审研究样本量相对较小高度异质性不同研究在任务类型、AI系统、参与者特征等方面存在显著差异语言限制仅纳入英文出版物可能遗漏其他语言的相关研究短期结果大多数研究关注短期结果缺乏长期随访数据八、结论与展望本系统综述和荟萃分析提供了关于人类-大语言模型协作在临床医学中表现的最新证据总结。主要发现包括诊断准确性虽呈正向趋势RR 1.59但统计学不显著且存在高度不确定性综合表现显示统计学显著改善MD 4.88百分点但实际应用中不确定性高时间效率无明显差异MD 0.4分钟质量与安全文档质量提升但错误率仍高26-36%这些发现表明人类-AI协作在临床医学中的价值高度依赖于具体情境并非普遍优于人类单独工作或AI单独工作。在大规模推广应用之前需要更多高质量、针对特定临床场景的研究来明确协作的最佳模式和适用条件。随着AI技术的不断进步和临床应用经验的积累我们有理由相信通过精心设计的人机协作模式可以更好地发挥AI的优势同时保持临床医生的专业判断和责任。然而这需要持续的研究、审慎的实施和严格的安全监管。