ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

Hallucinate or Memorize? The Two Sides of Probabilistic Learning in Large Language Models

Hallucinate or Memorize? The Two Sides of Probabilistic Learning in Large Language Models 文章总结与翻译一、主要内容本文聚焦大型语言模型(LLMs)在引文推荐任务中的幻觉问题与记忆机制,核心探究引文频率(作为预训练数据冗余度的代理指标)对模型生成文献记录准确性的影响。通过使用GPT-4.1在计算机科学20个领域生成100条引文记录,并结合人工验证与余弦相似度计算的混合评估方法,得出三大关键发现:引文数量与事实准确性呈强相关性,高引论文的生成准确率显著高于低引论文;存在记忆阈值效应:引文数超过约1000次(具体为1248次)时,模型会近乎逐字记忆文献元数据;引文数达到90次左右时,模型开始从概率合成转向记忆主导的生成模式;高引论文若存在标题或作者列表相似性,会引发记忆干扰,导致模型融合不同文献的元数据生成虚构引文。此外,研究还发现模型对文献元数据的记忆存在层级结构:标题和第一作者名优先被记忆,而期刊名、卷期页码等数值信息更易出错;幻觉与记忆并非对立现象,而是同一概率学习过程的两面,均由预训练语料中知识的分布密度决定。二、创新点首次明确将引文频率作为预训练数据冗余度的代理指标,系统验证其与LLMs引文生成准确性的量化关系,揭示了“低引易幻觉、高引易记忆”的核心规律;识别出LLMs引文记忆的双阈值(90次过渡阈值、1248次饱和阈值),阐明了模型从概率合成到逐字记忆的两阶段演进过程;发现高引文献间的记忆干扰现象,补充了对LLMs记忆机制的理解——即使超过记忆阈值,相似高引文献仍可能导致元数据混淆;采用“人工
返回列表