摘要自然语言处理中的语篇处理是AI领域的核心难题涉及语篇连贯性、结构分析和指称消解三大关键问题。语篇连贯性通过结果、解释等关系实现而语篇结构可通过有监督/无监督算法进行切分。指称消解则需解决代词、名词短语等指称表达的实体对应问题包括同指消解和代词回指消解两类任务。这些技术对信息检索、文本摘要等应用至关重要但代词多义性等问题仍带来挑战。目录自然语言语篇处理连贯性的概念话语间的连贯关系实体间的关联语篇结构语篇切分算法无监督语篇切分有监督语篇切分文本连贯性结果关系解释关系并列关系详述关系场景关系构建层级化语篇结构指称消解指称消解中的专业术语指称表达的类型不定名词短语定名词短语代词指示词名称指称消解的任务类型同指消解同指消解的约束条件代词回指消解自然语言语篇处理人工智能领域最棘手的难题是让计算机处理自然语言换言之自然语言处理也是人工智能中难度最高的问题。谈及自然语言处理的主要难题语篇处理当属其中之一 —— 这一任务需要构建相关理论与模型解释话语如何衔接形成连贯的语篇。实际上语言的存在形式从来都是相互搭配、结构清晰且语义连贯的句群而非像零散的影像片段那样由孤立、无关联的句子组成。这类语义连贯的句群就被称作语篇。连贯性的概念语篇的连贯性与语篇结构在诸多方面相互关联。连贯性作为优质文本的特质之一常被用于评估自然语言生成系统的输出质量。这里便引出一个问题文本的 “连贯” 究竟指什么假设我们从报纸的每一页各摘取一句话这些句子能构成语篇吗答案显然是否定的因为它们之间缺乏连贯性。一个连贯的语篇必须具备以下特征话语间的连贯关系若语篇中各话语之间存在有意义的关联该语篇便具备连贯性这一特征被称为连贯关系。例如话语间的关联需要通过某种解释来佐证其合理性。实体间的关联语篇连贯的另一项特征是语篇中的各类实体之间必须存在特定关联这类连贯性被称作基于实体的连贯性。语篇结构关于语篇一个关键问题是它需要具备何种结构答案取决于我们对语篇所做的切分方式。语篇切分的定义是为篇幅较长的语篇确定其结构类型。尽管语篇切分的落地实现难度较大但对于信息检索、文本摘要、信息抽取这类应用而言这一环节至关重要。语篇切分算法本节将介绍语篇切分的相关算法具体如下无监督语篇切分无监督语篇切分通常表现为线性切分我们可以通过实例理解这一任务将文本切分为多个段落单元每个单元对应原文的一个语段。这类算法的设计依托于衔接性衔接性指通过特定的语言手段将不同的文本单元联结起来。其中词汇衔接是衔接性的一种表现形式指两个文本单元中两个或多个词汇之间存在关联如使用同义词。有监督语篇切分上述无监督语篇切分算法无需人工标注的切分边界而有监督语篇切分则需要带有边界标注的训练数据且这类数据的获取难度较低。在有监督语篇切分中语篇标记词 / 提示词发挥着重要作用。语篇标记词或提示词是用于标示语篇结构的词或短语这类标记词具有领域特异性。文本连贯性词汇复现是梳理语篇结构的一种方式但仅凭这一点无法实现语篇的连贯。要打造连贯的语篇我们需要重点关注具体的连贯关系。正如前文所述连贯关系定义了语篇中话语之间可能存在的关联形式。赫布提出了以下几种典型的连贯关系我们用S₀和S₁两个符号分别代表两个存在关联的句子的语义。结果关系指S₀所表述的状态可能引发S₁所表述的状态。例如拉姆身陷火海他的皮肤被烧伤了。这两个句子便体现了结果关系。解释关系指S₁所表述的状态是S₀所表述状态产生的原因。例如拉姆和希亚姆的朋友起了争执因为他喝醉了。这两个句子体现了解释关系。并列关系指从S₀的表述中可推导出 p (a1,a2,…)从S₁的表述中可推导出 p (b1,b2,…)且对于所有的 iai 与 bi 均具有相似性。例如拉姆想要一辆车希亚姆想要一笔钱。这两个句子体现了并列关系。详述关系指从S₀和S₁的表述中均可推导出同一个命题 P。例如拉姆来自昌迪加尔希亚姆来自喀拉拉邦。这两个句子体现了详述关系。场景关系指从S₀的表述中可推导出一种状态的变化且这种变化的最终状态可从S₁中推导而出反之亦然。例如拉姆拿起了那本书然后把书递给了希亚姆。这两个句子体现了场景关系。构建层级化语篇结构语篇的整体连贯性也可通过连贯关系之间的层级结构来体现。例如以下语段即可用层级结构表示S₁拉姆去银行存钱。S₂随后他乘火车前往希亚姆的服装店。S₃他想买些衣服。S₄他没有适合参加派对的新衣服。S₅他还想和希亚姆聊聊自己的健康状况。指称消解解读语篇中的句子是语篇处理的另一项重要任务而要完成这一任务我们需要明确话语所指向的实体对象。在此过程中指称解读是核心环节。指称的定义是用于指代某个实体或个体的语言表达形式。例如在语段 “拉姆是 ABC 银行的经理他在一家商店看到了自己的朋友希亚姆于是走上前去和他打招呼” 中“拉姆”“他的”“他” 均属于指称表达。同理指称消解的定义是确定不同的语言表达形式分别指代哪些实体的任务。指称消解中的专业术语指称消解涉及以下专业术语指称表达用于实现指称的自然语言表达形式上述例句中的各类表述均属于指称表达。指称对象指称所指向的实体例如上述例句中“拉姆” 就是指称对象。同指当两个表达形式指代同一个实体时这两个表达形式即为同指关系。例如“拉姆” 和 “他” 是同指。先行语为其他指称表达提供指代依据的语言成分例如“拉姆” 是指称表达 “他” 的先行语。回指与回指表达回指指的是对前文已出现实体的指代用于回指的表达形式则被称作回指表达。语篇模型一种包含语篇中所有被指代实体的表征以及实体之间关联关系的模型。指称表达的类型指称表达主要分为以下五类不定名词短语这类指称表达用于将受话者此前未知的实体引入语篇语境。例如有一天拉姆出门去给他带了些吃的。句中的 “些吃的” 即为不定指称。定名词短语与不定名词短语相反这类指称表达指代的是受话者已知、或可识别的实体。例如我过去常读《印度时报》。句中的《印度时报》即为定指称。代词代词是定指称的一种形式。例如拉姆放声大笑。句中的 “他” 便是代词类指称表达。指示词指示词用于指示对象其用法与普通的定指代词不同例如 “这”“那” 均为指示代词。名称这是最简单的指称表达类型可指代人、机构、地点等例如上述例句中的 “拉姆”就是名称类指称表达。指称消解的任务类型指称消解主要包含以下两类任务同指消解指在文本中找出指代同一实体的所有指称表达简言之就是寻找同指表达的任务。一组同指表达被称作同指链。例如前文例句中的 “他”“总经理”“他的”便构成了一条同指链。同指消解的约束条件在英语中同指消解的主要难点在于代词it原因是该代词的用法十分多样。例如它可像he和she一样指代具体对象也可指代非具体的事物如下雨了Its raining.、这太棒了It is really good.。代词回指消解与同指消解不同代词回指消解的任务是为单个代词找到对应的先行语。例如对于代词 “他的”代词回指消解的任务就是找到其先行语 “拉姆”。