利用NLU标签改进ASR重评分模型通过对自动语音识别ASR的假设进行重评分的二阶语言模型能够从自然语言理解NLU任务的多任务训练中受益。当用户与语音助手如Alexa对话时通常一个自动语音识别ASR模型会将语音转换为文本。随后一个自然语言理解NLU模型会解释这段文本为助手提供其可以执行的结构化数据。传统上ASR系统是流水线式的包含独立的声学模型、词典和语言模型。语言模型编码了词序列的概率这些概率可用于在声学信号的不同解读之间做出决策。由于其训练数据包含公开文本语言模型为大量词汇编码了概率。端到端的ASR模型以声学信号为输入并直接输出词序列它们更加紧凑且整体性能与旧的流水线系统相当。但它们通常在由音频-文本对组成的有限数据上进行训练因此有时在处理罕见词时会遇到困难。解决这个问题的标准方法是使用一个独立的语言模型对端到端模型的输出进行重评分。例如如果端到端模型在设备上运行语言模型可能在云端对其输出进行重评分。在今年的自动语音识别与理解研讨会ASRU上我们发表了一篇论文提出不仅要在标准的语言模型目标计算词序列概率上训练重评分模型还要在NLU模型执行的任务上进行训练。其理念是添加通常有标注训练数据的NLU任务可以帮助语言模型吸收更多知识这将有助于识别罕见词。在实验中我们发现与以传统方式训练的重评分语言模型相比这种方法能将语言模型对罕见词的错误率降低约3%与完全不使用重评分的模型相比则能降低约5%。此外我们通过在纯语言模型目标上预训练重评分模型然后使用较小的NLU数据集在组合目标上对其进行微调获得了最佳结果。这使得我们能够利用大量无标注数据同时仍然获得多任务学习的好处。多任务训练我们的端到端ASR模型是一个循环神经网络-换能器RNN-T这是一种按顺序处理输入的网络类型。其输出是一组根据概率排序的文本假设。通常一个NLU模型执行两个主要功能意图分类和槽位标记。例如如果用户说“播放达琳·洛芙的《圣诞节》”意图可能是“播放音乐”而槽位“歌曲名”和“艺术家名”将分别取值“圣诞节”和“达琳·洛芙”。语言模型通常训练于根据前面的词来预测序列中下一个词的任务。模型学习将输入词表示为固定长度的向量即嵌入这些嵌入捕捉了进行准确预测所需的信息。在我们的多任务训练方案中同一个嵌入被用于意图检测、槽位填充和预测词序列中下一个词的任务。我们将语言模型嵌入输入到两个额外的子网络中一个意图检测网络和一个槽位填充网络。在训练期间模型学习生成针对所有三个任务词预测、意图检测和槽位填充都进行了优化的嵌入。在运行时不调用意图检测和槽位填充的额外子网络。对ASR模型文本假设的重评分是基于从词预测任务计算出的句子概率分数下图中称为“LM分数”。在训练期间我们必须同时优化三个目标这意味着需要为每个目标分配一个权重指示相对于其他目标应强调的程度。我们试验了两种分配权重的技术。一种是线性方法我们将NLU目标的权重从零开始然后逐步增加。另一种是随机权重多数算法其中每个目标的权重根据特定的概率分布随机分配。该分布在训练期间根据性能进行调整。在我们的实验中这种方法比线性方法效果更好。我们的方法所展现的增益相对于基于普通语言模型构建的重评分模型罕见词的词错误率降低了2.6%虽然不算巨大但确实证明了我们方法的有效性。在正在进行的工作中我们正在探索更多方法来进一步降低错误率。例如我们可以将NLU分类结果作为解码器的显式输入而不仅仅是训练编码器的目标。或者我们可以利用意图分类来动态调整重评分结果。我们也在探索半监督训练技术即使用更大的自动标注语料库来扩充用于训练NLU子网络的标注数据。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享