2022年9月,自然语言处理组1篇论文被NeurIPS 2022接收。NeurIPS 2022的全称是Thirty-sixth Conference on Neural Information Processing Systems,是人工智能领域的顶级会议之一。NeurIPS 2022将于2022年11月28日-12月9日在美国新奥尔良举行。
被录用论文的简要介绍如下:
Exploring Non-Monotonic Latent Alignments for Non-Autoregressive Machine Translation (Chenze Shao, Yang Feng)
非自回归翻译模型能够并行生成整句译文,在解码速度上具有非常大的优势,但由于交叉熵损失无法正确地评估模型的输出,非自回归模型的性能与自回归模型有很大差距。基于CTC损失的非自回归模型能够建模参考译文与模型输出的隐式对齐,因此大幅提升了非自回归模型的性能水平,目前已成为非自回归机器翻译的主流模型之一。然而,CTC损失最早是为语音识别任务设计的,只能建模参考译文与模型输出间的单调对齐,无法处理机器翻译中普遍存在的非单调对齐现象(如下图所示),这是非自回归机器翻译领域的一个open problem。在本文中,我们针对这个问题做了系统性的研究,将对齐空间扩展为非单调隐式对齐,并考虑所有与参考译文相关的对齐来计算损失。基于此,我们提出了基于二分图匹配和n元组匹配的两种解决方案,均能显著改善非自回归模型的翻译质量。在多个翻译数据集上,我们的最佳方法均达到了与自回归模型相当的性能,并保持着对自回归模型十倍以上的解码加速。