NLP组1篇论文被COLING 2020接收

课题组今年1篇论文被COLING 2020接收。 COLING 2020全称是The 28th International Conference on Computational Linguistics,今年将在12月8-13日于线上举行。

  • Investigating Catastrophic Forgetting During Continual Training for Neural Machine Translation (Shuhao Gu, Yang Feng)

神经机器翻译(NMT)模型在持续学习的过程中经常会出现灾难性遗忘的现象,在这种情况下,模型往往会逐渐忘记先前学习到的知识,而去过度拟合可能具有不同分布(例如不同域)的新添加数据。虽然人们提出了许多解决这一问题的方法,但我们还不知道是什么原因造成了这种现象。在领域适应的背景下,我们从模块和参数(神经元)的角度研究灾难性遗忘的原因。通过对NMT模型中模块的研究,发现有些模块与保留源领域知识有着紧密的联系,而有些模块在领域适应中则更为重要。此外,对模型参数的研究表明,某些参数对源领域和目标领域的翻译都很重要,而且在持续学习的过程中,这些参数的变化会导致源领域的性能下降。我们在不同的语言对和领域进行了实验,以确保我们的发现的有效性和可靠性。