课题组今年1篇论文被COLING 2020接收。 COLING 2020全称是The 28th International Conference on Computational Linguistics，今年将在12月8-13日于线上举行。
Investigating Catastrophic Forgetting During Continual Training for Neural Machine Translation (Shuhao Gu, Yang Feng)
神经机器翻译（NMT）模型在持续学习的过程中经常会出现灾难性遗忘的现象，在这种情况下，模型往往会逐渐忘记先前学习到的知识，而去过度拟合可能具有不同分布（例如不同域）的新添加数据。虽然人们提出了许多解决这一问题的方法，但我们还不知道是什么原因造成了这种现象。在领域适应的背景下，我们从模块和参数（神经元）的角度研究灾难性遗忘的原因。通过对NMT模型中模块的研究，发现有些模块与保留源领域知识有着紧密的联系，而有些模块在领域适应中则更为重要。此外，对模型参数的研究表明，某些参数对源领域和目标领域的翻译都很重要，而且在持续学习的过程中，这些参数的变化会导致源领域的性能下降。我们在不同的语言对和领域进行了实验，以确保我们的发现的有效性和可靠性。