课题组今年1篇论文被NAACL 2021接收。 NAACL（The North American Chapter of the Association for Computational Linguistics）是 ACL 的的北美分会，也是由 ACL 主办。NAACL 2021将于2021年6月6-11号召开。
Pruning-then-Expanding Model for Domain Adaptation of Neural Machine Translation （Shuhao Gu, Yang Feng, Wanying Xie）
领域自适应在神经机器翻译的实际应用中有着广泛的应用，其目的是在一般领域和目标领域都能获得比较好的翻译效果。然而，现有的领域自适应方法往往存在灾难性遗忘、无法处理差异大的领域和模型参数量爆炸等问题。为了解决这三个问题，我们提出了一种基于翻译模型中神经元或参数重要性对它们进行分而治之的方法。在我们的方法中，我们首先对模型进行剪枝，只保留重要的神经元或参数，使它们负责一般领域和目标领域的翻译。在此基础上，利用知识蒸馏的方法，进一步由原始的模型对剪枝后的模型进行训练。最后，我们加入新的参数和神经元，将模型扩展到原始大小，并对新添加的参数在目标领域上进行继续训练。我们在不同的语言和领域都进行了实验，结果表明，与几种强基线对比系统相比，我们的方法可以取得显著的改进。
