NLP组1篇论文被AAAI 2021接收

课题组今年1篇论文被AAAI 2021接收。 AAAI会议由人工智能促进协会AAAI(Association for the Advancement of Artificial Intelligence)主办,是人工智能顶级会议之一。AAAI 2021将于2020年2月2-9号召开。

  • Future-Guided Incremental Transformer for Simultaneous Translation. (Shaolei Zhang, Yang Feng, Liangyou Li)

同步翻译(Simultaneous translation,ST)在读入源端句子的同时输出目标端翻译,并在很多实时场景下被广泛应用。作为先前主流的同步翻译方法,wait-k策略结构简单并在同步翻译中取得了良好的性能。

然而,wait-k策略面临两个缺点:1)由于在每个解码时刻需要重新计算源端输入的隐藏状态,而导致训练速度较低;2)在训练过程中,缺乏可以指导培训的未来信息,导致对未来的隐式预测并不可控。

对于过慢的训练速度,我们提出一种具有平均嵌入层(Average Embedding Layer,AEL)的增量式Transformer,以加快训练期间隐藏状态的计算速度。对于利用未来信息指导训练,我们引入一个传统Transformer作为增量式Transformer的老师,并尝试通过知识蒸馏隐式地将一些未来信息嵌入到模型中。

我们对汉-英和德-英同步翻译任务进行了实验,并与wait-k策略进行了比较以评估我们的方法。我们的方法可以有效地将不同k条件下的训练速度平均提高约28倍,并成功地使模型嵌入更强的预测能力,从而获得比wait-k策略更好的翻译质量。