课题组今年1篇论文被AAAI 2021接收。 AAAI会议由人工智能促进协会AAAI（Association for the Advancement of Artificial Intelligence）主办，是人工智能顶级会议之一。AAAI 2021将于2021年2月2-9号召开。
Future-Guided Incremental Transformer for Simultaneous Translation. (Shaolei Zhang, Yang Feng, Liangyou Li)
同步翻译（Simultaneous translation，ST）在读入源端句子的同时输出目标端翻译，并在很多实时场景下被广泛应用。作为先前主流的同步翻译方法，wait-k策略结构简单并在同步翻译中取得了良好的性能。
然而，wait-k策略面临两个缺点：1）由于在每个解码时刻需要重新计算源端输入的隐藏状态，而导致训练速度较低；2）在训练过程中，缺乏可以指导培训的未来信息，导致对未来的隐式预测并不可控。
对于过慢的训练速度，我们提出一种具有平均嵌入层（Average Embedding Layer，AEL）的增量式Transformer，以加快训练期间隐藏状态的计算速度。对于利用未来信息指导训练，我们引入一个传统Transformer作为增量式Transformer的老师，并尝试通过知识蒸馏隐式地将一些未来信息嵌入到模型中。
我们对汉-英和德-英同步翻译任务进行了实验，并与wait-k策略进行了比较以评估我们的方法。我们的方法可以有效地将不同k条件下的训练速度平均提高约28倍，并成功地使模型嵌入更强的预测能力，从而获得比wait-k策略更好的翻译质量。
