课题组今年有5篇论文被ACL 2021接收， 其中4篇论文被ACL主会录用，1篇被findings of ACL录用。ACL全称是The 58th Annual Meeting of the Association for Computational Linguistics，是自然语言处理领域国际顶级会议之一；Findings of ACL是ACL 2021引入的在线附属出版物。
Importance-based Neuron Allocation for Multilingual Neural Machine Translation (Wanying Xie, Yang Feng, Shuhao Gu and Dong Yu)
ACL, long paper
基于单一模型的多语言神经机器翻译由于具有处理多种语言的能力而受到广泛关注。然而，目前的多语言翻译范式往往使模型倾向于保留通用知识，而忽略了语言特有的知识。以往的一些工作试图通过在模型中添加各种语言特有的模块来解决这一问题，但它们存在参数爆炸问题，而且需要专门的手工设计。为了解决这些问题，我们提出将模型神经元根据其跨语言的重要性分为通用部分和特定语言部分。通用神经元负责保留通用知识，参与所有语言的翻译；语言专有神经元负责保留语言专有知识，参与某些特定语言的翻译。我们在在IWSLT和Europarl语料库上进行了实验，实验结果证明了该方法的有效性和通用性。
Guiding Teacher Forcing with Seer Forcing for Neural Machine Translation (Yang Feng, Shuhao Gu, Dengji Guo, Zhengxin Yang and Chenze Shao)
ACL, long paper
虽然teacher forcing已经成为神经机器翻译的主要训练模式，但它通常只根据过去的信息进行预测，因此缺乏对未来的全局规划。为了解决这个问题，我们在训练过程中将另一个seer解码器引入到编码器-解码器框架中，用它来预测未来信息。同时，通过知识蒸馏，指导传统的解码器模拟seer译码器的行为。这样，在测试时，传统的解码器可以像seer解码器一样执行，而不需要seer解码器的参与。在汉英、英德和英罗翻译任务上的实验结果表明，该方法的性能明显优于强基线系统，并且在较大的数据集上取得了较大的改进。此外，与对抗式学习和L2正则化学习相比，知识提取是将seer解码器中的知识传递给正常解码器的更好的方法。
Conversations Are Not Flat: Modeling the Dynamic Information Flow across Dialogue Utterances (Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, Jie Zhou)
ACL, long paper
现有的建模对话历史的方法主要分为两种。一种是直接拼接对话历史，这种方法在某种程度上忽略了句子之间序列关系。另外一种是多层次建模，首先对每句话做表示，再对整个对话做表示，这种方法在对每句话做表示时忽略了其他句子的作用。受到人类认知过程的启发，我们着眼于建模每句话对整体对话状态带来的影响，提出了一种建模对话动态信息流的方法DialoFlow。我们在Reddit大规模对话数据集上进行了预训练，在对话生成任务中，我们的模型在Reddit multi-reference测试集以及DailyDialog multi-reference测试集上都显著优于DialoGPT模型。除此之外，我们在预训练模型基础上提出了一种Reference-free的对话评估指标，在DSTC9交互式对话评估数据集上的评估结果与人工评估一致性达到0.9。
GTM: A Generative Triple-wise Model for Conversational Question Generation (Lei Shen, Fandong Meng, Jinchao Zhang, Yang Feng and Jie Zhou)
ACL, long paper
在对话过程中学会提问可以增加整个对话的交互性和可持续性。基于层次化的隐变量模型，我们将答案内容纳入问题生成的考量，同时建模了上文-问题-答案三元组之间的关系。在开放域对话问题生成数据集上，我们的模型取得了更好的结果，在问题的多样性和相关性指标上都有明显的提高。
Addressing Inquiries about History: An Efficient and Practical Framework for Evaluating Open-domain Chatbot Consistency (Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, Jie Zhou)
Findings of ACL, long paper
随着大规模预训练技术的发展，开放域对话系统可以生成流畅的，信息丰富的对话。但是在聊天过程中经常会生成前后不一致的回复。我们认为缺少一种高效、有效的对话一致性评估方法制约了对话系统一致性的提高。现有的对话一致性评估方法主要分为两种，人工评估和自动评估。这两种评估方式都依赖于人与机器对话，而人与机器对话经常是低质量的。除此之外，人工评估耗时耗力并且没有明确的判断标准。我们通过大量的观察发现，对话系统在谈论事实性或观点性话题时容易出现不一致的情况。因此我们提出了一种高效实用的开放域对话一致性评估框架。此框架分为两部分：质询模块和冲突检测模块。质询模块通过问题生成模型生成一个关于对话历史的问题并收集被测试对话系统的回复。冲突检测模块通过自然语言推理模型对比收集到的回复和对话历史中对应的问题判断是否冲突。实验表明我们的框架可以有效高效的对对话系统的前后一致性进行评估。
