学术动态
-
152021-06NLP组同声传译评测任务取得佳绩
近日，全球第二届同声传译测评比赛 (The 2nd Workshop on Automatic Simultaneous Translation，AutoSimTrans 2021) 公布了测评比赛结果，NLP课题组的参赛队伍在中文-英语流式输入赛道获得冠军。参赛系统主要由博士生张绍磊完成，冯洋老师提供了充分的指导。该系统描述论文《ICT’s System for AutoSimTrans 2021: Robust Char-Level Simultaneous Translation》发表在NAACL 2021 workshop中。
本届同传测评由百度联合谷歌、华为和格勒诺布尔-阿尔卑斯大学共同举办。本次大赛吸引了来自中科院计算所、平安科技、北京理工大学、厦门大学、香港中文大学等多支队伍。在本次同传测评比赛中，提交系统需要在主办方提供的70h真实场景数据上进行训练和测试，接受流式输入，并实时完成翻译。
针对真实场景中流式输入的特点，我们提出更加鲁棒的字符级同步翻译模型，并且利用数据增广和自研的Future-guided技术增强模型的领域自适应能力和预测能力。
下图展示了参赛队伍在中文-英语流式输入赛道的翻译质量-延时结果。我们提交的系统在翻译质量和延时权衡上表现最佳，尤其在低延时下表现格外强劲。在相同延时下，翻译质量高出约12BLEU；在相同翻译质量下，平均可以少等待4个单词提前完成翻译。
-
082021-05NLP组5篇论文被ACL 2021接收
课题组今年有5篇论文被ACL 2021接收， 其中4篇论文被ACL主会录用，1篇被findings of ACL录用。ACL全称是The 58th Annual Meeting of the Association for Computational Linguistics，是自然语言处理领域国际顶级会议之一；Findings of ACL是ACL 2021引入的在线附属出版物。
Importance-based Neuron Allocation for Multilingual Neural Machine Translation (Wanying Xie, Yang Feng, Shuhao Gu and Dong Yu)
ACL, long paper
基于单一模型的多语言神经机器翻译由于具有处理多种语言的能力而受到广泛关注。然而，目前的多语言翻译范式往往使模型倾向于保留通用知识，而忽略了语言特有的知识。以往的一些工作试图通过在模型中添加各种语言特有的模块来解决这一问题，但它们存在参数爆炸问题，而且需要专门的手工设计。为了解决这些问题，我们提出将模型神经元根据其跨语言的重要性分为通用部分和特定语言部分。通用神经元负责保留通用知识，参与所有语言的翻译；语言专有神经元负责保留语言专有知识，参与某些特定语言的翻译。我们在在IWSLT和Europarl语料库上进行了实验，实验结果证明了该方法的有效性和通用性。
Guiding Teacher Forcing with Seer Forcing for Neural Machine Translation (Yang Feng, Shuhao Gu, Dengji Guo, Zhengxin Yang and Chenze Shao)
ACL, long paper
虽然teacher forcing已经成为神经机器翻译的主要训练模式，但它通常只根据过去的信息进行预测，因此缺乏对未来的全局规划。为了解决这个问题，我们在训练过程中将另一个seer解码器引入到编码器-解码器框架中，用它来预测未来信息。同时，通过知识蒸馏，指导传统的解码器模拟seer译码器的行为。这样，在测试时，传统的解码器可以像seer解码器一样执行，而不需要seer解码器的参与。在汉英、英德和英罗翻译任务上的实验结果表明，该方法的性能明显优于强基线系统，并且在较大的数据集上取得了较大的改进。此外，与对抗式学习和L2正则化学习相比，知识提取是将seer解码器中的知识传递给正常解码器的更好的方法。
Conversations Are Not Flat: Modeling the Dynamic Information Flow across Dialogue Utterances (Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, Jie Zhou)
ACL, long paper
现有的建模对话历史的方法主要分为两种。一种是直接拼接对话历史，这种方法在某种程度上忽略了句子之间序列关系。另外一种是多层次建模，首先对每句话做表示，再对整个对话做表示，这种方法在对每句话做表示时忽略了其他句子的作用。受到人类认知过程的启发，我们着眼于建模每句话对整体对话状态带来的影响，提出了一种建模对话动态信息流的方法DialoFlow。我们在Reddit大规模对话数据集上进行了预训练，在对话生成任务中，我们的模型在Reddit multi-reference测试集以及DailyDialog multi-reference测试集上都显著优于DialoGPT模型。除此之外，我们在预训练模型基础上提出了一种Reference-free的对话评估指标，在DSTC9交互式对话评估数据集上的评估结果与人工评估一致性达到0.9。
GTM: A Generative Triple-wise Model for Conversational Question Generation (Lei Shen, Fandong Meng, Jinchao Zhang, Yang Feng and Jie Zhou)
ACL, long paper
在对话过程中学会提问可以增加整个对话的交互性和可持续性。基于层次化的隐变量模型，我们将答案内容纳入问题生成的考量，同时建模了上文-问题-答案三元组之间的关系。在开放域对话问题生成数据集上，我们的模型取得了更好的结果，在问题的多样性和相关性指标上都有明显的提高。
Addressing Inquiries about History: An Efficient and Practical Framework for Evaluating Open-domain Chatbot Consistency (Zekang Li, Jinchao Zhang, Zhengcong Fei, Yang Feng, Jie Zhou)
Findings of ACL, long paper
随着大规模预训练技术的发展，开放域对话系统可以生成流畅的，信息丰富的对话。但是在聊天过程中经常会生成前后不一致的回复。我们认为缺少一种高效、有效的对话一致性评估方法制约了对话系统一致性的提高。现有的对话一致性评估方法主要分为两种，人工评估和自动评估。这两种评估方式都依赖于人与机器对话，而人与机器对话经常是低质量的。除此之外，人工评估耗时耗力并且没有明确的判断标准。我们通过大量的观察发现，对话系统在谈论事实性或观点性话题时容易出现不一致的情况。因此我们提出了一种高效实用的开放域对话一致性评估框架。此框架分为两部分：质询模块和冲突检测模块。质询模块通过问题生成模型生成一个关于对话历史的问题并收集被测试对话系统的回复。冲突检测模块通过自然语言推理模型对比收集到的回复和对话历史中对应的问题判断是否冲突。实验表明我们的框架可以有效高效的对对话系统的前后一致性进行评估。
-
112021-03NLP组1篇论文被NAACL 2021接收
课题组今年1篇论文被NAACL 2021接收。 NAACL（The North American Chapter of the Association for Computational Linguistics）是 ACL 的的北美分会，也是由 ACL 主办。NAACL 2021将于2021年6月6-11号召开。
Pruning-then-Expanding Model for Domain Adaptation of Neural Machine Translation （Shuhao Gu, Yang Feng, Wanying Xie）
领域自适应在神经机器翻译的实际应用中有着广泛的应用，其目的是在一般领域和目标领域都能获得比较好的翻译效果。然而，现有的领域自适应方法往往存在灾难性遗忘、无法处理差异大的领域和模型参数量爆炸等问题。为了解决这三个问题，我们提出了一种基于翻译模型中神经元或参数重要性对它们进行分而治之的方法。在我们的方法中，我们首先对模型进行剪枝，只保留重要的神经元或参数，使它们负责一般领域和目标领域的翻译。在此基础上，利用知识蒸馏的方法，进一步由原始的模型对剪枝后的模型进行训练。最后，我们加入新的参数和神经元，将模型扩展到原始大小，并对新添加的参数在目标领域上进行继续训练。我们在不同的语言和领域都进行了实验，结果表明，与几种强基线对比系统相比，我们的方法可以取得显著的改进。
-
142021-02NLP组1篇论文被TASLP期刊接收
近日，自然语言处理研究组一篇论文被IEEE/ACM Transactions on Audio, Speech and Language Processing（TASLP）期刊录用。TASLP期刊是是音频、声学、自然语言处理的顶级期刊，在CCF学术推荐列表中认定为B类刊物，清华最新版计算机学术推荐列表中认定为A类刊物，属于SCI一区期刊。录用文章具体相关信息如下：
Bridging Text and Video: A Universal Multimodal Transformer for Video-Audio Scene-Aware Dialog（Zekang Li, Zongjia Li, Jinchao Zhang, Yang Feng, Jie Zhou）
基于视频音频的多模态对话任务是在在对话中讨论一段给定的视频。这个任务有两个挑战性的问题：1）在不同模态间进行有效的交互2）更好的理解对话上下文和生成信息丰富的回复。为了解决这两个挑战， 论文提出了一个统一的多模态Transformer模型。为了使模型学到不同模态间的联合表示以及生成连贯信息丰富的回复，设计了三个训练任务：Response Language Modeling ，Video-Audio Sequence Modeling ，Caption Language Modeling 。论文提出的方法在DSTC8 AVSD比赛自动评测以及人工评测中均取得第一名。
-
032020-12NLP组1篇论文被AAAI 2021接收
课题组今年1篇论文被AAAI 2021接收。 AAAI会议由人工智能促进协会AAAI（Association for the Advancement of Artificial Intelligence）主办，是人工智能顶级会议之一。AAAI 2021将于2021年2月2-9号召开。
Future-Guided Incremental Transformer for Simultaneous Translation. (Shaolei Zhang, Yang Feng, Liangyou Li)
同步翻译（Simultaneous translation，ST）在读入源端句子的同时输出目标端翻译，并在很多实时场景下被广泛应用。作为先前主流的同步翻译方法，wait-k策略结构简单并在同步翻译中取得了良好的性能。
然而，wait-k策略面临两个缺点：1）由于在每个解码时刻需要重新计算源端输入的隐藏状态，而导致训练速度较低；2）在训练过程中，缺乏可以指导培训的未来信息，导致对未来的隐式预测并不可控。
对于过慢的训练速度，我们提出一种具有平均嵌入层（Average Embedding Layer，AEL）的增量式Transformer，以加快训练期间隐藏状态的计算速度。对于利用未来信息指导训练，我们引入一个传统Transformer作为增量式Transformer的老师，并尝试通过知识蒸馏隐式地将一些未来信息嵌入到模型中。
我们对汉-英和德-英同步翻译任务进行了实验，并与wait-k策略进行了比较以评估我们的方法。我们的方法可以有效地将不同k条件下的训练速度平均提高约28倍，并成功地使模型嵌入更强的预测能力，从而获得比wait-k策略更好的翻译质量。