学术动态
-
052020-04NLP组2篇论文被ACL 2020接收
课题组今年有2篇论文被ACL 2020接收。ACL全称是The 58th Annual Meeting of the Association for Computational Linguistics，是自然语言处理领域国际顶级会议之一。
CDL: Curriculum Dual Learning for Emotion-Controllable Response Generation (Lei Shen, Yang Feng)
融入情感因素的回复可以使对话更加吸引人并能产生共鸣，其中，情感可控的回复生成是一个重要的研究分支。现有的方法主要通过在交叉熵损失中加入正则项来强化情感表达，并且忽略掉了query/post的情感特征，而文本中情感和语义是很难分离的，这样的做法会对回复的一致性造成损失。同时，一个具有多种情感的数据集通常是多噪音的，且数据样例的学习难度也是不同的。受课程学习和对偶学习的启发，本文提出了课程对偶学习，将数据样例按照基于情感类别的学习难度进行排序，同时设计了基于语义一致性和情感表达（显式/隐式）的reward用于对偶学习的训练。在包含六类情感标签的NLPCC2017可控情感回复生成数据集上，我们的模型取得了更好的结果，尤其在回复的一致性和情感表达上都有明显的提升。
A Contextual Hierarchical Attention Network with Adaptive Objective for Dialogue State Tracking (Yong Shan, Zekang Li, Jinchao Zhang, Fandong Meng, Yang Feng, Cheng Niu, Jie Zhou)
在对话状态跟踪任务中，高效利用对话历史中的相关信息至关重要，而先前的研究对此建模尚有不足。我们提出了一种从对话历史中层次化地查询相关信息的新模型，该模型分别从词、对话轮次这两个级别建模槽位与对话历史之间的交互，并使用一个独立的上下文编码器对各轮次相关信息之间的关系进行编码。此外，我们发现槽位不均衡问题限制了对话状态跟踪任务的整体性能，于是在模型的基础上提出了一种自适应的训练目标用于缓解该问题，它能在训练过程中动态地评估各槽位的训练难度并自适应地调整各槽位的学习权重。我们的方法在两个大型对话数据集上（MultiWOZ 2.0、MultiWOZ 2.1）上取得了state-of-the-art的效果，大幅超过先前的模型，并具有良好的可伸缩性和通用性。 -
132019-11NLP组2篇论文被AAAI 2020接收
课题组今年2篇论文被AAAI 2020接收。 AAAI会议由人工智能促进协会AAAI（Association for the Advancement of Artificial Intelligence）主办，是人工智能顶级会议之一。AAAI 2020将于2020年2月在美国纽约召开。
Modeling Fluency and Faithfulness for Diverse Neural Machine Translation. (Yang Feng, Wanying Xie, Shuhao Gu, Chenze Shao, Wen Zhang, Zhengxin Yang, Dong Yu)
神经机器翻译模型通常采用Teacher Forcing策略来进行训练，在该策略下，每个源句子都给定一个Ground Truth，在每个时间步翻译模型都被强制生成一个0-1分布，即只有Ground Truth的词语的概率为1，其他词语的概率为0。通过这种方式，强制每个时间步生成对应的Ground Truth词语。实际情况是即使是在训练集上，翻译模型也不能每次都输出Ground Truth词语作为翻译，甚至有时候Ground Truth词语的概率很小，但是，0-1分布将所有的概率分布仅通过Ground Truth词语进行梯度回传，词表中其他的词语均被忽略，从而影响了参数训练。为了解决这个问题，我们提出在神经机器翻译模型中引入一个评估模块，对生成的译文从流利度和忠实度两个方面进行评估，并用得到的评估分数用来指导训练阶段译文的概率分布，而在测试的时候，可以完全抛弃该评估模块，采用传统的Transformer模型进行解码。具体来说，我们的方法在Transformer的编码器-解码器结构的基础上添加了一个评估解码器，该解码器和Transformer的翻译解码器共享一个编码器。在评估模块中，对于流利度的评估，我们分别采用了一个历史编码器和一个未来编码器，来对过去时间步生成的译文以及未来时间步的Ground Truth词语进行编码，将这两部分编码进行融合作为当前词语的上下文表示，将在上下文的情况下生成当前词语的概率作为流利度；对于忠实度的评估，我们建模成一个翻译任务，即用当前词语的上下文表示检索出相关的源端表示，并将该源端表示翻译成当前词语的概率作为忠实度。为了更好的融合流利度和忠实度并能对其权重进行自动调整，我们又引入了一个融合层，来将流利度部分生成的上下文表示和忠实度部分检索的源端表示进行融合，来计算其生成当前词语的概率。最后，我们将评估模块生成的概率加入到损失函数中用于指导Transformer生成的翻译概率分布。实验中我们与Transformer模型、强化学习模型以及词袋模型进行了比较，我们的方法在中-英、英-罗马尼亚语言对上相比于所有的基线系统翻译效果均取得了显著提升。
Minimizing the Bag-of-Ngrams Difference for Non-Autoregressive Neural Machine Translation. (Chenze Shao, Jinchao Zhang, Yang Feng, Fandong Meng and Jie Zhou)
非自回归神经机器翻译模型（NAT）对目标词的生成进行独立的建模，从而显著地提升了翻译速度。然而，对非自回归模型来说，词级别的交叉熵损失函数无法准确地建模目标端的序列依赖关系，从而导致其与翻译质量的相关性较弱。因此，非自回归模型的译文中通常不太流畅，并且会带有过翻译和漏翻译的错误。在本文中，我们提出了基于模型与参考译文间n元组袋差异的训练目标，以该训练目标来训练非自回归模型。这个基于n元组袋的训练目标具有可导、高效的优点，它能够鼓励模型去捕捉目标端的序列依赖关系，与翻译质量有很好的相关性。我们在三个机器翻译数据集上进行了实验验证。实验结果表明，我们的方法在WMT14英语-德语数据集上有约5.0个BLEU值的大幅提升，在另外两个数据集上也有显著提升。
论文：
代码：http://github.com/ictnlp/BoN-NAT -
172019-08NLP组1篇论文被EMNLP 2019接收
课题组今年有1篇论文被EMNLP 2019接收。EMNLP全称是Empirical Methods in Natural Language Processing，自然语言处理领域国际顶级会议之一。今年将于2019年11月在中国香港召开。
1. Enhancing Context Modeling with a Query-Guided Capsule Network for Document-level NMT
(Zhengxin Yang, Jinchao Zhang, Fandong Meng, Shuhao Gu, Yang Feng and Jie Zhou)
现有的文档级机器翻译(Document-Level NMT)方法通常利用层次化的注意力网络HAN(Hierarchical Attention Network)来抽取上下文信息特征，然而HAN并没有很好的建模上下文中每个句子内部词与词以及词与待翻译句子之间的语义关系。为了解决这个问题，我们提出了一种新型且简洁的胶囊网络架构QCN（Query-Guided Capsule Network），QCN将当前待翻译句子作为Query，指导胶囊网络在提取上下文中每个句子内部语义特征的同时，考虑所提取的语义特征与当前待翻译句子语义特征的相关性。实验证明，该方法可以较为有效的提高文档级机器翻译的质量。
-
082019-08NLP组荣获ACL 2019最佳长论文奖
在7月29日-31日召开的2019年ACL大会上，来自我课题组的论文《Bridging the Gap between Training and Inference for Neural Machine Translation》获得了大会唯一的最佳长文奖，这也是国内单位首次获得ACL最佳长文奖。这一工作是由我组冯洋老师、刘群老师指导学生张文等完成。其他作者中，孟凡东是从这一团队毕业的学生，游狄是在这一团队工作过的实习生。
这一工作针对神经机器翻译在训练和测试时所使用前序历史信息不同而造成的翻译质量问题，通过在训练时模拟测试时的前序历史信息，来减小了训练和测试时的偏差。具体来说，该工作首先采取一定的策略来模拟生成测试时的前序历史信息，然后通过采样的方式来将标准译文和模拟得到的前序历史信息输入到翻译模型中来生成译文。该工作在两个通过的翻译任务上的翻译性能均显著优于多个state-of-the-art模型。
本次大会一共收到投稿2905篇（长文1737篇，短文1168篇），共录用660篇（长文447篇，短文213篇），总录用率为22.7%，其中长文录用率为25.7%，短文录用率为18.2%。本次大会共设置了8个奖项，包括：
最佳长文奖
最佳短文奖
最佳演示论文奖
5个杰出论文奖。
该论文经过双盲评审、领域主席推荐、大会宣讲及专家投票，最终获得ACL 2019最佳长文奖。
国际计算语言学协会 (ACL，The Association for Computational Linguistics)，是国际计算语言学界影响力最大的学术组织，ACL 年度会议也是计算语言学领域的最重要的国际会议，是CCF推荐的计算语言学方面唯一的A类会议。
-
312019-07NLP组CCMT评测任务取得佳绩
一年一度的全国机器翻译大赛 (CCMT 2019) 于近日公布了比赛结果，来自我组的两支队伍分别获得了藏汉评测第一名，语音评测第二名的好成绩！藏汉评测由队长古舒豪率领队员郭登级和邵晨泽完成，语音评测由队长单勇率领队员薛海洋、王树根、谢婉莹和张良完成。冯洋老师为两支队伍提供了充分地指导。
在本次大赛中，参赛队伍包括中科院计算所、NICT、中科院自动化所、北大、北航、上交大、华为、OPPO等30多个国内外知名高校和企业。尤以CCMT每年的特色项目——中国的三大少数民族语种维吾尔语，藏语和蒙古语三个方向的翻译任务竞争最为激烈。我组参加了藏语方向的翻译任务，并且获得冠军。语音翻译同样激烈，我组获得亚军。此次比赛为受限数据集，即必须使用组委会提供训练数据，这也就意味着，参赛各个单位必须以技术进行实力的角逐。
下表列出本次CCMT大赛藏汉翻译前10名系统得分情况：
下表列出本次CCMT大赛语音翻译主要系统得分情况：