学术动态
-
212023-06计算所自然语言处理团队发表介绍百聆通用大模型论文并开放内测2023年6月21日，中国科学院计算技术研究所自然语言处理团队关于通用大语言模型的研究工作在arXiv上发表，该工作旨在借助交互式翻译任务可同时完成语言间对齐以及与人类意图对齐的特性，使得大语言模型在对齐人类意图的同时，完成生成能力从英语到其他语言的传递。研究团队基于该研究工作开发了“百聆（BayLing）”大语言模型，并开源了百聆代码以及7B和13B的模型权重，同时在中科南京信息高铁研究院的支撑下完成了“百聆”的线上部署，目前以邀请的方式开放内测，欢迎大家试用。 该研究工作简要介绍如下：- 论文题目：Bridging Cross-lingual Alignment and Instruction Following through Interactive Translation for Large Language Models- 作者列表：张绍磊，房庆凯，张倬诚，马铮睿，周䶮，黄浪林，卜梦煜，桂尚彤，陈云霁，陈熙霖，冯洋*大语言模型在语言理解和生成方面展现了出色的能力，这得益于基座大模型提供了强大的语言生成能力，同时指令微调增强了与人类偏好的对齐。然而，现有的大语言模型基本专注于英语（或者中文），在非英语语言上的表现较差。针对这一问题，在传统的研究范式下，研究者需要构建庞大的非英语语料库用于基座模型的训练来增强该语言的生成能力，同时需要构建该语言的指令集进行指令微调用于与人类意图对齐。考虑到收集语料资源和人工构建指令是昂贵且繁重的，研究团队探索了在指令微调阶段将英语与其他语言对齐的方法，提出了以交互式翻译为核心的指令微调训练方法，实现了大模型在学习遵循指令的同时，将语言生成和指令遵循的能力从英语传递到其他语言。研究团队通过设计的交互翻译指令自动构建方法，向模型提供涵盖中、英、德、法四门语言的交互式翻译指令和约束条件，要求模型在理解所有先前指令的基础上提供满足用户需求的生成内容。基于百聆-7B和百聆-13B的相关实验结果表明，借助于翻译任务的语义对齐特性，模型能够实现生成能力在不同语言之间的迁移，并在交互式的过程中学习与人类意图进行对齐。具体来说，在单轮翻译任务上，百聆达到了GPT-4 95%的性能，在交互式翻译上，百聆达到了GPT-3.5-turbo 96%的性能。研究团队还构建了双语多轮通用测试集BayLing-80并开源，在BayLing-80测试集上百聆达到了GPT-3.5-turbo 89%的性能。在高考任务和English SAT任务上，百聆在众多大模型中位列第2，仅次于GPT-3.5-turbo。内测入口: http://nlp.ict.ac.cn/bayling/demo项目首页: https://nlp.ict.ac.cn/bayling论文链接: https://arxiv.org/abs/2306.10968Github页面: https://github.com/ictnlp/BayLingHugging Face页面： 7B: https://huggingface.co/ICTNLP/bayling-7b-diff 13B: https://huggingface.co/ICTNLP/bayling-13b-diff 样例展示通过交互改善翻译结果，用户可通过按钮进行反馈：诗歌翻译：多轮通用任务：百聆仍在持续优化中，如果大家有任何建议，欢迎联系bayling@ict.ac.cn。感谢大家的支持！
-
032023-06NLP组5篇论文被ACL 2023录用2023年5月，课题组有5篇论文被ACL 2023录用，其中4篇论文被ACL主会录用， 1篇被Findings of ACL录用。2023年5月，课题组有5篇论文被ACL 2023录用，其中4篇论文被ACL主会录用，1篇被Findings of ACL录用。 ACL的全称是The Association for Computational Linguistics，是国际计算语言学界影响力最大的学术组织。ACL年度会议也是计算语言学领域的最重要的国际会议，是CCF推荐的计算语言学方面唯一的A类会议。ACL主会论文收录在Proceedings of ACL, Findings of ACL是从ACL 2021开始引入的在线附属出版物。ACL 2023将于2023年7月9日-7月14日在加拿大多伦多举行。 被录用论文简介如下： - Understanding and Bridging the Modality Gap for Speech Translation (Qingkai Fang, Yang Feng). - Accepted by ACL 2023 Main Conference.简介：语音翻译将输入语音直接翻译为另外一种语言的文字，有效减小了不同语言人群之间的沟通障碍。由于语音翻译语料稀缺，源语音到目标文本的映射学习难度较大，研究者们通常引入文本翻译任务来辅助语音翻译的训练。然而，由于语音与文本之间存在模态鸿沟，语音翻译的性能通常落后于文本翻译。在本文中，我们首先基于解码器的模态间表示差异来衡量模态鸿沟的显著程度，我们发现（1）机器翻译中的曝光偏差问题导致解码阶段模态鸿沟随时间步逐渐增大；（2）模态鸿沟存在长尾问题，即存在少数情况下模态鸿沟非常大。为了解决这两个问题，我们提出了基于计划采样的跨模态正则化方法（Cross-modal Regularization with Scheduled Sampling, CRESS），在训练时通过计划采样模拟解码的情形，并在此基础上引入跨模态正则项损失减小语音翻译与文本翻译的预测差异，从而使两个任务在解码阶段的预测更加一致。实验结果表明，该方法在语音翻译基准数据集MuST-C的所有8个语向上均取得了显著提升，达到了目前最先进的性能。 - Back Translation for Speech-to-text Translation Without Transcripts（Qingkai Fang, Yang Feng) . - Accepted by ACL 2023 Main Conference.简介：语音翻译通常面临数据稀缺的挑战，已有的方法大多在训练时利用额外的语音识别数据或机器翻译数据来增强语音翻译模型。然而，据统计，世界上存在约3000种语言没有对应的转写文本。对于从这些语言到其他语言的语音翻译任务，没有语音识别或机器翻译的数据可以利用。在本文中，我们旨在利用目标语言的大规模单语语料来增强源语言没有转写文本情况下的语音翻译。受到机器翻译中反向翻译（Back Translation）方法的启发，我们希望为语音翻译设计一种反向翻译方法，能够在不依赖源语言转写文本的情况下，从目标语言的单语语料合成语音翻译的伪平行语料。由于目标文本到源语音的生成是从短序列到长序列的生成，且二者之间存在一对多的映射，使该生成过程极具挑战性。为此，我们引入离散单元作为中间表示，首先通过一个序列到序列模型将目标文本翻译到源语音对应的离散单元序列，再通过一个声码器将其转化为对应的声波。在MuST-C数据集三个语向上的实验表明，该方法能够从目标语言单语数据合成高质量的伪数据，显著提升基线模型的性能。 - Learning Optimal Policy for Simultaneous Machine Translationvia Binary Search（Shoutao Guo, Shaolei Zhang, Yang Feng）.- Accepted by ACL 2023 Main Conference.简介：同步机器翻译(Simultaneous Machine Translation，SiMT)在输入整个源端句子之前便开始输出生成的翻译，因而需要一个精确的策略决定模型何时输出翻译。然而，现有的平行训练语料中缺少精准策略作为策略学习的显式监督信号，这往往导致缺少源端信息或是引入额外延时。在本文中，我们提出了基于二分搜索的SiMT方法(BS-SiMT)，它基于二分搜索在线构建最优翻译策略，同时据此训练翻译模型。随后，SiMT模型将以显式监督的方式学习最优策略，并在推理时依据学习到的策略输出翻译。多个翻译任务的实验表明我们的方法可以在所有延时下达到较好效果，策略更加准确。 - CMOT: Cross-modal Mixup via Optimal Transport for Speech Translation（Yan Zhou, Qingkai Fang, Yang Feng）.- Accepted by ACL 2023 Main Conference.简介：端到端语音翻译是将源语言的语音信号翻译成目标语言的文本的任务。端到端语音翻译作为一项跨模态任务，在数据有限的情况下很难进行训练。现有的方法通常试图从机器翻译任务中进行知识迁移，但它们的性能受语音和文本间模态鸿沟的限制。在本文中，我们提出了基于最优传输的跨模态混合（CMOT）方法，以克服模态鸿沟。我们通过最优传输找到语音和文本序列之间的对齐，然后使用该对齐在标识符级别上混合不同模态的序列。在 MuST-C 语音翻译数据集上的实验表明，CMOT 在8个翻译方向上达到了30.0的平均 BLEU 值，优于先前的方法。进一步的分析表明，CMOT 可以自适应地找到模态之间的对齐关系，这有助于缓解语音和文本之间的模态鸿沟。 - End-to-End Simultaneous Speech Translation with Differentiable Segmentation（Shaolei Zhang, Yang Feng）. - Accepted by Findings of ACL 2023.简介：端到端实时语音翻译（ST）在接收流式语音输入的同时输出翻译，因此需要对语音输入进行分割，然后根据当前接收到的语音进行翻译。在那些不利时刻进行分段会破坏声学完整性并进一步降低翻译模型的性能。因此，学习在那些有利于翻译模型产生高质量翻译的时刻对语音输入进行分割是ST的关键。现有的ST方法，无论是使用固定长度的分割还是外部分割模型，总是将分割与底层翻译模型分开，其中的鸿沟难以保证分割结果对翻译有利。在本文中，我们为ST提出了可微分割 (Differentiable Segmentation, DiSeg)。DiSeg通过期望训练直接从底层翻译模型中学习语音分割，并且能同时处理离线和实时场景下的语音翻译。实验表明，DiSeg取得了最先进的实时语音翻译性能，在滞后2s的延时下达到了离线翻译性能。
-
062023-03癸卯贺岁 新年新喜：NLP课题组2篇论文被ICLR 2023接收癸卯贺岁新年新喜：2023年1月，课题组2篇论文被ICLR 2023接收。2023年1月，课题组2篇论文被ICLR 2023接收。ICLR 2023的全称是the 11th International Conference on Learning Representations, 由位列深度学习三大巨头的 Yoshua Bengio 和 Yann LeCun 牵头创办, 2013 年开始每年举办一次，是深度学习领域的顶级会议之一。在 Google Scholar 的学术会议 / 期刊排名中，ICLR 目前排名第 9 位。ICLR 2023将于2023年5月1日-5月5日在卢旺达首都基加利举办。 被录用论文的简要介绍如下：1. 论文题目：Hidden Markov Transformer for Simultaneous Machine Translation论文作者： 张绍磊，冯洋论文概述: 同步机器翻译（Simultaneous Machine Translation，SiMT）在接收源序列的同时输出目标序列，因此学习何时开始翻译每个目标词是同步机器翻译的核心挑战。然而，在许多可能的开始翻译时刻中学习最佳时刻并非易事，因为开始翻译的时刻总是隐藏在模型内部，我们只能用观察到的目标序列来监督SiMT模型。在本文中，我们提出了隐马尔可夫Transformer (Hidden Markov Transformer, HMT)，它将开始翻译的时刻视为隐藏事件，将目标序列视为相应的观察事件，从而将两者组织为隐马尔可夫模型。 HMT对多个可能的开始翻译时刻进行显式建模，用作候选隐藏事件，然后选择一个生成目标词。在训练期间，通过在多个开始翻译时刻上最大化目标序列的边际似然，HMT学会在可以更准确地生成目标标记的时刻开始翻译。多个SiMT 基准上的的实验表明，HMT优于强大的基线并实现了最先进的性能。2. 论文题目：Fuzzy Alignments in Directed Acyclic Graph for Non-autoregressive Machine Translation论文作者：马铮睿, 邵晨泽, 桂尚彤, 张民，冯洋论文概述：非自回归机器翻译（Non-autoregressive Translation, NAT）显著降低了用户等待译文的延迟，但因为语言映射的多峰分布特性，往往性能较差。为此，一些研究者尝试将有向无环图（Directed Acyclic Graph, DAG）结构引入NAT系统，试图通过DAG建模输出字词之间的依赖来缓解多峰分布问题。这种系统一般通过极大似然估计的方式进行模型参数学习，以负对数似然（Negative Log Likelihood, NLL）作为损失函数。尽管上述方法取得了一定的成功，我们发现NLL隐式地要求了目标译文字词与DAG节点之间存在严格对齐关系，弱化了DAG学习多峰分布的能力。在本文中，我们考虑DAG中所有可能的路径与参考译文之间均存在某种模糊对齐关系。我们设计了一个模糊对齐指标以衡量图与译文的匹配程度，并以最大化该指标的方式进行参数学习。大量实验表明我们的方法显著地改善了NAT系统的翻译质量，在多个基于原始语料的NAT翻译任务上达到了最先进的性能。
-
172022-12NLP组在EMNLP 2022会议上顺利举办讲习班2022年12月，实验室题为《Non-Autoregressive Models for Fast Sequence Generation》的tutorial讲习班在EMNLP 2022会议上顺利举办。并展望了非自回归生成未来的发展方向。2022年12月，实验室题为《Non-Autoregressive Models for Fast Sequence Generation》的tutorial讲习班在EMNLP 2022会议上顺利举办。本次讲习班时长3小时，由冯洋研究员和邵晨泽同学讲述非自回归序列生成模型的最新研究进展。非自回归序列生成模型是指并行解码生成整个序列的模型，它可以显著地加快序列生成的速度，已经在机器翻译、语音识别、语音合成等领域引起了广泛的关注。本次讲习班全面阐述了非自回归模型在序列生成中面临的多峰性挑战和目前的主流解决方案，例如知识蒸馏、增强表达能力、建模隐变量、改进训练目标、改进解码策略等，对非自回归模型在多种序列生成任务上的进展和它应用在不同任务时的共性和差异做了详细介绍，并展望了非自回归生成未来的发展方向。
-
162022-12NLP组8篇论文被EMNLP 2022接收2022年10月，课题组有8篇论文被EMNLP 2022录用，其中4篇主会论文， 4篇Findings论文。2022年10月，课题组有8篇论文被EMNLP 2022录用，其中4篇主会论文，4篇Findings论文。EMNLP的全称是Conference on Empirical Methods in Natural Language Processing，由国际计算语言学会ACL旗下SIGDAT组织，每年举办一次，为自然语言处理领域最具影响力的国际会议之一。 被录用论文简介如下： - Counterfactual Data Augmentation via Perspective Transition for Open-Domain Dialogues (Jiao Ou, Jinchao Zhang, Yang Feng, Jie Zhou).- Accepted by Main Conference.简介：构建开放领域的对话系统需要高质量的对话数据集，人类对话在给定的对话历史下可以有不同的回复，这些回复甚至是语义迥异的，因此，对话数据中只有包含针对同一对话历史的多样性回复才更符合人类对话的特点，然而收集这样的高质量对话数据是耗时耗力的。为了避免人工收集语料，我们提出了一种数据增强方法，通过反事实推理生成模型自动生成具有不同语义的高质量回复。具体来说，给定一个对话回复，反事实推理生成模型首先根据对话历史确定可行的回复角度，然后基于选择的角度来生成具体的回复。选择多个不同的回复角度，就可以得到许多语义迥异的回复。于是对话历史和生成的回复便构成了新的对话。实验结果表明，我们的数据增强方法可以为给定的对话历史增强具有不同语义的高质量回复，并且可以在多个下游任务上超过基线方法。- Continual Learning of Neural Machine Translation within Low Forgetting Risk Regions (Shuhao Gu, Bojie Hu, Yang Feng).- Accepted by Main Conference.简介：本文在无需访问以前的训练数据或引入模型分离的情况下进行大规模预训练神经机器翻译模型的连续学习。我们认为，广泛使用的基于正则化的方法在执行多目标学习时会产生辅助损失，因此会出现错误估计问题，并且不能始终在以前的任务和新任务之间取得良好的平衡。为了解决这个问题，我们提出了一种基于真实误差局部特征的两阶段训练方法。为了避免灾难性遗忘问题，我们首先搜索遗忘风险较低的区域，在该区域中，随着参数的更新，模型可以保持先前任务的性能。然后，我们可以仅使用新的训练数据在该区域内持续训练模型，以适应新任务。具体来说，我们提出了两种搜索低遗忘风险区域的方法，分别基于损失曲率和参数对模型输出的影响。我们对领域适应和更具挑战性的语言适应任务进行了实验，实验结果表明，与几个强基线系统相比，我们的方法可以取得显著的改进。- Information-Transport-based Policy for Simultaneous Translation (Shaolei Zhang, Yang Feng).- Accepted by Main Conference.简介：同声传译 (ST) 在接收源输入的同时输出翻译，因此需要一个同传策略来确定是翻译目标词还是等待下一个源词。同声传译的主要挑战是每个目标词只能基于当前接收到的源词进行翻译，接收到的源信息将直接影响翻译质量。自然地，当前目标词的翻译接收到多少源信息应该是同传策略决定是翻译还是等待的关键证据。在本文中，我们将翻译过程视为从源到目标的信息运输，因此提出了基于信息运输（information transport）的同声传译策略（ITST）。 ITST对每个源词到当前目标词运输的信息权重进行量化，然后根据目标词累积接收到的源信息决定是否开始翻译。多个同声传译基准上的实验表明，ITST 在所有延迟下都优于强基线并实现了最先进的性能。- Low-resource Neural Machine Translation with Cross-modal Alignment (Zhe Yang, Qingkai Fang, Yang Feng).- Accepted by Main Conference.简介：在低资源机器翻译任务中，现有的技术通常依赖于大规模的单语语料库，这对于一些低资源语言来说是不可行的。在本文中，我们通过引入视觉模态信息将几种低资源语言连接到一种特定的高资源语言上。具体来说，我们提出了一种跨模态对比学习方法来学习所有语言的公共空间。其中，我们进一步提出了粗糙的句子级对比学习方法和细粒度的词级别对比学习方法。实验结果和进一步的分析表明，我们的方法可以有效地学习跨模态和跨语言对齐，并且在zero-shot和few-shot场景下均取得了显著提升。 - Improving Zero-Shot Multilingual Translation with Universal Representations and Cross-Mappings (Shuhao Gu, Yang Feng).- Accepted by Findings of EMNLP.简介：在这个工作中，我们通过建模语言共享语义空间和统一映射关系来提升多语言翻译模型的零射翻译效果。基于最优运输理论，我们提出状态转移距离来减小不同语言语义空间的差距;基于一致性预测，我们帮助不同语言学习统一映射关系。实验表明该方法能大幅提高多语言零射翻译性能。- Viterbi Decoding of Directed Acyclic Transformer for Non-Autoregressive Machine Translation (Chenze Shao, Zhengrui Ma, Yang Feng).- Accepted by Findings of EMNLP.简介：非自回归机器翻译模型能进行并行解码，但也因此缺乏对序列依赖关系的建模能力。基于有向无环图的非自回归模型能在图中建模序列依赖，这使它无需知识蒸馏就能达到与自回归模型相似的性能，但也导致它需要在解码时进行顺序决策，无法保证生成全局最优的译文。对此，我们为有向无环图模型建立了基于维特比算法的解码框架，能够在任意译文长度限制下找出使翻译路径与译文概率最大的联合最优解，并且模型能通过长度惩罚项灵活控制译文长度。实验结果表明，我们的方法能稳定地提升模型的翻译性能，并且几乎不会对解码速度造成影响。- Wait-info Policy: Balancing Source and Target at Information Level for Simultaneous Machine Translation (Shaolei Zhang, Shoutao Guo, Yang Feng).- Accepted by Findings of EMNLP.简介：同步机器翻译（SiMT）在接收源输入的同时输出翻译，因此需要平衡接收到的源信息和翻译的目标信息，以在等待输入或输出翻译之间做出合理的决定。以前的方法总是在令牌级别平衡源和目标信息，要么直接等待固定数量的令牌，要么根据当前令牌调整等待。本文中，我们提出了一个wait-info policy来在信息级别平衡源和目标。我们首先量化每个令牌中包含的信息量，命名为 info。然后在同步机器翻译过程中，根据先前目标输出的总信息与接收到的源输入之间的比较结果做出等待或输出的决定。实验表明，我们的方法在所有延迟下都优于强基线，并通过提出的info在源和目标之间实现了更好的平衡。 - Turning Fixed to Adaptive: Integrating Post-Evaluation into Simultaneous Machine Translation (Shoutao Guo, Shaolei Zhang, Yang Feng).- Accepted by Findings of EMNLP.简介：同声传译在读入整个源端句子前便开始翻译，采用固定策略或是自适应策略来获取更优的延时和翻译质量间的权衡。之前的方法过度依赖于读写操作的决策模块，决定写操作后立即写出当前生成的单词，但这将不可避免地导致错误动作的发生。本文将合理性评估引入读写策略，其在执行动作前利用源端信息的改变来评估读写动作的合理性，据此再执行相应的动作，从而减少了不合理的操作，获得了更优的关于翻译质量和延时之间的权衡。