学术动态---- 中科院计算技术研究所--自然语言处理研究组网站

2024年5月17日，中国科学院计算技术研究所自然语言处理团队发布翻译大模型“百聆·翻译”并开放试用。 2024年5月17日，中国科学院计算技术研究所自然语言处理团队发布翻译大模型“百聆·翻译”并开放试用。“百聆·翻译”在升级版百聆（即百聆2）的基础上添加了语音处理模块和实时翻译决策模块，实现了涵盖了语音和文本的多模态翻译，并可以同时支持交互式文本翻译、语音翻译和同声传译。团队在中科南京信息高铁研究院的支撑下线上部署了可支持中英互译的7B规模的“百聆·翻译”，欢迎大家试用。更大规模的版本后续将会发布，敬请期待。 “百聆·翻译”试用入口：https://nlp.ict.ac.cn/bayling/translate/ “百聆2”试用入口：https://nlp.ict.ac.cn/bayling/demo/ “百聆·翻译”功能介绍及样例展示：交互式文本翻译，输入输出均为文本，用户还可根据自己的需求修改翻译结果。具体操作方式为：输入文本后，如“举头望明月，低头思故乡”，点击“翻译”按钮即进行翻译，如对翻译不满意，可在对话框中输入修改要求，如“用英文诗歌的方式再翻译一次”，然后点击“润色”按钮，即按照修改要求生成新的译文。语音翻译，输入为语音，同时输出文本和语音模态的译文。同声传译，流式地进行翻译，在输入语音流的过程中即刻输出文本和语音模态的译文。

03

2024-05

NLP课题组9篇论文被ACL 2024接收

2024年5月，自然语言处理组9篇论文被ACL 2024会议接收 2024年5月，自然语言处理组9篇论文被ACL 2024会议接收，其中5篇论文被ACL主会录用，4篇被Findings of ACL录用。 ACL的全称是The Association for Computational Linguistics，是国际计算语言学界影响力最大的学术组织。ACL年度会议也是计算语言学领域的最重要的国际会议，是CCF推荐的计算语言学方面唯一的A类会议。Findings of ACL是从ACL 2021开始引入的在线附属出版物。被录用论文的简要介绍如下： A Non-autoregressive Generation Framework for Simultaneous Speech-to-x Translation (Zhengrui Ma, Qingkai Fang, Shaolei Zhang, Shoutao Guo, Yang Feng, Min Zhang)Accepted by ACL 2024 Main Conference简介：同声传译模型在促进语音交流中发挥着至关重要的作用。然而，现有研究主要集中在文本到文本或语音到文本模型上，需要额外的级联组件来实现语音到语音的同声传译。这些流水线方法容易出现错误传播，并且在每个级联组件中积累延迟，导致演讲者和听众之间的同步性降低。为了克服这些挑战，我们提出了一种用于语音同声传译的非自回归生成框架（NAST-S2x），将语音到文本和语音到语音任务集成到统一的端到端框架中。受到片段到片段生成概念的启发，我们开发了一个非自回归解码器，能够在接收到每个语音片段后同时生成多个文本或声学单元标记。该解码器可以生成空白或重复的标记，并采用CTC解码来动态调整其延迟。实验结果表明，NAST-S2x在语音到文本和语音到语音同声传译任务的基准测试上达到了最先进的性能。 Can We Achieve High-quality Direct Speech-to-Speech Translation Without Parallel Speech Data? (Qingkai Fang, Shaolei Zhang, Zhengrui Ma, Min Zhang, Yang Feng)Accepted by ACL 2024 Main Conference简介：语音到语音翻译（Speech-to-Speech Translation，S2ST）是指将源语言的语音翻译到目标语言的语音，是一项极具挑战性的任务。最近提出的Two-pass S2ST模型（如UnitY、Translatotron 2、DASpeech等）在端到端框架内将S2ST任务分解为语音到文本翻译（S2TT）和文本到语音（TTS），其效果能够超越传统的级联模型。然而，模型训练仍然依赖于平行语音数据，这种数据非常难以收集。同时，由于S2TT和TTS模型的词表粒度通常不一致，模型未能充分利用现有的数据和预训练模型。为了解决这些挑战，本文首先提出了一种组合式S2ST模型ComSpeech，该模型可以通过基于CTC的词表适配器，无缝集成任何S2TT和TTS模型到一个S2ST模型中。此外，本文提出了一种仅使用S2TT和TTS数据的训练方法，通过在表示空间中利用对比学习进行表示对齐，实现零样本端到端S2ST，从而消除了对平行语音数据的需求。实验结果表明，在CVSS数据集上，当使用平行语音数据训练时，ComSpeech在翻译质量和解码速度上均优于之前的Two-pass模型。当没有平行语音数据时，基于零样本学习的ComSpeech-ZS仅比ComSpeech低0.7 ASR-BLEU，并且优于级联模型。 StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning (Shaolei Zhang, Qingkai Fang, Shoutao Guo, Zhengrui Ma, Min Zhang, Yang Feng)Accepted by ACL 2024 Main Conference简介：实时语音到语音翻译 (Simul-S2ST) 在接收流式语音输入的同时输出目标语音，这对于实时交流至关重要。除了完成语音之间的翻译之外，实时语音到语音翻译还需要一个策略来控制模型在语音输入中适时生成相应的目标语音，从而提出了翻译和策略的双重挑战。在本文中，我们提出了 StreamSpeech，一种端到端 Simul-S2ST 模型，其可以在多任务学习的统一框架中联合学习翻译和实时策略。借助语音识别、语音到文本翻译和语音合成的多任务学习，StreamSpeech 能识别开始翻译的合适时机，并随后生成相对应的目标语言语音。实验结果表明 StreamSpeech 在离线S2ST和 Simul-S2ST 任务中均实现了最先进的性能。由于多任务学习，StreamSpeech 能够在实时翻译过程中呈现中间结果（例如 ASR 和翻译文本），从而提供更全面的翻译体验。 TruthX: Alleviating Hallucinations by Editing Large Language Models in Truthful Space (Shaolei Zhang, Tian Yu, Yang Feng)Accepted by ACL 2024 Main Conference简介：大语言模型 (LLM) 在各种任务中表现出了卓越的能力。然而，LLMs有时会产生幻觉（hallucinations），特别是在尽管拥有正确的知识的情况下仍可能产生不真实的回复。在本文中，我们提出了TruthX，一种推理时间方法，其通过在真实性空间中编辑LLM的内部表示来激活LLMs的真实性。TruthX采用自编码器将LLM的内部表示分别映射到语义（semantic）和真实性（truthful）的潜在空间，并应用对比学习来识别真实性空间内的真实性编辑向量。在推理中，通过在真实性空间编辑LLM的内部表示，TruthX有效地增强了LLM的真实性。实验表明，TruthX在TruthfulQA基准测试中将13个先进LLM的真实性/事实性平均提高了20%。进一步的分析表明，TruthX所捕获的真实空间在控制LLM生成真实或幻觉响应方面起到了关键作用。TruthX可以通过仅编辑真实空间中的一个向量来控制LLM生成真实或幻觉的响应，其中正向编辑可以激发LLM产生真实回复；而负向编辑完全破坏LLM真实性，生成充满幻觉的回复。Decoder-only Streaming Transformer for Simultaneous Translation (Shoutao Guo, Shaolei Zhang, Yang Feng)Accepted by ACL 2024 Main Conference简介：同声传译在读取源端句子的同时生成译文，其根据源端前缀生成目标端前缀。它利用源端前缀和目标前缀之间的关系，制定读取或生成单词的策略。现有同传方法主要采用Encoder-Decoder架构，我们则探索了Decoder-Only架构在同传中的潜力，因为Decoder-Only架构在其他任务中表现优异，并且与同传有内在的兼容性。然而，直接将Decoder-Only架构应用于同传在训练和推理方面均存在挑战。为此，我们提出了首个Decoder-Only同传模型，名为Decoder-only Streaming Transformer（DST）。具体地，DST分别编码源语言和目标语言前缀的位置信息，确保目标语言前缀的位置不受源语言前缀扩展的影响。此外，我们提出了一种针对Decoder-Only架构的流式自注意力机制（Streaming Self-Attention，SSA）。它能够通过评估输入的源端信息的充分性来获取翻译策略，并结合软注意力机制生成翻译。实验表明，我们的方法在三项翻译任务中达到了最新的性能水平。 CTC-based Non-autoregressive Textless Speech-to-Speech Translation （Qingkai Fang, Zhengrui Ma, Yan Zhou, Min Zhang, Yang Feng）Accepted by Findings of ACL简介：直接语音到语音翻译（Direct Speech-to-Speech Translation）在翻译质量方面取得了显著成效，但由于语音序列长度较长，常面临解码速度缓慢的挑战。最近，一些研究转向非自回归（NAR）模型以加快解码速度，但其翻译质量通常明显落后于自回归（AR）模型。本文研究了基于连接时序分类（CTC）的NAR模型在语音到语音翻译任务中的表现。实验结果表明，通过结合预训练、知识蒸馏和先进的NAR训练技术（如Glancing训练和非单调对齐），基于CTC的NAR模型在翻译质量上可与AR模型相媲美，同时实现了高达26.81倍的解码速度提升。 Truth-Aware Context Selection: Mitigating the Hallucinations of Large Language Models Being Misled by Untruthful Contexts. (Tian Yu, Shaolei Zhang, Yang Feng) Accepted by Findings of ACL简介：尽管大语言模型（LLM）已经展示了令人赞叹的文本生成能力，但它们很容易被用户或知识增强工具提供的不真实上下文误导，从而产生幻觉。为了避免LLM被不真实的信息误导，同时利用知识增强的优势，我们提出了一种轻量级的方法——真实感知上下文选择（TACS），来对输入中不真实的上下文进行遮蔽。TACS首先利用LLM中的参数化知识对输入上下文进行真实性检测。随后，TACS基于每个位置的真实性构建相应的注意力掩码，保留真实的上下文并丢弃不真实的上下文。此外，我们引入了一种新的评估指标——干扰适应率，以进一步研究LLM接受真实信息和抵抗不真实信息的能力。实验结果表明，当提供误导性的信息时，TACS可以有效地对下文中的信息进行过滤，并显著提高LLM回复的整体质量。 Improving Multilingual Neural Machine Translation by Utilizing Semantic and Linguistic Features. (Mengyu Bu, Shuhao Gu, Yang Feng)Accepted by Findings of ACL简介：多语言神经机器翻译可以看作是将源句的语义特征与目标句的语言特征相结合的过程。基于此，我们提出利用多语言的语义和语言特征来增强多语言翻译模型的零射翻译能力。在编码器端，我们引入了一种解耦学习任务，该任务通过解耦语义和语言特征来对齐编码器表示，从而实现无损的知识迁移。在解码器端，我们利用语言编码器来集成低层语言特征，以辅助生成目标语言。实验结果表明，与基线系统相比，我们的方法能够显著提升零射翻译，同时保持有监督翻译的性能。Integrating Multi-scale Contextualized Information for Byte-based Neural Machine Translation. (Langlin Huang, Yang Feng)Accepted by Findings of ACL简介：基于字节编码的机器翻译模型缓解了多语言翻译模型词表稀疏和词频不平衡的问题，但是存在着字节序列信息密度低的弊端。有效的解决方法是采用局部语境化（local contextualization），但现有的工作无法根据输入选择合适的局部作用范围。本文提出了一种多粒度注意力（Multi-Scale Attention）方法，对不同的隐状态维度施加不同作用范围的局部语境化，再通过注意力机制动态融合多粒度的语义信息，实现了对多粒度信息的动态整合。实验证明我们的方法在多语言场景下超过现有工作，在低资源场景下远超基于subword的翻译模型。

20

2023-12

NLP课题组1篇论文被AAAI 2024接收

2023年12月，自然语言处理团队1篇论文被AAAI 2024接收。2023年12月，自然语言处理团队1篇论文被AAAI 2024接收。AAAI 2024的全称是Thirty-Eighth AAAI Conference on Artificial Intelligence，由人工智能促进协会AAAI组织，每年举办一次，为人工智能领域的顶级会议之一。AAAI 2024将于2024年2月20日-2月27日在加拿大温哥华举行。被录用论文的简要介绍如下： - TA&AT: Enhancing Task-Oriented Dialog with Turn-Level Auxiliary Tasks and Action-Tree Based Scheduled Sampling (Longxiang Liu, Xiuxing Li, Yang Feng)- AAAI Main Conference, long paper简介：得益于对话预训练的发展，任务型对话系统性能取得了很大提升。然而，仍然存在两个重大挑战：第一，大部分的系统只是简单使用最近一轮的状态标注来训练生成模型，忽略了它们对于提升模型理解能力的价值；第二，对生成对话策略的过度依赖会造成错误累积问题，从而在不合理策略的条件下生成不合适的回复。为了缓解以上问题，我们分别在编码器和解码器端提出改进：在编码器端，我们提出轮级别的多任务目标，通过标注中高层次关键信息的指导，学习到对于理解和生成更好的表示；在解码器端，我们提出基于动作树的计划采样技术。受到SPACE (He等, 2022)的启发，我们将层次化的对话策略建模成树，并且基于树的相似度来计划采样负策略，鼓励模型在扰动策略下仍然生成正确的回复。通过模拟测试时可能出现的微小错误，来减小训练与测试时的差距。在同等条件下，我们的方法在MultiWOZ系列数据集上的性能超过了其他方法，并且相比于进行了持续预训练的工作，也具有可比性。

24

2023-10

NLP组6篇论文被EMNLP 2023录用

2023年10月，自然语言处理团队有6篇论文被EMNLP 2023录用，其中2篇主会论文， 4篇Findings论文。2023年10月，自然语言处理团队有6篇论文被EMNLP 2023录用，其中2篇主会论文，4篇Findings论文。EMNLP的全称是Conference on Empirical Methods in Natural Language Processing，由国际计算语言学会ACL旗下SIGDAT组织，每年举办一次，为自然语言处理领域最具影响力的国际会议之一。EMNLP 2023将于2023年12月6日-12月10日在新加坡举行。被录用论文简介如下：- Non-autoregressive Streaming Transformer for Simultaneous Translation (Zhengrui Ma, Shaolei Zhang, Shoutao Guo, Chenze Shao, Min Zhang, Yang Feng).- Accepted by Main Conference.简介：同步机器翻译（SiMT）模型需要在等待延迟和翻译质量之间寻找合适的平衡。然而，如果在训练阶段要求模型以较低的延迟预测参考译文，往往会导致在测试阶段模型具有激进的预测倾向。我们将这个问题归因于大多数现有SiMT模型所基于的自回归架构。基于此，我们提出了非自回归流式Transformer（Non-Autoregressive Streaming Transformer, NAST）。NAST由一个单向编码器和一个具有块内并行性的非自回归解码器构成。NAST通过生成空白标记或重复标记以灵活调整其读写策略，并以基于对齐的延迟损失和基于n元组匹配的非单调对齐损失进行训练。在各种SiMT基准测试上的实验表明，NAST优于已有的强自回归SiMT基线模型。- Bridging the Gap between Synthetic and Authentic Images for Multimodal Machine Translation (Wenyu Guo, Qingkai Fang, Dong Yu, Yang Feng).- Accepted by Main Conference.简介：多模态机器翻译（MMT）同时将源语句和相关图像作为翻译的输入。然而，在大多数情况下，源语句配对的图像很难获取，因此最近的研究提出了利用强大的文本到图像生成模型提供图像输入的建议。然而，这些模型生成的图像往往与真实图像的分布存在差异。因此，在训练过程中使用真实图像，而在解码过程中使用生成的图像可能会引入分布差异，从而降低解码性能。为了解决这个问题，在本文中，我们将生成图像和真实图像分别输入到MMT模型中。随后，我们通过缩小Transformer编码器的输入图像表示与Transformer解码器的输出分布之间的差距来最小化生成图像与真实图像之间的差异。因此，我们减轻了在解码过程中使用生成图像引入的分布差异，使解码不再依赖于真实图像。实验结果表明，我们的方法在Multi30K En-De和En-Fr数据集上实现了最先进的性能，同时在解码过程中无需使用真实图像。- Scaling Law for Document-Level Neural Machine Translation (Zhang Zhuocheng, Shuhao Gu, Min zhang, Yang Feng).- Accepted by Findings of EMNLP.简介：缩放定律在推动大模型的发展中发挥了重要作用。为了促进文档翻译的发展，我们系统地研究了该领域的缩放规律。本文深入分析了模型规模、数据规模和序列长度这三个因素对翻译质量的影响。我们的研究结果表明，当模型规模有限时，增加序列长度能有效提高模型性能。但是，序列长度不能无限延长，它必须与模型规模和语料库容量相适应。进一步的研究表明，提供足够的上下文可以有效提高文档靠前部分的翻译质量。然而，曝光偏差仍然是阻碍进一步提高文档后半部分翻译质量的主要因素。- Addressing the Length Bias Challenge in Document-Level Neural Machine Translation (Zhang Zhuocheng, Shuhao Gu, Min zhang, Yang Feng).- Accepted by Findings of EMNLP.简介：文档级神经机器翻译（DNMT）通过增加源端文本和目标端文本的最大长度来纳入上下文信息，从而进一步提高翻译质量。然而，这种方法也引入了长度偏差问题，即当解码的文本比训练时的最大文本长度短得多或长得多时，模型的翻译质量会明显下降，这就是长度偏差问题。为了防止模型在篇章级训练中忽视较短的文本，我们对长度进行采样（Dynamic Length Sampling, DLS），并以此切分训练数据，以确保不同文本长度的分布更加均匀。为了保证训练的稳定性，我们在训练过程中逐步增加采样的最大文本长度。此外，我们还引入了长度归一化的注意力机制（Length Aware Attention, LAA），以帮助模型关注目标信息，从而缓解处理长句时注意力分散的问题。此外，在解码阶段，我们提出了一种滑动解码策略（Slide Decoding, SD），限制目标端文本长度不超过训练过程中的最大长度。实验结果表明，我们的方法可以在多个开放数据集上取得最好的结果，进一步的分析表明，我们的方法可以显著缓解长度偏差问题。 - Enhancing Neural Machine Translation with Semantic Units (Langlin Huang, Shuhao Gu, Zhuocheng Zhang, Yang Feng*).- Accepted by Findings of EMNLP.简介：传统的神经机器翻译通常把子词（subword）和词（word）作为模型输入和理解的基本单元。但实际上，能够表达一个完整语义的基本单元往往是完整的词语或者由多个词语组成的短语，在本文中我们把它们统称为语义单元（semantic unit）。为了解决该（尺度不一致）问题，我们提出一种方法，先恢复句子中所有语义单元的完整语义，然后利用它们提供一种理解源端句子的全新视角。具体地，我们先提出了一种抽取短语的方法WPE来识别语义单元的边界位置。接下来，我们设计了一个基于注意力的语义融合层（ASF），把多个词语向量融合成单一向量，即语义单元表示。最后，我们把语义级别的句子表示和token级别的句子表示拼接起来作为编码器的输入。实验结果证明我们提出的方法有效地建模和利用了语义级别的信息，并超过了强基线模型。- Simultaneous Machine Translation with Tailored Reference (Shoutao Guo, Shaolei Zhang, Yang Feng).- Accepted by Findings of EMNLP.简介：同声传译（SiMT）是在读入整个源句的同时生成翻译的技术。然而，现有的SiMT模型通常使用相同的reference进行训练不同延时下的模型，忽视了不同延迟下可用的源端信息差异。这将导致，在低延迟下使用ground-truth训练模型会引入强制性的预测，而在高延迟下使用与源词顺序一致的reference会导致性能下降。因此，在训练SiMT模型时使用避免强制性预测但又能保持高质量的reference至关重要。在本文中，我们提出了一种新的方法，通过改写ground-truth来为在不同延迟下训练的SiMT模型提供定制的reference。具体而言，我们引入了利用强化学习训练的定制器，用于修改ground-truth成为定制的reference。SiMT模型使用定制的reference进行训练，并与定制器一起进行联合优化，以增强性能。重要的是，我们的方法适用于当前各种SiMT方法。三个翻译任务上的实验证明，我们的方法在固定和自适应策略下均取得了最先进的性能。

30

2023-09

NLP组4篇论文被NeurIPS 2023录用

2023年9月，课题组有4篇论文被NeurIPS 2023录用。2023年9月，课题组有4篇论文被NeurIPS 2023录用。NeurIPS 2023的全称是Thirty-seventh Conference on Neural Information Processing Systems，是人工智能领域的顶级会议之一。在 Google Scholar 的学术会议 / 期刊排名中，NeurIPS目前排名第 10 位。NeurIPS 2023将于2023年12月10日-12月16日在美国新奥尔良举行。被录用论文简介如下： - Unified Segment-to-Segment Framework for Simultaneous Sequence Generation (Shaolei Zhang, Yang Feng).- Accepted by NeurIPS 2023.简介：实时（流式）序列生成是实时场景的关键任务，其要求模型在接收源序列的同时生成目标序列。实现低延迟下高质量生成的关键在于确定生成的最佳时刻，这往往通过学习源序列和目标序列之间的映射来完成的。现有方法通常依赖于针对不同序列类型的启发式方法，限制了模型自适应学习源-目标映射的能力，并阻碍了对各种实时任务中多任务学习的探索。在本文中，我们提出了一种用于实时序列生成的统一片段到片段框架（Segment-to-Segment Framework，简称Seg2Seg）。在实时生成的过程中，模型在等待源段和生成目标段之间交替，这使片段成为源和目标之间的天然桥梁。因此，Seg2Seg 引入了一个潜在片段作为源到目标之间的枢轴，并通过期望训练探索所有潜在的源-目标映射，从而学习最佳的生成时刻。对多个实时生成任务（包括流式语音识别、实时机器翻译和实时语音翻译）的实验表明，Seg2Seg 实现了最先进的性能，并在各种实时生成任务中表现出更好的通用性。 - DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation（Qingkai Fang, Yan Zhou, Yang Feng).- Accepted by NeurIPS 2023.简介：语音到语音翻译（Speech-to-Speech Translation, S2ST）是指将源语言的语音信号翻译成目标语言的语音信号，能够打破不同语言人群之间的交流阻碍，近年来吸引了众多研究者们的关注。然而，由于翻译过程中存在的语言多样性，以及语音信号本身存在的声学多样性，目标语音数据服从复杂的多峰分布，为模型学习带来了较大的挑战。因此，现有的S2ST模型通常存在解码速度慢或翻译质量差的问题。为此，该工作提出了基于有向无环图的语音到语音翻译模型DASpeech。DASpeech采用了两步解码的模型结构，在模型结构上结合了DA-Transformer和FastSpeech 2，首先通过有向无环图建模多种可能的译文，然后基于译文对应路径的隐状态合成目标语音。为了在训练时同时考虑多条可能的路径，我们提出了期望路径训练算法，通过动态规划高效计算每个目标单词对应的期望隐状态，实现高效的端到端模型训练。在CVSS数据集上的实验结果显示，DASpeech在翻译质量和解码速度的权衡上大幅超越现有模型。与已有的自回归模型相比，在翻译质量持平的情况下，解码速度达到最高18倍以上的加速比。与已有的非自回归模型相比，翻译质量和解码速度都有明显提升，且不再依赖于知识蒸馏和迭代解码。此外，DASpeech还展现出了在翻译过程中保留说话人音色的能力。 - Beyond MLE: Convex Loss for Text Generation（Chenze Shao*, Zhengrui Ma*, Min Zhang, Yang Feng (*: 共同一作)).- Accepted by NeurIPS 2023.简介：极大似然估计（Maximum likelihood estimation）是一种用于估计所观察数据概率分布参数的统计方法。在文本生成任务中，通常使用极大似然估计方法训练语言模型，并使用完成训练的模型生成新的文本。然而，对于机器翻译这类封闭（closed-ended）文本生成任务，极大似然估计并不总是必要且最优的。在这些任务中，模型的目标是生成最合适的回复，并不需要使用极大似然来估计整个数据分布。为此，我们提出了一类基于凸函数的新型训练目标函数，它使文本生成模型能够专注于生成高概率的样本，而无需估计整个数据分布。我们研究了将凸函数应用于损失函数时模型最优预测分布的理论特性，证明了凸函数可以使最优分布更加尖锐，从而使模型更好地捕获高概率的样本。在各种文本生成任务和模型上的实验证明了我们方法的有效性。具体而言，它弥合了自回归模型在贪婪搜索和束搜索两种解码模式下的差异，并大幅提高了非自回归模型的生成能力。 - Non-autoregressive Machine Translation with Probabilistic Context-free Grammar（Shangtong Gui, Chenze Shao, Zhengrui Ma, Xishan Zhang, Yunji Chen, Yang Feng）.- Accepted by NeurIPS 2023.简介：非自回归机器翻译（NAT）显著加速了神经机器翻译的推理速度。然而，由于目标标记之间的条件独立假设，传统的NAT模型在表达能力和性能方面相较于自回归（AT）模型存在局限性和性能下降。为了解决这些问题，我们提出了一种名为PCFG-NAT的新方法，该方法利用特殊设计的概率上下文无关文法（PCFG）来增强NAT模型捕获输出标记之间复杂依赖关系的能力。在主要机器翻译基准测试上的实验结果表明，PCFG-NAT进一步缩小了NAT和AT模型之间的翻译质量差距。此外，PCFG-NAT有助于更深入地理解生成的句子，提升了神经机器翻译可解释性。