计算所自然语言处理团队发表介绍百聆通用大模型论文并开放内测

发布时间：2023-06-21

2023年6月21日，中国科学院计算技术研究所自然语言处理团队关于通用大语言模型的研究工作在arXiv上发表，该工作旨在借助交互式翻译任务可同时完成语言间对齐以及与人类意图对齐的特性，使得大语言模型在对齐人类意图的同时，完成生成能力从英语到其他语言的传递。研究团队基于该研究工作开发了“百聆（BayLing）”大语言模型，并开源了百聆代码以及7B和13B的模型权重，同时在中科南京信息高铁研究院的支撑下完成了“百聆”的线上部署，目前以邀请的方式开放内测，欢迎大家试用。

该研究工作简要介绍如下：

- 论文题目：Bridging Cross-lingual Alignment and Instruction Following through Interactive Translation for Large Language Models

- 作者列表：张绍磊，房庆凯，张倬诚，马铮睿，周䶮，黄浪林，卜梦煜，桂尚彤，陈云霁，陈熙霖，冯洋*

大语言模型在语言理解和生成方面展现了出色的能力，这得益于基座大模型提供了强大的语言生成能力，同时指令微调增强了与人类偏好的对齐。然而，现有的大语言模型基本专注于英语（或者中文），在非英语语言上的表现较差。针对这一问题，在传统的研究范式下，研究者需要构建庞大的非英语语料库用于基座模型的训练来增强该语言的生成能力，同时需要构建该语言的指令集进行指令微调用于与人类意图对齐。考虑到收集语料资源和人工构建指令是昂贵且繁重的，研究团队探索了在指令微调阶段将英语与其他语言对齐的方法，提出了以交互式翻译为核心的指令微调训练方法，实现了大模型在学习遵循指令的同时，将语言生成和指令遵循的能力从英语传递到其他语言。研究团队通过设计的交互翻译指令自动构建方法，向模型提供涵盖中、英、德、法四门语言的交互式翻译指令和约束条件，要求模型在理解所有先前指令的基础上提供满足用户需求的生成内容。基于百聆-7B和百聆-13B的相关实验结果表明，借助于翻译任务的语义对齐特性，模型能够实现生成能力在不同语言之间的迁移，并在交互式的过程中学习与人类意图进行对齐。具体来说，在单轮翻译任务上，百聆达到了GPT-4 95%的性能，在交互式翻译上，百聆达到了GPT-3.5-turbo 96%的性能。研究团队还构建了双语多轮通用测试集BayLing-80并开源，在BayLing-80测试集上百聆达到了GPT-3.5-turbo 89%的性能。在高考任务和English SAT任务上，百聆在众多大模型中位列第2，仅次于GPT-3.5-turbo。