头条新闻
-
NLP组荣获ACL 2019最佳长论文奖在7月29日-31日召开的2019年ACL大会上，来自我课题组的论文《Bridging the Gap between Training and Inference for Neural Machine Translation》获得了大会唯一的最佳长文奖，这也是国内单位首次获得ACL最佳长文奖。这一工作是由我组冯洋老师、刘群老师指导学生张文等完成。其他作者中，孟凡东是从这一团队毕业的学生，游狄是在这一团队工作过的实习生。这一工作针对神经机器翻译在训练和测试时所使用前序历史信息不同而造成的翻译质量问题，通过在训练时模拟测试时的前序历史信息，来减小了训练和测试时的偏差。具体来说，该工作首先采取一定的策略来模拟生成测试时的前序历史信息，然后通过采样的方式来将标准译文和模拟得到的前序历史信息输入到翻译模型中来生成译文。该工作在两个通过的翻译任务上的翻译性能均显著优于多个state-of-the-art模型。本次大会一共收到投稿2905篇（长文1737篇，短文1168篇），共录用660篇（长文447篇，短文213篇），总录用率为22.7%，其中长文录用率为25.7%，短文录用率为18.2%。本次大会共设置了8个奖项，包括：最佳长文奖最佳短文奖最佳演示论文奖5个杰出论文奖。该论文经过双盲评审、领域主席推荐、大会宣讲及专家投票，最终获得ACL 2019最佳长文奖。国际计算语言学协会 (ACL，The Association for Computational Linguistics)，是国际计算语言学界影响力最大的学术组织，ACL 年度会议也是计算语言学领域的最重要的国际会议，是CCF推荐的计算语言学方面唯一的A类会议。2024-12-27 -
课题组冯洋研究员当选ACL执行委员2024年12月，中科院计算所自然语言处理团队冯洋研究员当选ACL执行委员 国际计算语言学学会（Association for Computational Linguistics，简称ACL）于北京时间12月3日公布新一轮执行委员会（ACL Executive Committee）选举结果，我组冯洋研究员当选新一届执行委员，任执行委员会秘书（Secretary）。此次一同当选的还有在国际学术界久负盛名的华盛顿大学 Luke Zettlemoyer 教授，他将担任候任主席（VP-Elect），以及马里兰大学 Jordan Lee Boyd-Graber 教授，其将出任常务理事（a Member at-large）。 国际计算语言学学会创建于1962年，是国际计算语言学界影响力最大的学术组织。ACL的年度学术会议ACL会议为自然语言处理领域最有影响力的国际会议，也是自然语言处理领域唯一的CCF-A类会议，ACL设立的学术会议还包括EMNLP、NAACL、AACL和IJCNLP。ACL及各分会统一通过执行委员会（ACL Executive Committee）进行事务管理和学术活动组织，执行委员的产生过程一般为先由提名委员会就每个职位提名候选人，然后由全体ACL会员投票选出最终的人选。 冯洋，中国科学院院计算技术研究所研究员、博士生导师、“新百星人才计划”入选者，长期从事自然语言处理方向的研究，在本领域重要期刊和会议发表论文100多篇。担任ARR Permanent Senior Action Editor、Artificial Intelligence等期刊编委以及ACL/EMNLP等国际会议(高级)领域主席，候任ACL Secretary，曾任中国中文信息学会青年工作委员会副主任。主导研发了百聆大模型和LLaMA-Omni即时交互语音大模型，先后获得ACL2019唯一最佳长文奖、中国人工智能学会“杰出贡献奖”、CCF自然言处理专委会 “青年新锐奖”、 中文信息学会“钱伟长中文信息处理科学技术奖-汉王青年创新奖”一等奖等。ACL官方新闻请点击下方链接浏览https://www.aclweb.org/portal/content/acl-2024-election-results-congratulations-luke-zettlemoyer-yang-feng-and-jordan-lee-boyd-02024-12-03 -
计算所自然语言处理团队发布“百聆2”并开放试用2024年12月，中国科学院计算技术研究所自然语言处理团队发布通用大语言模型“百聆2“ 2024年12月3日，中国科学院计算技术研究所自然语言处理团队发布通用大语言模型“百聆2“，相关论文同步在Arxiv上发表。该工作通过语言对齐高效地将知识和生成能力从高资源语言迁移到低资源语言，增强了大语言模型的多语言能力。目前团队已开源模型权重及代码，并在中科南京信息高铁研究院的支持下完成了“百聆2”的线上部署。欢迎大家了解及试用！ 该研究工作简要介绍如下： 大型语言模型具有丰富的知识和强大的生成能力，能够赋能人们生活的方方面面。然而，这些知识和能力主要集中在高资源语言中，低资源语言的知识相对有限且生成能力仍然较弱。因此，增强大语言模型的多语言能力对服务全球100多个语言社群至关重要的。对于增强多语言能力，直接的方法是构建各种语言的指令数据，然而构建100多种语言的指令数据却要耗费很高的成本。 为此，研究团队研发了百聆2，通过语言对齐高效地将生成能力和知识从高资源语言迁移到低资源语言。为实现这一目标，研究团队构建了一个包含320万条指令的数据集，其中包括高资源语言（中文和英文）指令以及适用于100多种语言的跨语言指令，以便在不同语言之间实现能力迁移。基于Llama 2和Llama 3基座模型，研究团队开发了百聆-2-7B、百聆-2-13B和百聆-2-8B模型，并对百聆 2进行了全面的评估。在涵盖100多个语言的多语言翻译任务上，百聆 2比同规模的开源模型拥有更好的性能；在多语言知识与理解基准测试中，百聆 2在超过20种低资源语言上取得了显著改进，表明了其具有优越的从高资源语言向低资源语言的知识迁移能力；此外，在英语基准测试中的结果表明，百聆 2在高资源语言上仍然保持了高水准，同时提高了在低资源语言上的性能。 试用入口：https://nlp.ict.ac.cn/bayling/demo/项目首页：http://nlp.ict.ac.cn/bayling论文链接：https://arxiv.org/pdf/2411.16300代码仓库：https://github.com/ictnlp/BayLing模型权重：百聆-2-7B ：https://huggingface.co/ICTNLP/bayling-2-7b百聆-2-13B：https://huggingface.co/ICTNLP/bayling-2-13b百聆-2-8B ：https://huggingface.co/ICTNLP/bayling-2-llama-3-8b 百聆仍在持续优化中，如果大家有任何建议，欢迎联系bayling@ict.ac.cn。感谢大家的支持！ 开始探索百聆请点击链接：https://nlp.ict.ac.cn/bayling/demo/2024-12-03 -
LLaMA-Omni：实时语音交互大模型2024年9月，中国科学院计算技术研究所自然语言处理团队发布端到端语音交互大模型——LLaMA-Omni 2024年9月，中国科学院计算技术研究所自然语言处理团队发布端到端语音交互大模型——LLaMA-Omni，可以像GPT-4o以极低延时与用户进行语音交互。LLaMA-Omni基于最新的Llama-3.1-8B-Instruct开发，面向通用指令遵循任务，能够根据语音指令同步生成语音与文本回复，回复内容和风格均显著优于现有开源语音大模型。同时，LLaMA-Omni的响应延时可低至226ms，低于GPT-4o的平均延时320ms。LLaMA-Omni的论文、代码、模型均已开源：论文：https://arxiv.org/abs/2409.06666代码：https://github.com/ictnlp/LLaMA-Omni模型：https://huggingface.co/ICTNLP/Llama-3.1-8B-Omni LLaMA-Omni由语音编码器、语音适配器、LLM和流式语音解码器组成，用户的语音指令由语音编码器进行编码，经过语音适配器后输入LLM。LLM直接基于语音指令生成文本回复，与此同时，语音解码器同步生成对应的语音回复，为用户提供低延迟、高质量的语音交互。此外，LLaMA-Omni仅需在4张GPU上训练3天时间，显著降低了语音大模型训练所需的计算资源。2024-09-15 -
课题组房庆凯同学荣获所长特别奖近日，课题组房庆凯同学荣获2023年度所长特别奖。 近日，2023年中国科学院计算技术研究所所长特别奖评选结果正式公布，课题组房庆凯同学荣获2023年度所长特别奖。所长特别奖是计算所奖学金中最高级别奖项，本次所长特别奖共18人进入所级答辩，经过激烈角逐，最终评选出7人。 房庆凯，2021级直博生，导师为冯洋研究员，主要研究方向为自然语言处理、机器翻译、语音翻译。以第一作者在NeurIPS、ACL上发表5篇CCF-A类论文，曾获CCMT机器翻译评测第一名。现担任中国中文信息学会青年工作委员会学生执委。2024-01-27