学术动态
-
232025-01NLP课题组1篇论文被NAACL 2025接收2025年1月，自然语言处理组1篇论文被NAACL 2025接收 2025年1月，中科院计算所自然语言处理组1篇论文被NAACL 2025接收。ACL(The Association for Computational Linguistics)是国际计算语言学界影响力最大的学术组织，ACL年度会议也是计算语言学领域的最重要的国际会议。NAACL 2025的全称是 2025 Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics，是 ACL 的北美分会，自然语言处理领域的顶级会议之一。NAACL 2025将于2025年4月29日-5月4日在美国新墨西哥州阿尔伯克基召开。 被录用论文的简要介绍如下： - MoCE:Adaptive Mixture of Contextualization Experts for Byte-based Neural Machine Translation (Langlin Huang, Mengyu Bu, Yang Feng)- NAACL Main Conference, long paper 简介：基于字节的机器翻译系统在大规模多语言环境中展现出巨大的潜力。通过Unicode编码，每个字符被映射为特定的字节，从而有效避免了未知词汇的出现，即使是在新语言中，也能实现广泛的语言扩展性。然而，由于单个字节所携带的语义信息有限，基于字节编码的序列往往更难以理解。研究表明，局部语境化在为token分配初始语义方面表现出色，有助于提升句子理解能力。然而，不同语言的编码规则存在差异，这需要一种自适应的方法来实现更有语言针对性的语境化。为此，我们提出了自适应多尺度头部注意力机制（Adaptive Multi-Scale Head Attention, Ada MSHA），通过自适应地选择并混合注意力头，将其视为不同语境化函数的“专家”组合。这种方法增强了语境化在不同尺度上的灵活性，同时能发掘出比现有方法更优的分配策略。实验结果表明，在无需大量手动调整超参数的情况下，我们的方法显著优于现有方法，并在Ted-59数据集上超越了参数量更大的基于子词的模型，进一步证明了其有效性和优越性。
-
232025-01NLP课题组2篇论文被ICLR 2025接收2025年1月，自然语言处理组2篇论文被ICLR 2025接收 2025年1月，自然语言处理组2篇论文被ICLR 2025接收。ICLR 2025的全称是the 13th International Conference on Learning Representations. ICLR, ICML和NeurIPS是三大机器学习和人工智能会议，在相关领域有较大的影响力和关注度。ICLR 2025将于2025年4月24日-4月28日在新加坡举行。 被录用论文的简要介绍如下： LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token (Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng)简介:GPT-4o等实时多模态大模型（LMM）的出现引发了人们对高效LMM的关注。LMM框架通常将视觉输入编码为视觉token（连续表示），并将它们和文本指令集成到大型语言模型（LLM）的上下文中，其中大规模参数和大量上下文token（主要是视觉token）会导致大量的计算开销。以往的工作总是集中在用较小的模型替换LLM基座，而忽视了token数量这一关键问题。在本文中，我们介绍了高效多模态大模型——LLaVA-Mini，该模型能够在统一架构下高效地处理并理解普通图像、高分辨率图像和长视频。得益于多模态大模型的可解释性，LLaVA-Mini对视觉信息进行了有效压缩，每张图像仅需一个视觉token进行表示。在保证视觉理解性能的基础上，LLaVA-Mini显著提升了图像和视频理解的效率，具体表现为：减少计算量（FLOPs降低77%）、缩短响应时延（每张图像处理仅需40毫秒）、显著降低显存占用（从每张图像360MB降至0.6MB，支持在24GB GPU上处理长达3小时的视频）。 LLaMA-Omni: Seamless Speech Interaction with Large Language Models (Qingkai Fang, Shoutao Guo, Yan Zhou, Zhengrui Ma, Shaolei Zhang, Yang Feng)简介：GPT-4o等闭源大模型能够通过语音与大语言模型（LLM）进行实时交互，与传统的基于文本的交互相比，显著增强了用户体验。然而，对于如何基于开源LLM构建语音交互模型，仍然缺乏探索。因此，我们提出端到端语音交互大模型——LLaMA-Omni，该模型可以像GPT-4o以极低延时与用户进行语音交互。LLaMA-Omni基于最新的Llama-3.1-8B-Instruct开发，面向通用指令遵循任务，能够根据语音指令同步生成语音与文本回复，回复内容和风格均显著优于现有开源语音大模型。同时，LLaMA-Omni的响应延时可低至236ms，低于GPT-4o的平均延时320ms。LLaMA-Omni由语音编码器、语音适配器、LLM和流式语音解码器组成，用户的语音指令由语音编码器进行编码，经过语音适配器后输入LLM。LLM直接基于语音指令生成文本回复，与此同时，语音解码器同步生成对应的语音回复，为用户提供低延迟、高质量的语音交互。此外，LLaMA-Omni仅需在4张GPU上训练3天时间，显著降低了语音大模型训练所需的计算资源。
-
162025-01计算所NLP团队发布高效图像/视频理解大模型 LLaVA-Mini2025年1月，中国科学院计算技术研究所自然语言处理团队发布了高效多模态大模型——LLaVA-Mini 2025年1月，中国科学院计算技术研究所自然语言处理团队发布了高效多模态大模型——LLaVA-Mini，该模型能够在统一架构下高效地处理并理解普通图像、高分辨率图像和长视频。得益于多模态大模型的可解释性，LLaVA-Mini对视觉信息进行了有效压缩，每张图像仅需一个视觉token进行表示。在保证视觉理解性能的基础上，LLaVA-Mini显著提升了图像和视频理解的效率，具体表现为：减少计算量（FLOPs降低77%）、缩短响应时延（每张图像处理仅需40毫秒）、显著降低显存占用（从每张图像360MB降至0.6MB，支持在24GB GPU上处理长达3小时的视频）。 通过预分析和消融实验，我们发现，在多模态大模型（LMMs）中，视觉模态在模型的前几层起着至关重要的作用，它将视觉信息有效地融入文本指令中；然而，随着层数的加深，视觉模态的重要性逐渐减弱。基于这一发现，LLaVA-Mini引入了模态预融合模块和压缩模块。模态预融合模块在外部将视觉模态和文本模态进行预先融合，以确保模型具备足够的视觉理解能力；压缩模块则对输入的视觉信息进行高比例压缩（压缩至仅1个token），从而显著提升模型的效率。最终，LLaVA-Mini能够以高效的方式处理图像、高分辨率图像和长视频。 LLaVA-Mini的论文、代码、模型均已开源： 论文：https://arxiv.org/abs/2501.03895代码：https://github.com/ictnlp/LLaVA-Mini模型：https://huggingface.co/ICTNLP/llava-mini-llama-3.1-8b
-
172024-12NLP课题组1篇论文被AAAI 2025接收2024年12月，自然语言处理组1篇论文被AAAI 2025接收 2024年12月，自然语言处理组1篇论文被AAAI 2025接收。AAAI 2025的全称是Thirty-Ninth AAAI Conference on Artificial Intelligence，由人工智能促进协会AAAI组织，每年举办一次，为人工智能领域的顶级会议之一。AAAI 2025将于2025年2月25日-3月4日在美国费城举行。 被录用论文的简要介绍如下： - Large Language Models Are Read/Write Policy-Makers for Simultaneous Generation (Shoutao Guo, Shaolei Zhang, Zhengrui Ma, Yang Feng)- AAAI Main Conference, long paper 简介：流式生成模型在读取输入的同时生成目标端回复，其往往需要一个策略决策者来确定合适的输出时机。现有的流式生成方法通常采用传统的编码器-解码器架构，并通过复杂的动态规划技术来同时学习生成回复和决策能力。尽管当前的大语言模型（LLMs）在文本生成方面表现出色，但它们在利用传统训练方法来充当决策者角色时却面临极大的挑战，这限制了它们在流式生成中的探索。为克服这些限制，我们提出了一种新型的LLMs驱动的流式生成框架（LSG），其允许现成的LLM决定生成时机并同时产生输出。具体来说，LSG选择最小化延迟的生成策略作为基准策略。参考基准策略，LSG使LLMs能够设计出更好的生成策略，在延迟和生成质量之间取得更好的平衡，并相应地生成结果。我们在流式文本到文本翻译、流式语音到文本翻译和流式自动语音识别任务上的实验表明，我们的方法可以利用开源LLM实现最先进的性能，并在现实世界场景中展示其实用性。
-
032024-12计算所自然语言处理团队发布“百聆2”并开放试用2024年12月，中国科学院计算技术研究所自然语言处理团队发布通用大语言模型“百聆2“ 2024年12月3日，中国科学院计算技术研究所自然语言处理团队发布通用大语言模型“百聆2“，相关论文同步在Arxiv上发表。该工作通过语言对齐高效地将知识和生成能力从高资源语言迁移到低资源语言，增强了大语言模型的多语言能力。目前团队已开源模型权重及代码，并在中科南京信息高铁研究院的支持下完成了“百聆2”的线上部署。欢迎大家了解及试用！ 该研究工作简要介绍如下： 大型语言模型具有丰富的知识和强大的生成能力，能够赋能人们生活的方方面面。然而，这些知识和能力主要集中在高资源语言中，低资源语言的知识相对有限且生成能力仍然较弱。因此，增强大语言模型的多语言能力对服务全球100多个语言社群至关重要的。对于增强多语言能力，直接的方法是构建各种语言的指令数据，然而构建100多种语言的指令数据却要耗费很高的成本。 为此，研究团队研发了百聆2，通过语言对齐高效地将生成能力和知识从高资源语言迁移到低资源语言。为实现这一目标，研究团队构建了一个包含320万条指令的数据集，其中包括高资源语言（中文和英文）指令以及适用于100多种语言的跨语言指令，以便在不同语言之间实现能力迁移。基于Llama 2和Llama 3基座模型，研究团队开发了百聆-2-7B、百聆-2-13B和百聆-2-8B模型，并对百聆 2进行了全面的评估。在涵盖100多个语言的多语言翻译任务上，百聆 2比同规模的开源模型拥有更好的性能；在多语言知识与理解基准测试中，百聆 2在超过20种低资源语言上取得了显著改进，表明了其具有优越的从高资源语言向低资源语言的知识迁移能力；此外，在英语基准测试中的结果表明，百聆 2在高资源语言上仍然保持了高水准，同时提高了在低资源语言上的性能。 试用入口：https://nlp.ict.ac.cn/bayling/demo/项目首页：http://nlp.ict.ac.cn/bayling论文链接：https://arxiv.org/pdf/2411.16300代码仓库：https://github.com/ictnlp/BayLing模型权重：百聆-2-7B ：https://huggingface.co/ICTNLP/bayling-2-7b百聆-2-13B：https://huggingface.co/ICTNLP/bayling-2-13b百聆-2-8B ：https://huggingface.co/ICTNLP/bayling-2-llama-3-8b 百聆仍在持续优化中，如果大家有任何建议，欢迎联系bayling@ict.ac.cn。感谢大家的支持！ 开始探索百聆请点击链接：https://nlp.ict.ac.cn/bayling/demo/