学术动态
-
172024-12NLP课题组1篇论文被AAAI 2025接收2024年12月，自然语言处理组1篇论文被AAAI 2025接收 2024年12月，自然语言处理组1篇论文被AAAI 2025接收。AAAI 2025的全称是Thirty-Ninth AAAI Conference on Artificial Intelligence，由人工智能促进协会AAAI组织，每年举办一次，为人工智能领域的顶级会议之一。AAAI 2025将于2025年2月25日-3月4日在美国费城举行。 被录用论文的简要介绍如下： - Large Language Models Are Read/Write Policy-Makers for Simultaneous Generation (Shoutao Guo, Shaolei Zhang, Zhengrui Ma, Yang Feng)- AAAI Main Conference, long paper 简介：流式生成模型在读取输入的同时生成目标端回复，其往往需要一个策略决策者来确定合适的输出时机。现有的流式生成方法通常采用传统的编码器-解码器架构，并通过复杂的动态规划技术来同时学习生成回复和决策能力。尽管当前的大语言模型（LLMs）在文本生成方面表现出色，但它们在利用传统训练方法来充当决策者角色时却面临极大的挑战，这限制了它们在流式生成中的探索。为克服这些限制，我们提出了一种新型的LLMs驱动的流式生成框架（LSG），其允许现成的LLM决定生成时机并同时产生输出。具体来说，LSG选择最小化延迟的生成策略作为基准策略。参考基准策略，LSG使LLMs能够设计出更好的生成策略，在延迟和生成质量之间取得更好的平衡，并相应地生成结果。我们在流式文本到文本翻译、流式语音到文本翻译和流式自动语音识别任务上的实验表明，我们的方法可以利用开源LLM实现最先进的性能，并在现实世界场景中展示其实用性。
-
032024-12计算所自然语言处理团队发布“百聆2”并开放试用2024年12月，中国科学院计算技术研究所自然语言处理团队发布通用大语言模型“百聆2“ 2024年12月3日，中国科学院计算技术研究所自然语言处理团队发布通用大语言模型“百聆2“，相关论文同步在Arxiv上发表。该工作通过语言对齐高效地将知识和生成能力从高资源语言迁移到低资源语言，增强了大语言模型的多语言能力。目前团队已开源模型权重及代码，并在中科南京信息高铁研究院的支持下完成了“百聆2”的线上部署。欢迎大家了解及试用！ 该研究工作简要介绍如下： 大型语言模型具有丰富的知识和强大的生成能力，能够赋能人们生活的方方面面。然而，这些知识和能力主要集中在高资源语言中，低资源语言的知识相对有限且生成能力仍然较弱。因此，增强大语言模型的多语言能力对服务全球100多个语言社群至关重要的。对于增强多语言能力，直接的方法是构建各种语言的指令数据，然而构建100多种语言的指令数据却要耗费很高的成本。 为此，研究团队研发了百聆2，通过语言对齐高效地将生成能力和知识从高资源语言迁移到低资源语言。为实现这一目标，研究团队构建了一个包含320万条指令的数据集，其中包括高资源语言（中文和英文）指令以及适用于100多种语言的跨语言指令，以便在不同语言之间实现能力迁移。基于Llama 2和Llama 3基座模型，研究团队开发了百聆-2-7B、百聆-2-13B和百聆-2-8B模型，并对百聆 2进行了全面的评估。在涵盖100多个语言的多语言翻译任务上，百聆 2比同规模的开源模型拥有更好的性能；在多语言知识与理解基准测试中，百聆 2在超过20种低资源语言上取得了显著改进，表明了其具有优越的从高资源语言向低资源语言的知识迁移能力；此外，在英语基准测试中的结果表明，百聆 2在高资源语言上仍然保持了高水准，同时提高了在低资源语言上的性能。 试用入口：https://nlp.ict.ac.cn/bayling/demo/项目首页：http://nlp.ict.ac.cn/bayling论文链接：https://arxiv.org/pdf/2411.16300代码仓库：https://github.com/ictnlp/BayLing模型权重：百聆-2-7B ：https://huggingface.co/ICTNLP/bayling-2-7b百聆-2-13B：https://huggingface.co/ICTNLP/bayling-2-13b百聆-2-8B ：https://huggingface.co/ICTNLP/bayling-2-llama-3-8b 百聆仍在持续优化中，如果大家有任何建议，欢迎联系bayling@ict.ac.cn。感谢大家的支持！ 开始探索百聆请点击链接：https://nlp.ict.ac.cn/bayling/demo/
-
202024-09计算所NLP团队LLM推理加速工作被NeurIPS 2024录用2024年9月，计算所NLP团队LLM推理加速工作被NeurIPS 2024录用2024年9月，计算所NLP团队LLM推理加速工作被NeurIPS 2024会议接收。NeurIPS的全称是Thirty-eighth Conference on Neural Information Processing Systems，是机器学习领域的顶级会议之一。NeurIPS 2024将于2024年12月9日-15日在加拿大温哥华召开。 被录用论文的简要介绍如下： - Speculative Decoding with CTC-based Draft Model for LLM Inference Acceleration. (Zhuofan Wen, Shangtong Gui, Yang Feng)- NeurIPS, poster 作为一种高效的的推理加速技术，投机解码逐渐受到广泛关注。投机解码通常训练参数量更小的辅助模型在每一解码步骤生成候选词序列，由大规模语言模型进行验证，挑选最佳候选序列作为本轮解码结果。通过单轮解码多词实现加速。在这个框架中，最终的推理提速效果主要由辅助模型的解码速度以及所提供候选词序列的接受率共同决定。目前广泛使用的辅助模型通常以非自回归的方式生成候选词序列，忽略了不同候选词间的上下文关系。因此，尽管这种策略具有较快的解码速度，但候选词的接受率并不理想。本工作聚焦于提高辅助模型的预测性能，旨在通过提高候选词接受率实现更理想的推理加速比。基于CTC算法，我们提出了的CTC-drafter辅助模型加速框架。在训练阶段，通过融入CTC损失函数，基于动态规划遍历所有可能序列，强化上下文信息，从而实现更高质量的候选序列生成。实验结果表明，与基线模型相比，CTC-drafter可以实现更高的候选词接受率，从而实现更理想的推理加速比。 （英文版摘要）Inference acceleration of large language models (LLMs) has been put forward in many application scenarios and speculative decoding has shown its advantage in addressing inference acceleration. Speculative decoding usually introduces a draft model to assist the base LLM where the draft model produces drafts and the base LLM verifies the draft for acceptance or rejection. In this framework, the final inference speed is decided by the decoding speed of the draft model and the acceptance rate of the draft provided by the draft model. Currently the widely used draft models usually generate draft tokens for the next several positions in a non-autoregressive way without considering the correlations between draft tokens. Therefore, it has a high decoding speed but an unsatisfactory acceptance rate. In this paper, we focus on how to improve the performance of the draft model and aim to accelerate inference via a high acceptance rate. To this end, we propose a CTC-based draft model which strengthens the correlations between draft tokens during the draft phase, thereby generating higher-quality draft candidate sequences. Experiment results show that compared to strong baselines, the proposed method can achieve a higher acceptance rate and hence a faster inference speed.
-
152024-09LLaMA-Omni：实时语音交互大模型2024年9月，中国科学院计算技术研究所自然语言处理团队发布端到端语音交互大模型——LLaMA-Omni 2024年9月，中国科学院计算技术研究所自然语言处理团队发布端到端语音交互大模型——LLaMA-Omni，可以像GPT-4o以极低延时与用户进行语音交互。LLaMA-Omni基于最新的Llama-3.1-8B-Instruct开发，面向通用指令遵循任务，能够根据语音指令同步生成语音与文本回复，回复内容和风格均显著优于现有开源语音大模型。同时，LLaMA-Omni的响应延时可低至226ms，低于GPT-4o的平均延时320ms。LLaMA-Omni的论文、代码、模型均已开源：论文：https://arxiv.org/abs/2409.06666代码：https://github.com/ictnlp/LLaMA-Omni模型：https://huggingface.co/ICTNLP/Llama-3.1-8B-Omni LLaMA-Omni由语音编码器、语音适配器、LLM和流式语音解码器组成，用户的语音指令由语音编码器进行编码，经过语音适配器后输入LLM。LLM直接基于语音指令生成文本回复，与此同时，语音解码器同步生成对应的语音回复，为用户提供低延迟、高质量的语音交互。此外，LLaMA-Omni仅需在4张GPU上训练3天时间，显著降低了语音大模型训练所需的计算资源。
-
302024-06StreamSpeech：“All in One”流式语音模型，支持语音识别、翻译、合成2024年6月，中国科学院计算技术研究所自然语言处理团队发布“All in One”流式语音模型——StreamSpeech。 2024年6月，中国科学院计算技术研究所自然语言处理团队发布“All in One”流式语音模型——StreamSpeech。该模型可以在用户说话的同时，以端到端的方式实现语音识别、语音翻译、语音合成的多任务实时处理，延时低至320毫秒。StreamSpeech是能够以端到端方式同时完成多项离线和流式语音任务的开源模型。StreamSpeech可以部署在手机、耳机、AR眼镜等设备，助力国际会议、跨国旅行等场景下的低延时跨语言交流需求。 StreamSpeech的论文、代码、模型、Demo均已开源：论文：https://aclanthology.org/2024.acl-long.485.pdf代码：https://github.com/ictnlp/StreamSpeech模型：https://huggingface.co/ICTNLP/StreamSpeech_ModelsDemo：https://ictnlp.github.io/StreamSpeech-site/ StreamSpeech采用先进的two-pass架构，集成了流式语音编码器、实时文本解码器和同步的文本到语音合成模块。通过引入连接时序分类（Connectionist temporal classification，CTC）对齐机制，StreamSpeech能够控制模型在用户说话的同时理解并生成语音识别、翻译和合成结果。StreamSpeech在离线和实时语音到语音翻译上超过Meta的UnitY架构，在开源数据集上取得当前的最佳性能。此外，StreamSpeech还能在翻译过程中生成中间文本结果，为用户提供“边听边看”的流畅体验。StreamSpeech提供了本地部署的Demo视频（https://github.com/ictnlp/StreamSpeech），欢迎体验：