阿里巴巴推出旗舰多模态模型Qwen2.5-Omni，该模型能够处理文本、图像、音频和视频等多种输入，并以流式方式生成文本和语音。Qwen2.5-Omni采用了创新的Thinker-Talker架构和TMRoPE位置编码技术，实现了实时的音视频交互和自然流畅的语音生成。在多模态和单模态任务中，Qwen2.5-Omni均展现出卓越的性能，超越了同等规模的单模态模型和部分封闭源模型。该模型现已在多个平台开源开放。

💡Qwen2.5-Omni采用了全新的Thinker-Talker架构，这是一种端到端的多模态模型，支持文本、图像、音频和视频的跨模态理解，并能以流式方式生成文本和自然语音响应。

⏱️该模型支持完全实时交互，能够进行分块输入和即时输出，并采用了TMRoPE（Time-aligned Multimodal RoPE）位置编码技术，通过时间轴对齐实现视频与音频输入的精准同步。

🗣️在语音生成方面，Qwen2.5-Omni在自然性和稳定性方面超越了许多现有的流式和非流式替代方案。

🏆在多模态任务OmniBench中，Qwen2.5-Omni达到了SOTA的表现。在单模态任务中，Qwen2.5-Omni在语音识别、翻译、音频理解、图像推理、视频理解以及语音生成等多个领域表现优异。

🌍该模型已在Hugging Face、ModelScope、DashScope 和 GitHub上开源开放。

财联社3月27日讯，北京时间周四凌晨，阿里巴巴发布通义千问系列的最新旗舰模型Qwen2.5-Omni。这款端到端多模态模型专为广泛的多模态感知设计，能够处理文本、图像、音频和视频等多种输入，同时能够通过生成文本和合成语音提供实时流式响应。

据“通义千问Qwen”官方微信号介绍，这款模型的主要特点如下：

全能创新架构：Qwen团队提出了一种全新的Thinker-Talker架构，这是一种端到端的多模态模型，旨在支持文本/图像/音频/视频的跨模态理解，同时以流式方式生成文本和自然语音响应。Qwen提出了一种新的位置编码技术，称为TMRoPE（Time-aligned Multimodal RoPE），通过时间轴对齐实现视频与音频输入的精准同步。

实时音视频交互：架构旨在支持完全实时交互，支持分块输入和即时输出。

自然流畅的语音生成：在语音生成的自然性和稳定性方面超越了许多现有的流式和非流式替代方案。

全模态性能优势：在同等规模的单模态模型进行基准测试时，表现出卓越的性能。Qwen2.5-Omni在音频能力上优于类似大小的Qwen2-Audio，并与Qwen2.5-VL-7B保持同等水平。

卓越的端到端语音指令跟随能力：Qwen2.5-Omni在端到端语音指令跟随方面表现出与文本输入处理相媲美的效果，在MMLU通用知识理解和GSM8K数学推理等基准测试中表现优异。

模型性能方面，Qwen2.5-Omni在包括图像，音频，音视频等各种模态下的表现都优于类似大小的单模态模型以及封闭源模型，例如Qwen2.5-VL-7B、Qwen2-Audio和Gemini-1.5-pro。

在多模态任务OmniBench，Qwen2.5-Omni达到了SOTA的表现。此外，在单模态任务中，Qwen2.5-Omni在多个领域中表现优异，包括语音识别（Common Voice）、翻译（CoVoST2）、音频理解（MMAU）、图像推理（MMMU、MMStar）、视频理解（MVBench）以及语音生成（Seed-tts-eval和主观自然听感）。

该模型现已在 Hugging Face、ModelScope、DashScope 和 GitHub上开源开放。