专注医疗的 2025-01-26 13:40 北京
Baichuan-Omni-1.5在视觉、语音和多模态流式能力上超越GPT-4o mini，多模态医疗能力大幅领先。
两天前，我们发布了全场景深度推理模型Baichuan-M1-preview和医疗增强开源模型Baichuan-M1-14B。
今天，我们再接再厉，上线Baichuan-Omni-1.5开源全模态模型。该模型不仅支持文本、图像、音频和视频的全模态理解，还具备文本和音频的双模态生成能力。在视觉、语音及多模态流式处理等方面，Baichuan-Omni-1.5 的表现均优于 GPT-4o mini，而在多模态医疗应用领域，它的领先优势则更为突出。
Baichuan-Omni-1.5通过完善的数据抓取、清洗、合成流程得到大量不同模态的数据以及全面的多模态交错数据，并且设计了多阶段的训练流程，很好完成了多个模态间对齐，加上合理的模型结构优化，从而实现一个模型在多个模态能力均达到领先的效果，解决了多模态模型的“模型降智”难题。
Baichuan-Omni-1.5不仅能在输入和输出端实现多种交互操作，还拥有强大的多模态推理能力和跨模态迁移能力。
此次，我们不仅开源了GPT-4o级别的全模态基座Baichuan-Omni-1.5-Base，同时还开源了两个评测集OpenMM-Medical、OpenAudioBench，促进全模态模型领域的研究发展。
GitHub：
https://github.com/baichuan-inc/Baichuan-Omni-1.5
模型权重：
Baichuan-Omni-1.5：
https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5
https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5
Baichuan-Omni-1.5-Base：
https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5-Base
https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5-Base
技术报告：
https://github.com/baichuan-inc/Baichuan-Omni-1.5/blob/main/baichuan_omni_1_5.pdf
全模态理解生成统一模型，多项能力超越GPT-4o mini
全模态模型能够处理文本、图像、语音、视频等各类数据，从而实现更全面、精准的信息理解和表达，对提升模型的理解能力及拓展应用范围等方面具有重要意义。
Baichuan-Omni-1.5在多项评测中表现优异，在MMBench-dev等通用图片评测中领先GPT4o-mini，在医疗图片评测集GMAI-MMBench、Openmm-Medical中更是大幅超越GPT4o-mini。
Baichuan-Omni-1.5在音频技术领域采用了业界领先的端到端解决方案，不仅能够支持多语言对话，还拥有强大的端到端音频合成能力，并且可以实现ASR（自动语音识别）和TTS（文本转语音）功能，同时支持视频与音频的实时交互。
在视频理解能力方面，Baichuan-Omni-1.5通过对编码器、训练数据和训练方法等多个关键环节进行深入优化，其整体性能大幅超越GPT-4o-mini。
全流程优化解决“降智”难题，真正实现理解生成统一
理解和生成的统一是当前多模态研究领域中的一大热点和难点。在全模态理解模型中加入语音token生成后，通常会导致模型理解能力的显著下降，特别是在数学能力和逻辑推理方面，这种现象被称为“模型降智”。
目前，所有开源的全模态模型都面临着这一问题，这也是该领域需要重点解决的关键挑战。Baichuan-Omni-1.5通过模型结构、训练策略和训练数据等多个方面的深入优化，成功地解决了这一问题。
模型结构方面，Baichuan-Omni-1.5的模型输入部分支持各种模态通过相应的Encoder/Tokenizer输入到大型语言模型中。
而在模型输出部分，Baichuan-Omni-1.5采用了文本-音频交错输出的设计，通过Text Tokenizer和Audio Decoder同时生成文本和音频。
其中，Audio Tokenizer是在Whisper基础上经过增量训练得到的，它不仅具备高级语义抽取能力，还能实现音频的高保真重建。
至于Visual Encoder，则采用了能够处理任意分辨率图片的NaViT，其最高分辨率可达4K（2048x2048）并支持多图推理，从而能够更全面地提取图片信息。
训练数据方面，我们设计了一套专门的流程来确保数据的质量和多样性。最终构建了一个包含3.4亿条高质量图片/视频-文本数据和近100万小时音频数据的庞大数据库。在SFT阶段，我们还使用了1700万条精心构建的全模态数据。
训练流程方面，我们在预训练和SFT阶段均设计了多阶段训练方案，整体提升了模型效果。
我们同时还开源了两个评测：OpenMM-Medical、OpenAudioBench。
OpenMM-Medical：
为了更全面的评估模型医疗多模态能力，我们构建了OpenMM-Medical，包含来自 42 个公开医学图像的数据集，例如 ACRIMA（眼底图像）、BioMediTech（显微镜图像）和 CoronaHack（X 射线），总共包含 88,996 张图像。
下载地址：
https://huggingface.co/datasets/baichuan-inc/OpenMM_Medical
OpenAudioBench：
为了更高效地评估模型“智商”，我们构建了OpenAudioBench。这是一个包含5个音频端到端理解子评测集的平台，包括4个公开评测集（Llama Question、WEB QA、TriviaQA、AlpacaEval）以及我们自建的语音逻辑推理评测集，共有2701条数据。这些评测集能够综合反映模型的“智商”水平。
下载地址：
随着人工智能技术的迅猛发展，大模型已经从单一模态进化到全模态阶段。全模态融合技术赋予了大型语言模型视觉、听觉和语言表达的能力，使其能够更加精准地理解和传递信息。
特别是在医疗领域，全模态模型能够整合医学影像（如X光、CT等）、检查报告和病历等多元信息，协助医生进行疾病诊断，显著提升诊断的准确性和效率。
我们此次开源全模态模型及数据、评测集，也是希望激发行业内更多的创新力量，促进中国AI医疗健康生态的持续进步，助力实现更加普惠的高质量医疗服务。
