苹果公司推出多模态大模型MM1.5版本，基于MM1架构，延续数据驱动训练原则。该版本提供多种参数规模，具有图像识别和自然语言推理能力，改进数据混合策略，提升多方面能力，还推出专门用于视频理解和UI理解的模型，团队计划进一步提升模型能力。

🍎苹果公司的多模态大模型MM1.5版本基于前代MM1架构，继续以数据驱动进行训练，着重研究不同类型数据在不同训练周期对模型性能的影响，相关模型文档已发布于Hugging Face上。

🚀该版本模型提供10亿 - 300亿多种参数规模，具备图像识别和自然语言推理能力，研发人员改进数据混合策略，提升了模型在多文本图像理解、视觉引用与定位及多图像推理等方面的能力。

🎥苹果公司推出专门用于视频理解的MM1.5 - Video模型和处理移动设备用户界面理解的MM1.5 - UI模型，MM1.5 - UI模型有望成为iOS幕后的“苹果牌”AI，能处理多种任务并与用户交互。

🌟尽管MM1.5模型在多项基准测试中表现优秀，苹果团队仍计划通过进一步融合多种数据，设计更复杂架构，提升模型对移动设备UI的理解能力，增强“苹果牌”AI的实力。

IT之家 10 月 13 日消息，苹果公司现已为旗下多模态大模型 MM 推出 1.5 版本，该版本模型基于前代 MM1 的架构，继续延续数据驱动的训练原则，重点研究在不同训练周期中混合不同类型数据对模型性能的影响。

目前相关模型文档已发布于 Hugging Face 上，IT之家附论文地址如下（点此访问）。

该版本模型提供 10 亿-300 亿多种参数规模，拥有图像识别和自然语言推理能力。苹果公司研发人员在新版本中改进了数据混合策略，显著提升了模型在多文本图像理解、视觉引用与定位（Grounding）以及多图像推理方面的能力。

参考论文，团队在 MM1.5 的持续预训练阶段引入了高质量的 OCR 数据和合成图像描述，显著提升了模型对包含大量文本的图像的理解能力。

此外，研究人员在监督式微调阶段分析了不同数据类型对模型表现的影响，优化了视觉指令微调数据的混合方式，从而为模型实现了更高的效率，团队表示，即便是小规模的模型（10、30 亿参数版本）也能表现出色。

值得关注的是，苹果公司本次还推出了专门用于视频理解的 MM1.5-Video 模型和专门处理移动设备用户界面（UI）理解的 MM1.5-UI 模型，其中 MM1.5-UI 模型未来有望作为 iOS 幕后的“苹果牌”AI，其能够处理各种视觉引用与定位任务、总结屏幕上的功能，或者通过与用户的对话进行交互。

尽管 MM1.5 模型在多项基准测试中取得了优秀表现，苹果团队仍计划通过进一步融合文本、图像和用户交互数据，设计更复杂的架构，来提升模型对移动设备 UI 的理解能力，加强“苹果牌”AI 的实力。