小米开源了首个专注于推理能力的大模型MiMo，通过预训练和后训练的协同，显著提升了在数学推理和代码竞赛等领域的表现。MiMo-7B在参数规模仅为70亿的情况下，超越了OpenAI的o1-mini和阿里Qwen-32B-Preview等模型。该模型在强化学习方面也展现出强大潜力，并已开源至HuggingFace，供研究者和开发者使用。小米MiMo的推出，标志着小米在大模型领域的积极探索，致力于推动人工智能技术的进步。

💡 MiMo的核心在于提升推理能力。该模型专注于解决预训练增长瓶颈问题，通过预训练和后训练相结合的方式，全面提升了在数学推理和代码竞赛等领域的表现。

📚 MiMo在多个公开测评集上表现出色。在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）中，MiMo-7B的参数规模仅为70亿，但其表现超越了OpenAI的o1-mini和阿里Qwen-32B-Preview等模型。

🚀 MiMo在强化学习方面展现出巨大潜力。在相同的强化学习训练数据下，MiMo-7B在数学和代码领域的强化学习潜力显著领先于其他模型。

⚙️ MiMo的推理能力提升源于预训练和后训练的创新。预训练阶段注重挖掘推理语料并合成约200B tokens的推理数据，后训练阶段则采用了Test Difficulty Driven Reward和Easy Data Re-Sampling策略，并设计了Seamless Rollout系统，加速了RL训练和验证。

📦 MiMo-7B已开源。小米已将MiMo-7B的4个模型开源至HuggingFace，供研究者和开发者使用，推动大模型技术的进一步发展。

预训练增长见瓶颈？如何激发模型推理潜能？

这是「Xiaomi MiMo」诞生之初探索的核心问题！

今天， 小米集团-W (01810.HK) 开源首个为推理（Reasoning）而生的大模型「Xiaomi MiMo」，联动预训练到后训练，全面提升推理能力。

在数学推理（AIME 24-25）和 代码竞赛（LiveCodeBench v5）公开测评集上，MiMo 仅用 7B 的参数规模，超越了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview。

强化学习潜力超越经典开源32B模型

随着DeepSeek-R1引发业界强化学习(RL)共创潮，DeepSeek-R1-Distill-7B和Qwen2.5-32B已成为广泛使用的强化学习起步模型。

在相同RL训练数据情况下，MiMo-7B 的数学&代码领域的强化学习潜力显著领先。

预训练+后训练，联动提升推理能力

MiMo推理能力的提升，由预训练和后训练阶段中数据和算法等多层面的创新联合驱动，包括：

预训练：核心是让模型见过更多推理模式

数据：着重挖掘富推理语料，并合成约200B tokens推理数据。

训练：进行了三阶段训练，逐步提升训练难度，总训练25T tokens。

后训练：核心是高效稳定的强化学习算法和框架

算法：提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题，并引入 Easy Data Re-Sampling 策略，以稳定 RL 训练。

框架：设计了Seamless Rollout系统，使得RL训练加速2.29倍，验证加速1.96倍。

所有技术细节已经Open，见技术报告：

https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf

MiMo-7B全系列已开源

MiMo-7B 已开源4个模型至HuggingFace：https://huggingface.co/XiaomiMiMo

About Xiaomi MiMo

MiMo 来自全新成立不久的「小米大模型Core团队」的初步尝试。

2025年虽看似是大模型逐梦的后半程，但我们坚信AGI的征途仍漫长。

我们将从务实创新出发，勇敢探索未知，用思考突破智能边界，用创造回应每一次好奇。Ask Mi Anything！

编辑/Somer