小米公司正式开源其首个专为推理设计的大语言模型——Xiaomi MiMo。该模型在数学推理和代码竞赛等公开测评中展现出卓越性能，7B参数规模已超越OpenAI的o1-mini和阿里Qwen-32B-Preview。MiMo的成功得益于预训练和后训练阶段的数据和算法创新，包括构建大规模推理数据、分阶段训练以及高效稳定的强化学习算法。小米已在HuggingFace上开源MiMo-7B全系列模型，供开发者使用。

🧠 MiMo是一款专注于推理能力的大语言模型，由小米官方推出。

📐 在数学推理和代码竞赛的公开测评中，MiMo-7B模型展现出超越OpenAI和阿里更大规模模型的性能。

💡 MiMo的性能提升源于预训练和后训练阶段的创新。预训练阶段侧重于挖掘富推理语料并合成约200B tokens的推理数据；后训练阶段采用了高效稳定的强化学习算法。

⚙️ MiMo的训练过程包括三个阶段，总共使用了25T tokens进行训练。

🚀 小米开源了MiMo-7B全系列模型，开发者可以在HuggingFace上获取和使用。

快科技4月30日消息，小米官方今天正式宣布，开源首个为推理（Reasoning）而生的大模型——Xiaomi MiMo。

据介绍，Xiaomi MiMo在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）公开测评集上，MiMo仅用7B的参数规模，超越了OpenAI的闭源推理模型o1-mini和阿里Qwen更大规模的开源推理模型QwQ-32B-Preview。

官方表示，MiMo 推理能力的提升，由预训练和后训练阶段中数据和算法等多层面的创新联合驱动。包括：

预训练：核心是让模型见过更多推理模式

数据：着重挖掘富推理语料，并合成约200B tokens推理数据。

训练：进行了三阶段训练，逐步提升训练难度，总训练25T tokens。

后训练：核心是高效稳定的强化学习算法和框架

算法：提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题，并引入 Easy Data Re-Sampling 策略，以稳定RL训练。

框架：设计了Seamless Rollout系统，使得RL训练加速2.29倍，验证加速1.96倍。

所有技术细节已经Open，见技术报告。

MiMo-7B全系列已开源MiMo-7B 已开源4个模型至HuggingFace。