微软基于Phi-4-mini模型，针对数学问题解决和多跳问答等密集推理任务进行了优化，推出了Phi-4-mini-Flash-Reasoning 3B模型。该模型扩展了Phi-4-mini的token数量至200064，并采用新型SambaY解码器-混合-解码器架构，支持64K token上下文长度，显著提升长上下文任务的运行速度，比前代产品快10倍。SambaY架构的核心创新是门控内存单元（GMU），通过在层间共享表示，提高解码效率，增强长上下文性能和可扩展性。

🔹Phi-4-mini-Flash-Reasoning 3B模型在Phi-4-mini基础上进行微调，专为数学问题解决和多跳问答等密集推理任务设计，扩展了token数量至200064。

🔸SambaY解码器-混合-解码器架构是核心创新，支持长达64K token的上下文长度，使模型在长上下文任务中运行速度比前代产品快10倍。

🔄门控内存单元（GMU）是SambaY架构的关键，通过在层间共享表示，提高解码效率，同时保持线性的预归档时间复杂度，增强可扩展性。

🚀SambaY架构显著提升了长上下文检索性能，吞吐量提高多达10倍，在长输入、段短输出及短输出长输入的场景中均表现出优秀的低延迟性能。

🔗Phi-4-mini-Flash-Reasoning 3B模型性能接近DeepSeek-R1-Distill-Qwen-7B，展示了其在密集推理任务中的强大能力。

CourseAI 2025-07-15 11:42 湖北

微软在Phi-4-mini 的版本基础上，针对数学问题解决和多跳问答等密集推理任务，针对高质量的合成数据微调出Phi-4-mini-Flash-Reasoning 3B模型。

将Phi-4-mini扩展到了

200064

 tokens。