AI & Big Data 20小时前
微軟釋出桌機版推理AI模型Phi-4-mini-flash-reasoning 以新混合架構提升效能
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

微软推出了Phi-4-mini-flash-reasoning模型,专为计算和内存受限的边缘设备设计。该模型在Phi-4-mini的基础上,通过创新的SambaY架构,显著提升了推理效率和性能,尤其在长上下文生成和低延迟推理方面表现出色。Phi-4-mini-flash-reasoning在多项基准测试中超越了同类模型,并且在教育应用场景中展现出潜力,如适应性学习平台和本地推理助手。用户可以通过Azure AI Foundry体验该模型。

🚀 Phi-4-mini-flash-reasoning是微软推出的38亿参数推理模型,专为在计算、内存受限和低延迟要求的环境中运行而设计,例如边缘设备和移动设备。

💡 该模型采用了名为SambaY的新混合架构,核心创新在于GMU(Gated Memory Unit),它在不同层之间共享表示,从而提升了解码效率。

📈 SambaY架构在长上下文生成和低延迟推理方面表现出色,与Phi-4-mini-reasoning相比,延迟性缩短超过2倍,数据吞吐量最高提升10倍。在AIME24、AIME25、MATH-500和GPQA Diamond等基准测试中,Phi-4-mini-flash-reasoning的跑分优于Phi-4-mini-reasoning,甚至超过了参数规模更大的模型。

📚 Phi-4-mini-flash-reasoning的高吞吐量、低延迟和数学推理能力使其特别适合教育应用,例如需要即时反馈的适应性学习平台、本地推理助手以及互动式教学系统。

微軟本周宣布推出可在桌機或邊緣裝置執行的38億參數推理模型Phi-4-mini-flash-reasoning,以新的混合架構提升效能,低延遲性與推理能力兼備。

Phi-4-mini-flash-reasoning是為運算、記憶體有限,且延遲性容忍度低的情境而設計,它可在邊緣裝置、行動裝置或資源受限的環境中執行進階推理。Phi-4-mini-flash-reasoning是Phi-4-mini的最新模型,同為38億參數,支援64K token context length,並以高品質合成資料微調,以提供邏輯密集(logic-intensive)的穩定效能,適合注重即時性的邏輯化應用等教學應用場景。

有興趣的用戶可以加入Azure AI Foundry使用Phi-4-mini-flash-reasoning。

雖然Phi-4-mini-flash-reasoning是源於Phi-4-mini,但是它採用了新的decoder-hybrid-decoder架構名為SambaY。SambaY的重要創新是GMU(Gated Memory Unit),是一種在不同層之間共享表示(representations)的有效機制。技術而言,這個架構有個self-decoder,後者整合了Mamba(一種狀態空間模型)和稀疏注意力(Sliding Window Attention,SWA),該架構另外還有一層全注意力層以及Cross-decoder,這個Cross-decoder可和GMU運作,達到效率與性能的平衡。

簡單而言,新的SambaY架構可提升解碼效率、保持線性預處理時間複雜度,意謂提升擴充性、並改善長上下文檢索的執行效能(更適合長文本處理任務)。

和所有Phi-4模型一樣,Phi-4-mini-flash-reasoning可部署在單一GPU的機器上,不過它更優於Phi-4-mini-reasoning之處在於,在長上下文生成及低延遲推理任務Phi-4-mini-flash-reasoning具備更低延遲性和更高吞吐量。在一項測試中,Phi-4-mini-flash-reasoning延遲性縮短2倍有餘,而資料吞吐量最高可提高10倍。而在AIME24、AIME25、MATH-500和GPQA Diamond等標竿測試中,Phi-4-mini-flash-reasoning的跑分成果都比Phi-4-mini-reasoning好,也優於其他2倍參數規模的模型,如DeepSeek-R1-Distill -Qwen 1.5B、Bespoke -Stratos-7B、OpenThinker-7B等。

微軟說Phi-4-mini-flash-reasoning高吞吐量、低延遲性及著重數學推理,很適合特定教育應用,例如需要即時回饋迴圈的適應性學習平臺、本地推理助理如手機學習助理,或是可依據學習者成績動態調整內容難度的互動式教學系統。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Phi-4-mini-flash-reasoning 微软 推理模型 SambaY架构 边缘计算
相关文章