AI & Big Data 05月02日 10:23
微軟公布Phi-4-Reasoning模型系列
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

微软发布了新一代小语言模型Phi-4-Reasoning系列,包括reasoning、reasoning-plus和mini-reasoning三个版本。该系列模型强调在性能上可媲美参数量更大的模型,并将用于支持Copilot+ PC的AI功能。Phi-4-reasoning基于Phi-4,利用OpenAI o3-mini示範进行训练,context length为32k token。Phi-4-reasoning-plus则通过强化学习训练,提供更准确的回应。Phi-4-mini-reasoning专为数学推理优化,参数量仅3.84B,支持128k context length,适合教育、教学应用,且易于在边缘设备上执行。

💡Phi-4-reasoning系列是微软最新发布的小语言模型,包含三个版本,旨在以较小的参数量实现媲美大型模型的性能。

📚Phi-4-reasoning和Phi-4-reasoning-plus均基于Phi-4模型,通过不同的训练方法进行优化。前者使用监督式微调,后者则通过强化学习进一步提升性能,在推理和问题解决能力上表现出色,部分测试中甚至超越了DeepSeek-R1 Distill 70B模型。

💻Phi-4-mini-reasoning模型参数量仅3.84B,专为数学推理优化,并能在边缘设备上运行。在数学标竿测试中,该模型超越了参数量更大的模型,展现出强大的数学推理能力。

🚀微软计划将Phi-4-reasoning系列模型用于Copilot+ PC,并针对NPU进行优化,使其能够在本地运行,提高AI响应速度和隐私保护。

微軟昨(1)日公布最新一代小語言模型(SLM)推理版本Phi-4-Reasoning系列,包括Phi-4-reasoning、Phi-4-reasoning-plus和最小的Phi-4-mini-reasoning,強調效能比美參數量大的模型。微軟預告,新模型之後將會用於支援Copilot+ PC的AI功能。

這是微軟自去年4月公布輕量模型Phi-3後最新進展。Phi-3今年1月推進到Phi-4,並開源140億參數版本。隨後一個月又發表了Phi-4多模態模型

最新的Phi-4-reasoning為140億參數的開源權重推理模型,是以Phi-4為基礎,利用OpenAI o3-mini示範作為訓練資料,以監督式微調訓練而成。它能有效運用推論時的額外運算資源來生成詳盡的推論串,context length為32k token。而Phi-4-reasoning-plus則是以Phi-4-reasoning為基礎強化學習訓練,比起Phi-4-reasoning,能用更多推論時運算資源,並使用1.5倍的字詞(token)量來提供更準確的回應。

微軟說,Phi-4-reasoning運用精心安排的訓練資料和高品質的合成資料集,可展現媲美大模型的效能。根據微軟提供的AIME 25、HMMT Feb 25、OmniMath及GPQA等標竿測試數據,Phi-4-reasoning比起Phi-4明顯進步,而在推理及能力如數學、程式、解決演算問題與規劃中,都超越DeepSeek-R1 Distill 70B,而且逼近DeepSeek-R1 671B MoE。同時間,二個模型在AIME 25及GPQA測試略遜o3-mini,但OmniMath測試表現卻雙雙超越。

圖片來源/微軟

Phi-4-reasoning及Phi-4-reasoning-plus在所有項目都超越OpenAI-o1-mini。Phi-4-reasoning家族和DeepSeek-R1 671B MoE相比,則是勝負各半。

目前二款模型已在Azure AI FoundryHugging Face開放。

微軟還公布了Phi-4-mini-reasoning,是一輕巧的transformer-based語言模型,利用DeepSeek-R1模型的合成資料,包括從中學到博士等級數學題目訓練而成,可以說專為數學推理優化。Phi-4-mini-reasoning參數量僅3.84B,支援128k context length,適合教育、教學應用,也能輕易在筆電等邊緣裝置或是行動裝置上執行。雖然規模小巧,但微軟搬出數據顯示,Phi-4-mini-reasoning在常見數學標竿測試超越參數量二倍大的模型如OpenThinker-70B、Bespoke-Stratos-7B、DeepSeek-R1-Distill-Qwen-7B與DeepSeek-R1-Distill-Llama-8B,甚至在Math-500測試中超越OpenAI o1-mini。

Phi-4-mini-reasoning也在Azure AI FoundryHugging Face上公開。

微軟表示,Phi模型已經用於Copilot+ PC上,像是經過為NPU優化的Phi Silica變種已用在支援Click to Do等AI功能。微軟預告,Phi-4-reasoning和mini版都會針對Phi Silica的低位元優化(low-bit optimizations)進行調整,目的是讓它們能夠直接在新一代PC的NPU上執行。這意謂它們不再完全依賴雲端資源,而是能本地運作,提高AI回應的速度與隱私保護。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Phi-4 小语言模型 AI推理 Copilot+ PC
相关文章