微软推出全新的设备端小型语言模型Mu，旨在提升Windows 11“设置”应用的AI驱动能力。Mu模型设计用于在NPU上高效运行，为用户提供流畅的自然语言查询体验。新模型与Phi-Silica协同工作，支持“设置”应用中的AI代理功能，并已通过Copilot+ PC在Dev通道中向Windows Insiders开放。Mu模型在性能上接近Phi-3.5-mini，但尺寸仅为后者的十分之一，更擅长处理多词查询，为用户带来更智能的设置体验。

💡 Mu是一个330M编码器-解码器语言模型，旨在为Windows 11“设置”应用提供AI驱动的代理功能。

⚡️ 与类似大小的仅解码器模型相比，Mu模型实现了第一个令牌延迟降低约47%，解码速度提高了4.7倍，并在某些组件中使用权重共享来减少总参数数量。

💻 Mu模型设计用于在NPU上高效运行，本地运行时每秒可交付超过100个令牌，并且在Azure机器学习上使用NVIDIA A100 GPU进行训练。

🔍 Mu的性能几乎可以与Phi-3.5-mini媲美，但尺寸只有后者的十分之一。该模型更擅长处理多词查询，对于简短或部分单词的输入，“设置”应用将继续显示词汇和语义搜索结果。

去年，微软发布了配备专用神经处理单元 (NPU) 的 Copilot+ PC，其计算能力超过 40 TOPS。这些 Copilot+ PC 配备了Phi-Silica，这是一款设备内置的语言语言管理器 (SLM)，旨在为微软自有的第一方应用以及其他第三方开发者的应用带来语言智能功能。

今天，微软发布了Mu，这是 Windows 11 内置的全新设备端小型语言模型。微软的目标是在“设置”应用中创建一个 AI 驱动的代理，能够理解用户的自然语言查询，并将其集成到现有的搜索框中，从而带来流畅的用户体验。因此，微软正在使用新的 Mu 模型来支持“设置”应用中的新代理功能，该功能最近已通过 Copilot+ PC在 Dev 通道中向 Windows Insiders开放。

与 Phi-Silica 一样，Mu 的设计旨在在 NPU 上高效运行，在本地运行时每秒可交付超过 100 个令牌。微软在官方博客文章中解释了他们如何设计和训练 Mu 语言模型。以下是 Mu 语言模型的概述：

Mu 是一个 330M 编码器-解码器语言模型。

与类似大小的仅解码器模型相比，编码器-解码器方法实现了第一个令牌延迟降低约 47%，解码速度提高 4.7 倍。

Mu 在某些组件中使用权重共享来减少总参数数量。

微软使用 Azure 机器学习上的 NVIDIA A100 GPU 训练 Mu。

Mu 的性能几乎可以与同样经过精细调整的 Phi-3.5-mini 相媲美，尽管尺寸只有后者的十分之一。

该模型更适合多词查询。因此，对于简短或部分单词的输入，“设置”应用将继续在搜索框中显示词汇和语义搜索结果。

感兴趣的用户可以下载 Windows 11 Build 26120.3964（KB5058496）或更高版本，以在 Windows 设置应用中查看这个新的 AI 代理。

查看评论