Cnbeta 03月04日
微软为Copilot+ PC 带来 DeepSeek 7B 和 14B AI 模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

微软宣布通过Azure AI Foundry为Copilot+ PC提供DeepSeek R1 7B和14B精馏模型。这些模型可在Copilot+ PC上本地运行,使开发者能够构建以前无法实现的新型人工智能驱动的应用。由于模型在NPU上运行,用户可以期待持续的人工智能计算能力,同时减少对PC电池寿命和散热性能的影响。微软使用内部自动量化工具Aqua将所有DeepSeek模型变体量化为int4权重。目前,模型标记速度较低,但团队正在进行优化以提高速度。感兴趣的开发者可以通过AI工具包VS 代码扩展下载并运行DeepSeek模型。

🚀 微软通过 Azure AI Foundry 为 Copilot+ PC 提供 DeepSeek R1 7B 和 14B 精馏模型,旨在推动设备上人工智能功能的发展。

💡 这些模型在 Copilot+ PC 的 NPU 上本地运行,使开发者能够构建新型人工智能驱动的应用,同时减少对 PC 电池寿命和散热性能的影响,且CPU和GPU可以执行其他任务。

⚙️ 微软使用内部自动量化工具 Aqua 将所有 DeepSeek 模型变体量化为 int4 权重,并正努力优化模型标记速度,目前 14B 模型的标记速度仅为 8 tok/秒,1.5B 模型接近 40 tok/秒。

💻 感兴趣的开发者可以通过 AI 工具包 VS 代码扩展,在 Copilot+ PC 上下载并运行 1.5B、7B 和 14B 版本的 DeepSeek 模型,这些模型以 ONNX QDQ 格式进行了优化,可直接从 Azure AI Foundry 下载。

今年 1 月,微软宣布计划将 NPU 优化版本的 DeepSeek-R1 模型直接引入采用高通骁龙 X 处理器的 Copilot+ PC。 今年 2 月,DeepSeek-R1-Distill-Qwen-1.5B 首次在 AIToolkit for VSCode 中发布。今天,微软宣布通过 Azure AI Foundry 为 Copilot+ PC 提供 DeepSeek R1 7B 和 14B 精馏模型。

在 Copilot+ PC 上本地运行 7B 和 14B 模型的能力将使开发人员能够构建以前无法实现的新型人工智能驱动的应用。

由于这些模型在 NPU 上运行,用户可以期待持续的人工智能计算能力,同时减少对 PC 电池寿命和散热性能的影响。 此外,他们的 CPU 和 GPU 还可用于执行其他任务。

微软指出,它使用内部自动量化工具 Aqua 将所有 DeepSeek 模型变体量化为 int4 权重。 遗憾的是,模型标记速度相当低。 微软报告 14B 模型的标记速度仅为 8 tok/秒,1.5B 模型接近 40 tok/秒。 团队正在进行进一步优化以提高速度。 随着性能的优化,这些模型对 Copilot+ PC 的影响预计将显著增加。

感兴趣的开发人员可以通过 AI 工具包 VS 代码扩展,在 Copilot+ PC 上下载并运行 1.5B、7B 和 14B 版本的 DeepSeek 模型。 DeepSeek 模型以 ONNX QDQ 格式进行了优化,可直接从 Azure AI Foundry 下载。 这些模型未来还将应用于采用英特尔酷睿 Ultra 200V 和 AMD Ryzen 处理器的 Copilot+ PC。

微软的这一举措标志着微软正在推动更强大的设备上人工智能功能,为人工智能驱动的应用开辟新的可能性。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Copilot+ PC DeepSeek R1 Azure AI Foundry NPU 设备AI
相关文章