cnBeta全文版 07月30日 10:09
AMD Strix Halo平台为消费级设备带来128B参数LLM模型的支持
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

AMD凭借其XDNA引擎,正将强大的AI计算能力引入消费级设备。其最新的APU产品,如Strix Point和Strix Halo系列,提供了业界领先的AI性能。通过最新的Adrenalin Edition 25.8.1驱动程序,AMD现已支持128B参数的LLM模型,使得消费级设备能够本地运行Meta的Llama 4 Scout等大型模型,这是前所未有的成就。AMD的可变显存(VGM)技术,能为iGPU提供高达96GB的显存,进一步支持大型模型的本地化运行。即使是基于MoE架构、实际仅使用170亿参数的Llama模型,也能在本地实现可观的TPS数据,充当强大的AI助手。此外,AMD在模型上下文大小方面也取得了突破,将行业标准的4096个词元大幅提升至256000个词元,极大地增强了工作流程的可控性,同时无需担忧性能瓶颈。尽管目前搭载Strix Halo平台的设备尚不普及且价格较高,但AMD在AI计算领域的进步预示着AI能力的普及化,让更多人有机会体验到AI的强大。

🚀 **AI计算能力普及化:** AMD的XDNA引擎是消费级设备引入大规模AI计算的先行者,其APU产品(如Strix Point和Strix Halo)提供业界顶尖的AI性能,标志着AI能力正从数据中心走向大众。

💡 **本地运行大型AI模型:** 通过最新的Adrenalin Edition 25.8.1驱动程序,AMD现已支持128B参数的大型语言模型(LLM),使得消费级设备能够原生运行Meta的Llama 4 Scout等先进模型,这是行业内的独创。

💾 **超大显存支持:** AMD的可变显存(VGM)技术能够为iGPU提供高达96GB的显存容量,为本地运行大型AI模型提供了坚实的基础,解决了以往消费级设备在显存上的限制。

🧠 **长上下文窗口处理:** AMD在模型上下文大小方面取得了显著进展,将行业标准的4096个词元提升至256000个词元,大幅增强了AI在处理复杂信息和保持对话连贯性方面的能力,提升了用户体验。

💰 **成本与普及考量:** 尽管AMD在AI计算方面取得了令人瞩目的成就,但目前搭载其先进平台的设备(如Strix Halo)数量有限,且价格较高(部分设备超过2000美元),预示着AI能力的普及仍需时间和市场发展。

AMD 是通过其 XDNA 引擎将大规模 AI 计算引入消费级设备的先行者之一。AMD 的 APU 产品(例如 Strix Point 和 Strix Halo 系列中的产品)提供了业内最高的 AI 性能,而现在,AMD 已将边缘 AI 提升到了一个新的水平。该公司最新的 Adrenalin Edition 25.8.1 驱动程序引入了对 128B 参数 LLM 模型的支持,这将使消费级设备能够支持 Meta 的 Llama 4 Scout 等模型,这是目前独一无二的成就。

通过 AMD 的可变显存 (VGM),消费者可以为 iGPU 提供高达 96 GB 的显存,从而支持大型模型在本地运行。由于上述 Llama 模型是基于 MoE 的实现,因此它在运行时仅使用 170 亿个参数,但尽管如此仍然可以获得不错的 TPS 数据,从而使 LLM 可以用作功能强大的 AI 助手。

更重要的是,AMD 在模型上下文大小方面取得了巨大的进步。虽然消费级处理器的行业标准大约是 4096 个词元,但 AMD 成功将其提升了数倍,达到了 256000 个词元,从而可以更好地控制工作流程,并且无需担心性能问题。

目前,搭载 Strix Halo 平台的设备有限,而且不太容易买到,有些设备的价格甚至超过了 2000 美元。然而,AMD 在 AI 计算方面的进步确实令人欣喜,它让每个人都能拥有“AI 力量”,尽管你需要花费不菲的钱才能买到目前市面上的设备。

查看评论

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

AMD AI计算 XDNA引擎 大型语言模型 消费级设备
相关文章