AMD发布首个小语言模型AMD-135M，体积小巧灵活且有针对性，适合企业部署。该模型有两个版本，训练时间和token数量不同。其使用推测解码方法，可提升性能，但功耗会增加。此外，相关资源已开源，性能与其他开源小模型相比有优势。

🦘AMD-135M小语言模型隶属于Llama家族，体积小巧灵活，针对性强，适合私密性、专业性强的企业部署。它有基础型AMD-Llama-135M和延伸型AMD-Llama-135M-code两个版本，前者拥有6700亿个token，后者额外增加针对编程的200亿个token。

🎯AMD-135M使用推测解码方法，通过较小草稿模型在单次前向传播中生成多个候选token，再由更大更精确的目标模型验证或纠正。此方法可同时生成多个token，不影响性能但会增加功耗，且能降低内存占用。

💻AMD还将AMD-Llama-135M-code作为CodeLlama-7b的草案模型进行性能测试，在不同硬件上性能有不同程度提升。如在MI250加速器上性能可提升最多约2.8倍，锐龙AI CPU上可提升最多约3.88倍，锐龙AI NPU上可提升最多约2.98倍。

🌐AMD-135M小模型的训练代码、数据集等资源已开源，遵循Apache 2.0。其性能与其他开源小模型相比，在某些任务上超过Llama-68M、LLama-160M，在某些任务上与GTP2-124MN、OPT-125M基本类似。

快科技10月1日消息，AMD发布了自己的首个小语言模型(SLM)，名为“AMD-135M”。

相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。

AMD-135小模型隶属于Llama家族，有两个版本：

一是基础型“AMD-Llama-135M”，拥有多达6700亿个token，在八块Instinct MIM250 64GB加速器上训练了六天。

二是延伸型“AMD-Llama-135M-code”，额外增加了专门针对编程的200亿个token，同样硬件训练了四天。

创建与部署流程

它使用了一种名为“推测解码”(speculative decoding)的方法，通过较小的草稿模型，在单次前向传播中生成多个候选token，然后发送给更大的、更精确的目标模型，进行验证或纠正。

这种方法可以同时生成多个token，不会影响性能，还可以降低内存占用，但因为数据交易更多，功耗也会增加。

AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型，测试了推测解码使用与否的性能。

比如在MI250加速器上，性能可提升最多约2.8倍，锐龙AI CPU上可提升最多约3.88倍，锐龙AI NPU上可提升最多约2.98倍。

推测解码

AMD-135M小模型的训练代码、数据集等资源都已经开源，遵循Apache 2.0。

按照AMD的说法，它的性能与其他开源小模型基本相当或略有领先，比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。