苹果公司最新的机器学习研究成果显著提升了大型语言模型（LLM）的创建速度，特别是在使用NVIDIA GPU时，词元生成速度几乎提高了三倍。这项研究将苹果的推测解码方法ReDrafter与NVIDIA TensorRT-LLM推理加速框架集成，使得在NVIDIA GPU上进行模型训练的开发者也能享受到加速效果。通过优化，不仅减少了模型训练的延迟，还降低了硬件成本。这意味着用户可以期待更快的云端查询响应，而公司则可以用更少的投入提供更多服务。此次合作也使得NVIDIA的TensorRT-LLM框架更强大、更灵活，为LLM社区的创新提供了便利。

🚀 苹果公司通过推测解码方法ReDrafter，显著提升了LLM的词元生成速度，这一技术最初在Apple Silicon上实现了3.5倍的加速。

💻 苹果与NVIDIA合作，将ReDrafter集成到NVIDIA TensorRT-LLM框架中，使得使用NVIDIA GPU的开发者也能享受到加速的便利，无需局限于苹果自研芯片。

💰 在NVIDIA GPU上的基准测试显示，贪婪编码的每秒生成令牌速度提高了2.7倍，这不仅减少了用户延迟，还有助于降低硬件成本，为企业提供更高效的服务。

🤝 此次合作增强了NVIDIA TensorRT-LLM的性能和灵活性，为LLM社区的创新提供了更强大的工具，促进了更复杂模型的开发和部署。

苹果公司最新的机器学习研究可以使Apple Intelligence的模型创建速度更快，因为它提出了一种技术，在使用 NVIDIA GPU 时，词元的生成速度几乎提高了三倍。

在为提供人工智能功能的工具和应用程序（如 Apple Intelligence）创建大型语言模型（LLM）的过程中，存在的问题之一是首先创建 LLM 的效率低下。 为机器学习训练模型是一个资源密集型的缓慢过程，通常需要购买更多的硬件并增加能源成本。

2024 年早些时候，苹果公司发布并开源了 Recurrent Drafter，即 ReDrafter，这是一种在训练中提高性能的推测解码方法。 它使用 RNN（递归神经网络）草稿模型，将波束搜索与动态树关注相结合，用于预测和验证来自多条路径的草稿标记。

与典型的自动回归标记生成技术相比，这将 LLM 标记生成速度提高了 3.5 倍。

在苹果公司机器学习研究网站的帖子中，苹果公司解释说，除了使用Apple Silicon的现有工作外，该团队并未止步于此。 本周三发布的新报告详细介绍了该团队如何将研究成果应用于 ReDrafter 的创建，使其能够与 NVIDIA GPU 配合使用。

用于生成 LLM 的服务器通常采用 NVIDIA GPU，但高性能硬件往往需要高昂的成本。 仅硬件一项，多 GPU 服务器的成本就超过 250000 美元，更不用说所需的基础设施或其他相关成本了。

苹果与 NVIDIA 合作，将 ReDrafter 集成到 NVIDIA TensorRT-LLM 推理加速框架中。 由于 ReDrafter 使用了其他推测解码方法没有使用的运算符，因此 NVIDIA 必须添加额外的元素才能使其正常工作。

通过整合，在工作中使用 NVIDIA GPU 的 ML 开发人员现在可以在使用 TensorRT-LLM 进行生产时使用 ReDrafter 的加速令牌生成功能，而不仅仅是那些使用 Apple Silicon 的开发人员。

在 NVIDIA GPU 上对数以百亿计的参数生产模型进行基准测试后发现，贪婪编码的每秒生成令牌的速度提高了 2.7 倍。

其结果是，该过程可用于最大限度地减少对用户的延迟，并减少所需的硬件数量。 简而言之，用户可以期待从基于云的查询中获得更快的结果，而公司则可以在花费更少的情况下提供更多服务。

在 NVIDIA 的技术博客上，这家显卡生产商表示，此次合作使 TensorRT-LLM"功能更强大、更灵活，使 LLM 社区能够创新出更复杂的模型并轻松部署它们"。

该报告是在苹果公司公开证实其正在调查是否可能使用亚马逊的 Trainium2 芯片来训练用于Apple Intelligence功能的模型之后发布的。 当时，该公司预计使用该芯片进行预训练的效率将比现有硬件提高 50%。