苹果与英伟达合作，通过开源 Recurrent Drafter（ReDrafter）推测解码方法，显著提升了AI大语言模型（LLM）的推理速度。ReDrafter已集成到NVIDIA TensorRT-LLM框架中，在NVIDIA GPU上，每秒生成tokens速度最高提升2.7倍，有效降低了用户延迟和计算成本。该方法使用RNN草稿模型，结合波束搜索与动态树注意力，使开源模型每步生成最多3.5个tokens，超越了先前的推测性解码技术。此次合作旨在提高LLM的推理效率，降低计算成本和用户延迟，并已在生产模型中取得显著效果。

🚀苹果与英伟达合作，推出开源ReDrafter推测解码方法，显著提升AI大语言模型推理速度。

💡ReDrafter集成到NVIDIA TensorRT-LLM框架，在NVIDIA GPU上实现高达2.7倍的推理加速，降低延迟和成本。

🧠ReDrafter采用RNN草稿模型，结合波束搜索与动态树注意力，使开源模型每步生成最多3.5个tokens，超越以往技术。

🤝苹果与英伟达合作，增强TensorRT-LLM框架对复杂模型和解码方法的适应性，推动ReDrafter在生产环境中的应用。

IT之家 12 月 19 日消息，苹果公司昨日（12 月 18 日）发布博文，宣布和英伟达（Nvidia）合作，通过开源 Recurrent Drafter（ReDrafter）推测解码方法，显著提升了 AI 大语言模型（LLM）的推理速度。

苹果公司表示 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加速框架中，在 NVIDIA GPU 上，每秒生成 tokens 速度最高提升 2.7 倍，有效降低了用户延迟和计算成本。

苹果的机器学习研究人员指出，LLM 越来越多地用于驱动生产应用程序，提高推理效率对降低计算成本和用户延迟至关重要。

IT之家援引苹果官方博文，ReDrafter 使用 RNN 草稿模型，结合波束搜索（beam search）与动态树注意力（dynamic tree attention），可以让开源模型每步生成最多 3.5 个 tokens，超越了先前推测性解码技术的性能。

为将 ReDrafter 应用于生产环境，苹果与 NVIDIA 展开合作，将其集成到 NVIDIA TensorRT-LLM 框架中。

英伟达为此添加了新的运算符并公开了现有运算符，增强了 TensorRT-LLM 对复杂模型和解码方法的适应性。

基准测试结果显示，在 NVIDIA GPU 上使用集成了 ReDrafter 的 TensorRT-LLM 框架，数百亿参数规模的生产模型的解码速度提升了 2.7 倍。这不仅降低了用户体验延迟，还减少了 GPU 使用数量和功耗。

IT之家附上参考地址

• Apple collaborates with NVIDIA to research faster LLM performance

• NVIDIA TensorRT-LLM Now Supports Recurrent Drafting for Optimizing LLM Inference

• ml-recurrent-drafter

• Accelerating LLM Inference on NVIDIA GPUs with ReDrafter