Meta公司推出LlamaRL框架，旨在加速大语言模型的强化学习过程。该框架采用全异步分布式设计，显著提升了训练速度。LlamaRL通过优化计算和协调，解决了大模型训练中的资源需求问题，尤其是在处理高参数模型时，能够大幅缩短训练时间。在实际测试中，LlamaRL在不同规模的模型上均展现出卓越的性能提升，为大语言模型的持续优化提供了新的可能性。

🚀LlamaRL框架的核心在于采用全异步分布式设计。这一设计允许各个组件（如策略模型、奖励评分器等）并行处理，从而减少了等待时间，提升了训练效率。Meta使用PyTorch构建了该系统，简化了协调并支持模块化定制，使得框架更具灵活性和可扩展性。

💡LlamaRL框架解决了大语言模型训练中资源需求的问题。训练大模型需要大量的计算资源和复杂的协调。LlamaRL通过优化内存使用、数据通信延迟和GPU利用率，有效地解决了这些问题，降低了训练的门槛。

⏱️LlamaRL在不同规模的模型上均表现出显著的加速效果。例如，在405B参数模型上，LlamaRL将强化学习步骤时间从635.8秒缩短至59.5秒，速度提升了10.7倍。在8B和70B模型上，训练时间也分别缩短至8.90秒和20.67秒。

📈在MATH和GSM8K基准测试中，LlamaRL的性能表现稳定甚至略有提升，这表明该框架在加速训练的同时，并未牺牲模型的性能。这为大语言模型的持续优化提供了有力的支持。

IT之家 6 月 11 日消息，科技媒体 marktechpost 昨日（6 月 10 日）发布博文，报道称 Meta 公司推出 LlamaRL 框架，采用全异步分布式设计，在 405B 参数模型上，LlamaRL 将强化学习步骤时间从 635.8 秒缩短至 59.5 秒，速度提升 10.7 倍。

IT之家注：强化学习（Reinforcement Learning，RL）通过基于反馈调整输出，让模型更贴合用户需求。随着对模型精准性和规则适配性的要求不断提高，强化学习在训练后阶段的重要性日益凸显，持续优化模型性能，成为许多先进大语言模型系统的关键组成部分。

将强化学习应用于大语言模型，最大障碍在于资源需求。训练涉及海量计算和多组件协调，如策略模型、奖励评分器等。模型参数高达数百亿，内存使用、数据通信延迟和 GPU 闲置等问题困扰着工程师。

Meta 推出的 LlamaRL 框架，采用 PyTorch 构建全异步分布式系统，简化协调并支持模块化定制。通过独立执行器并行处理生成、训练和奖励模型，LlamaRL 大幅减少等待时间，提升效率。

LlamaRL 通过分布式直接内存访问（DDMA）和 NVIDIA NVLink 技术，实现 405B 参数模型权重同步仅需 2 秒。

在实际测试中，LlamaRL 在 8B、70B 和 405B 模型上分别将训练时间缩短至 8.90 秒、20.67 秒和 59.5 秒，速度提升最高达 10.7 倍。

MATH 和 GSM8K 基准测试显示，其性能稳定甚至略有提升。LlamaRL 有效解决内存限制和 GPU 效率问题，为训练大语言模型开辟了可扩展路径。