DeepSeek开源周迎来新进展，开源了DualPipe和EPLB两个项目，旨在优化AI模型训练中的并行策略。DualPipe是一种创新的双向流水线并行算法，通过计算-通信阶段的完全重叠，减少流水线气泡，提升训练效率。EPLB则是一种专家并行负载均衡器，通过冗余专家策略和启发式方法，平衡不同GPU的负载，减少节点间的数据流量。此外，DeepSeek还公开分享了训练和推理框架的分析数据，帮助社区理解计算-通信重叠策略的底层实现细节。

🚀DualPipe是一种双向流水线并行算法，通过正向和反向计算-通信阶段的完全重叠，减少流水线气泡，提升训练效率，该技术已在《深度搜索-V3 技术报告》中有所介绍。

⚖️EPLB专家并行负载均衡器采用冗余专家策略，复制高负载的专家，并通过启发式方法将复制的专家分配到GPU上，确保不同GPU之间的负载平衡。同时，尽可能将同一组的专家放置在同一节点上，以减少节点间的数据流量。

📊DeepSeek公开分享了训练和推理框架的分析数据，涵盖通信-计算重叠策略和底层实现细节，有助于社区更深入地理解这些优化策略。

IT之家 2 月 27 日消息，DeepSeek“开源周”的进度今日来到 4/5，此次开源了优化并行策略的项目。

具体如下：

DualPipe - 一种用于 V3 / R1 训练中计算-通信重叠的双向管道并行算法。

EPLB - 一种用于 V3 / R1 的专家并行负载平衡器。

分析 V3 / R1 中的计算-通信重叠。

IT之家附具体项目和链接如下：

DualPipe：

“双管道（DualPipe）”是在《深度搜索-V3 技术报告》中引入的一种创新的双向流水线并行算法。它实现了正向和反向计算-通信阶段的完全重叠，同时也减少了流水线气泡。

专家并行负载均衡器（EPLB） ：

在使用专家并行（EP）时，不同的专家被分配到不同的 GPU。由于不同专家的负载可能因当前工作负载而异，因此保持不同 GPU 的负载平衡非常重要。正如在 DeepSeek-V3 论文中所述，我们采用冗余专家策略，复制高负载的专家。然后，我们通过启发式方法将复制的专家分配到 GPU 上，以确保不同 GPU 之间的负载平衡。此外，由于 DeepSeek-V3 中使用了分组受限的专家路由，我们还尽可能尝试将同一组的专家放置在同一节点上，以减少节点间的数据流量。为了便于复现和部署，我们在 eplb.py 中开源了我们部署的 EP 负载均衡算法。该算法根据估计的专家负载计算平衡的专家复制和放置计划。请注意，预测专家负载的确切方法不在此存储库的范围内。一种常见的方法是使用历史统计数据的移动平均值。

分析 V3 / R1 中的计算-通信重叠：

在这里，我们公开分享来自我们的训练和推理框架的分析数据，以帮助社区更好地理解通信-计算重叠策略和底层实现细节。