DeepSeek开源周第四日，DeepSeek发布了两项重要开源项目：DualPipe（双向管道并行算法）和EPLB（专家并行负载均衡器）。DualPipe通过双向重叠计算通信阶段，显著减少训练空闲时间，并优化流水线气泡问题，提升硬件资源利用率。EPLB则针对混合专家（MoE）架构，通过动态负载均衡、分层与全局平衡结合以及流量优化，有效提升GPU利用率和整体训练效率。这两项开源内容旨在加速AI模型训练过程，为开发者提供更高效的工具。

🚀DualPipe（双向管道并行算法）通过实现向前和向后计算通信阶段的双向重叠，显著减少训练空闲时间，提高硬件资源利用率。其核心在于流水线气泡优化，有效降低传统管道并行中的“气泡”问题。

⚖️EPLB（专家并行负载均衡器）具备动态负载均衡的特性，针对混合专家（MoE）架构，通过冗余专家策略复制高负载专家，并采用启发式分配算法优化GPU间的负载均衡，确保资源高效利用。

🌐EPLB采用分层与全局平衡结合的策略，既支持单个节点的分层负载管理，也实现跨节点的全局负载平衡，从而减少GPU闲置，提升整体训练效率。

🚦EPLB在流量优化方面，可在平衡负载的同时，通过调整专家分布降低节点间通信数据量，进一步提升整体训练效率，降低通信开销。

快科技2月27日消息，今天是DeepSeek开源周第四日，不同于前三日早早就发出的开源项目。

今天DeepSeek公布开源项目，比平日稍微晚些，让关注者们等的稍微有点着急，包括小编在内。

但是等待的结果总是值得的，这不今天公布了两项开源内容。话不多说，转入正题。

今天DeepSeek发布了DualPipe（双向管道并行算法）和EPLB（专家并行负载均衡器）。

据DeepSeek介绍，DualPipe是一项在DeepSeek-V3技术报告中引入的双向管道等值算法，它实现了向后和向后计算通信阶段的双向重叠，显著减少训练空闲时间。

同时，流水线气泡优化这一创新调度策略，降低传统管道并行中的“气泡”问题，有效提升硬件资源利用率。在GitHub上，目前该算法已经获得544个Star收藏。

另外，在此谈一谈EPLB（专家并行负载均衡器）。

EPLB（专家并行负载均衡器）具有动态负载均衡、分层与全局平衡结合、流量优化的特点。

具体来看，动态负载均衡是基于混合专家（MoE）架构，通过冗余专家策略复制高负载专家，并采用启发式分配算法优化GPU间的负载均衡；

另外在分层与全局平衡结合方面，它既支持单个节点的分层负载管理，也实现跨节点的全局负载平衡，减少GPU闲置。

此外在流量优化上，可在平衡负载的同时，通过调整专家分布降低节点间通信数据量，提升整体训练效率。