DeepSeek开源周第四弹发布了三项核心技术：DualPipe、EPLB和全流程性能分析（profile-data）。DualPipe是一种双向流水线并行算法，旨在减少分布式训练中的空闲时间，提升GPU利用率。EPLB则用于解决混合专家模型（MoE）中GPU负载不均的问题，将高负载专家的副本分配到空闲GPU，提升资源利用率。DeepSeek还公开了从训练到推理的全链路性能数据，展示了其优化计算和通信的细节，降低端到端训练延迟。这些技术共同致力于提升大规模AI模型训练的效率和资源利用率。

🚀DualPipe是一种双向流水线并行算法，通过“双向管道调度”和“计算通信重叠”，减少分布式训练中的流水线“气泡”（空闲时间），使训练过程更顺畅，从而提升GPU利用率。

⚖️EPLB（专家并行负载均衡器）专为解决混合专家模型（MoE）中GPU负载不均的问题而设计，通过将高负载专家的副本分配到空闲GPU，将负载差异控制在 5%以内，避免GPU资源闲置，有效提升资源利用率。

📊DeepSeek公开了从训练到推理的全链路性能数据（profile-data），这些数据清晰地展现了DeepSeek-AI如何精细地优化计算和通信，通过量化计算与通信的时间重叠比例，识别训练瓶颈，指导算法或系统优化，降低端到端训练延迟。

来源：华尔街见闻

一口气放出三个王炸！DeepSeek“开源周”第四弹，开源最新优化并行策略，包括DualPipe、专家并行负载均衡器（EPLB）和全流程性能分析（profile-data）。

据介绍，DualPipe和EPLB是面向大规模AI模型训练的两项核心技术，分别聚焦于分布式训练效率优化和专家并行负载均衡，均为V3/R1设计。

具体而言，DualPipe是一种双向流水线并行算法，它通过“双向管道调度”和“计算通信重叠”，旨在减少分布式训练中的流水线“气泡”（空闲时间），让训练过程像流水线一样顺畅，提升GPU利用率。

EPLB则是为了解决混合专家模型（MoE）中GPU负载不均的问题而设计的算法，能够将高负载专家的副本分配到空闲GPU，实测负载差异控制在 5%以内，避免GPU资源闲置提升资源利用率。

最后，DeepSeek直接公开了从训练到推理的全链路性能数据，这些用Chrome浏览器就能可视化效率运行的链路。

这些性能数据清晰地展现了DeepSeek-AI是如何精细地优化计算和通信的：通过量化计算（如矩阵运算）与通信（如梯度同步、参数传输）的时间重叠比例，识别训练瓶颈，指导算法或系统优化，降低端到端训练延迟。

编辑/jayden