DeepSeek开源周推出最新优化并行策略，包括DualPipe、专家并行负载均衡器（EPLB）和全流程性能数据（profile-data）。DualPipe是一种双向流水线并行算法，旨在减少分布式训练中的流水线“气泡”，提升GPU利用率。EPLB则用于解决混合专家模型中专家负载不均的问题，将高负载专家的副本分配到空闲GPU，提升资源利用率，实测训练速度提升3倍。DeepSeek还公开了从训练到推理的全链路性能数据，并开源性能分析工具包，帮助开发者直观分析计算-通信重叠效率。

🚀DualPipe双向流水线并行算法：通过“双向管道调度”和“计算通信重叠”，减少分布式训练中的流水线“气泡”（空闲时间），提升GPU利用率，使AI训练如同“边做饭边洗碗”般高效。

💡EPLB专家并行负载均衡器：针对混合专家模型（MoE）中专家负载不均导致GPU利用率不足的问题，将高负载专家的副本分配到空闲GPU，类似于滴滴高峰期调度车辆，提升资源利用率，实测GPU负载差异显著降低，训练速度提升。

📊全流程性能数据（profile-data）：DeepSeek公开从训练到推理的全链路性能数据，相当于为AI训练过程拍了张“X光片”，清晰展现计算和通信优化细节，并配套开源性能分析工具包，便于开发者直观分析。

一口气放出三个王炸！DeepSeek“开源周”第四弹，开源最新优化并行策略，包括DualPipe、专家并行负载均衡器（EPLB）和全流程性能数据（profile-data）。

据介绍，DualPipe和EPLB是面向大规模AI模型训练的两项核心技术，分别聚焦于分布式训练效率优化和专家并行负载均衡，均为V3/R1而设计。

具体而言，DualPipe是一种双向流水线并行算法，它通过“双向管道调度”和“计算通信重叠”，旨在减少分布式训练中的流水线“气泡”（空闲时间），让训练过程像流水线一样顺畅，提升GPU利用率。

举例来说，传统AI训练中，GPU因等待数据传输产生的“流水线气泡”可能占用30%以上的时间——而通过DualPipe，可以让AI训练“边做饭边洗碗”的能力，直接让流水线“双向开工”。

值得一提的是，DualPipe由三个人——Jiashi Li、Chengqi Deng和梁文峰共同研发。

在混合专家模型（MoE）中，专家负载不均常导致GPU利用率不足60%。EPLB则是为了解决这一问题而设计的算法，它能够将高负载专家的副本分配到空闲GPU，和滴滴在高峰期“为爆单区域调度更多车辆”的操作类似，进而起到提升资源利用率的作用。

实测显示，GPU负载差异从20%-30%降至5%以内，训练速度提升3倍。

最后一个王炸，DeepSeek直接公开了从训练到推理的全链路性能数据，相当于给AI训练过程拍了张“X光片”，清晰展现了DeepSeek-AI是如何精细地优化计算和通信的。

同时，配套开源的性能分析工具包提供训练、预填充、解码阶段的完整数据追踪，开发者可通过浏览器直观分析计算-通信重叠效率。

编辑/lambor