原创 小黑羊 2025-04-02 10:56 北京
百度飞桨的含金量还在上升~
的确，以算力为核心的硬件部分很重要，但是这些你只要有钱就可以买到
。
你知道吗，其实软的部分同样重要，没软件的话，算力卡就是砖头。1、计算库，比如大家熟知的CUDA里面的cuDNN、cuBLAS等等；
2、深度学习框架，比较流行的有：PyTorch、飞桨（PaddlePaddle）、TensorFlow等，这三大框架也被称为“PPT组合”。
如果拿大家熟悉的电脑举例子↓
算力卡相当于电脑硬件，计算库相当于硬件驱动，而深度学习框架就相当于操作系统。这么说吧，在大模型训推场景里，深度学习框架的地位堪比电脑领域的操作系统，重要程度可想而知。
为什么这么重要？还堪比操作系统？我再来举个更通俗的例子——把训练大模型比作盖楼，那么大楼就是大模型，而各种建材就相当于数据。
盖楼的过程就是模型训练的过程，这其中有三类角色起到关键作用↓GPU/算力卡：相当于先进的施工机械，具备快速盖楼能力。
计算库：相当于精通机械操作的工人，有了他们机器才能开动。
飞桨、Pytorch等深度学习框架：相当于施工总指挥。总指挥要负责把设计图（模型架构、训练逻辑）翻译成具体指令，安排工人（CUDA、cuDNN等）去操控施工机械（GPU）。他还要管理施工过程中的各个细节，如施工进度、材料调配、返工调整等。正经定义：深度学习框架是基于对神经网络表示和计算的抽象封装，为开发、训练、部署AI模型提供全流程支撑的AI基础软件。
核心功能包括模型定义与构建、数据预处理与加载、自动微分、算力卡及其计算库适配对接、计算图执行和加速优化、分布式训练、推理部署等等。
一个大楼盖下来，人们往往看到机械运转（算力卡），工人忙碌（计算库），却忘记了背后的那个运筹帷幄、统揽全局的总指挥（深度学习框架）。实际上，不管传统AI、机器学习时代，还是如今的大模型时代，深度学习框架都是不可或缺的铁三角之一。DeepSeek井喷之后，国产大模型的训练、优化，以及推理应用越来越普及。一方面国内大厂纷纷推出新一代的基础模型，另一方面这些模型迅速在各行各业落地生根。这波新行情来势汹汹，在技术层面和生态层面，对深度学习框架提出了新要求。
从技术层面看，大规模分布式训练和并行推理成为新常态，同时模型迭代周期变短，需要框架提供更好的支持，无论训推的性能上还是开发的灵活性上。
从生态层面看，大量国产算力芯片、国产模型开始唱主角，同样需要框架能够适配。
面对这些新变化，哪个框架能快速适应，就会更受欢迎。
事实上，三大主流框架中（P、P、T），百度飞桨（PaddlePaddle）早早就做好了准备。大规模分布式训练本质上是多个节点协作完成神经网络训练任务，涉及到复杂的计算图优化、通信优化，同时又需要保证开发灵活性与执行效率之间的平衡。飞桨拥有一项独门绝技：动静统一，可以完美契合这种需求。在深度学习中，神经网络的计算过程通常都可以抽象成计算图，这个图的作用至关重要。计算图把复杂的数学运算用图（节点与边）直观地表示出来，进而实现自动计算、自动优化、自动求导。这就好比盖楼时需要施工图，有了施工图，所有人才知道如何正确施工、如何合理搭配建材、如何提高效率缩短工期。计算图通常由两种，一种叫做动态图，就是在运行时动态来构建计算图。就好比你一边盖楼，一边画施工图，随建随画，按需灵活修改。与动态图相对应的，是静态图，是指在编译或构建阶段实现确定图结构，然后再执行训练或推理。就好比盖楼的时候，施工前所有的图纸必须是定好了的，然后盖楼一气呵成，效率才有保障。说白了，动态图在计算时创建，易于动态控制、快速迭代，适合搞研究和开发。而静态图结构固定，可以提前优化好，执行效率高，但没法按需动态调整，灵活性不够。适合严肃的生产级部署场景、高效推理。动态图灵活，但分布式效率低，静态图性能高，但分布式开发体验差。偏偏新时代的“盖楼”需求，两样都想要。此时，压力就给到施工总指挥（深度学习框架）这里了，只有把静态图和动态图两者的优势统一起来，才能更好地适应新时代“盖楼”节奏。这种“鱼和熊掌兼得”，恰恰就是百度飞桨提出并一直在强调的「动静统一」能力。飞桨允许灵活选择动静模式，一键转换，无缝支持大规模训推。开发时用动态图模式，保证灵活性与易用性， 训练、部署时自动转换为静态图，实现分布式性能优化（通信优化、并行优化、减少冗余操作）。import paddlepaddle.disable_static() x = paddle.to_tensor(1.)y = paddle.to_tensor(2.)print(x + y)paddle.enable_static()
就这样，动静统一让百度飞桨成为当下分布式训推场景表现更优秀的框架。比如飞桨提供了对模型训练的特别优化，有效提升训练吞吐率、训练有效率和收敛效率，并提供软硬一体的大模型自动容错方案。在大模型训推过程中，需要处理大量数据，经常要用到一种叫「注意力机制（Attention）」的计算方法。让模型从长长的文本中，找出哪些信息是重要的，哪些信息可以忽略。飞桨首创了「FlashMask 动态注意力掩码」：加速大模型灵活注意力掩码计算，有效提升长序列建模能力和训练效率。
这项独门技术，巧妙地对注意力机制的计算过程进行优化和简化，支持灵活多样的注意力掩码模式，减少模型在进行长文本处理时不必要的计算和存储需求。从而模型在处理更长文本时，速度更快，占用显存更少，优化长文处理能力和多轮交互表现。
同时，针对多模态模型、长序列等关键训练场景以及训练突刺、训练资源变化和训练中断恢复等实际问题，飞桨创新性的拿出了一系列优化技术。
这些技术包括：多模型结构混合并行、分片切分并行、灵活批次虚拟流水线、存算平衡的重计算、AdaGC自适应梯度裁剪和ZCC Ckpt高效转存等技术等等。
然后，再结合模型算法特点和实际训练场景，从并行策略、计算优化、算法效率、集群容错等各个方面进行全栈优化。
不仅如此，面对当下火爆的大模型推理需求，飞桨针对推理场景也做了大量优化。比如飞桨PaddleSlim技术，为模型压缩瘦身，在效果无损的前提下，大幅降低推理算力开销。刚刚发布的飞桨框架3.0，又为我们带来了更多技术亮点↓比如自动并行、神经网络编译器自动优化等等，所有这一切都是为大规模分布式训练和推理未雨绸缪。目前，国产化算力已经开始全面上线（昆仑芯、昇腾、海光、寒武纪、沐曦……），算力短缺的情况会缓解，未来的大模型训推，国产算力会逐渐唱主角。但是，市面上的其他流行框架，对国产算力卡、计算库、国产模型的支持，存在严重短板。
飞桨则拥有更加开放的生态，对国产化算力的支持，在业内是独一无二的，而且，飞桨也支持所有主流大模型。同时，飞桨框架3.0还进一步简化了硬件适配，为大模型硬件适配提供了功能完善且低成本的方案。3月16日，百度发布了新一代原生多模态基础大模型文心4.5，通过多个模态联合建模实现协同优化，多模态理解能力优秀；具备更精进的语言能力，理解、生成、逻辑、记忆能力全面提升，去幻觉、逻辑推理、代码能力显著提升。
在文心4.5的训练和部署上线过程中，飞桨发挥了重要的作用。
可以想象一下，未来几年的名场面：国产AI框架的统筹调度之下，国产算力卡、国产计算库、国产大模型协同作战…总指挥、工人、施工机械，全国产化方案，一条龙盖楼喽！
阅读原文
跳转微信打开
