◎张史梁
端侧多模态数据的智能解析技术是当前制约自动驾驶、人形机器人、低空经济等战略新兴产业快速发展的技术瓶颈之一。机载、车载、可穿戴传感器等端侧设备持续生成空前规模的数据，这些数据涵盖文本、图像、点云、音频、视频等多种异构形态。推进对多模态大模型的端侧部署，通过模型量化、知识蒸馏等技术实现百亿参数大模型在终端设备的实时运行和多模态数据智能实时解析，不仅有望使我国在AI技术竞争中获得先发优势，还可能成为解锁产业智能化升级的关键密码，为我国发展新质生产力注入核心动能，具有重大战略意义。
多模态大模型技术优势显著
作为人工智能研究前沿，多模态大模型通过统一架构处理多模态输入与输出，不仅能实现跨模态数据的高效融合与理解，更能挖掘模态间的关联性与互补性，推动人工智能技术从单维感知向多维认知跃迁。当前，主流多模态大模型的参数量级已经突破百亿规模，在多类复杂任务中展现出卓越的性能。具体而言，其技术优势主要体现在以下三个方面。
一是跨模态统一建模。多模态大模型实现了对异构数据的一体化处理与理解，有效缓解了传统多模型拼接带来的系统复杂性问题。例如，自动驾驶系统可以利用多模态大模型同步解析摄像头采集的视频和激光雷达采集的三维点云，实现更准确的场景感知与更安全的行为决策。
二是高阶感知能力。多模态大模型基于海量多模态数据和复杂训练任务完成训练，可以结合多源信息实现精准语义关联、复杂场景理解，以及因果推断与内容生成。例如，主流多模态大模型已经在图文问答、视频摘要生成、多模态检索、视频图像生成等任务中展现出优越性能。
三是泛化性与通用性。多模态大模型可以通过大规模预训练获得多模态数据的通用表征、知识记忆和推理能力，可以有效适配新任务、新数据、新场景。多模态大模型已成为实现“通用人工智能（AGI）”的关键路径之一。
端侧部署面临算力约束与适配难题
多模态大模型的发展遵循“规模定律”，即性能随模型参数量、训练数据量和算力资源的增加而提升。因此，多模态大模型性能的提升，需要复杂计算架构、庞大数据量、大能耗等支撑，导致大模型难以在自动驾驶车辆、无人机等算力受限的终端设备上有效运行。因此，尽管多模态大模型技术优势显著、应用前景广阔，但其在终端落地仍需打破算力与适配瓶颈。
首先，算力约束有待突破。百亿级参数模型需超算平台支撑，而终端设备（如车载芯片、无人机）的算力与能耗受限，导致多模态大模型在端侧实时运行困难。如果将多模态数据在端侧压缩后传输至云侧处理则面临压缩失真、响应延迟、隐私泄露等诸多风险。
其次，适配难题尚需破解。端侧场景动态多变、任务多样，要求多模态大模型进行有针对性的优化与适配，利用有限算力获得最优性能。然而，端侧数据具有标注缺失率高、数据规模有限以及分布动态等特点，难以支撑多模态大模型对端侧场景的快速学习与适配。
需在三个层面开展创新研究
打破算力与适配瓶颈，实现多模态大模型的高效端侧部署，需要从计算架构、协同学习、算力硬件三个层面开展创新。
首先，要创新端侧高效计算架构，包括轻量化跨模态融合模块、硬件感知模型压缩技术、低复杂度计算模型等。针对多模态数据特有的模态内及模态间冗余问题，需研发轻量化跨模态融合模块，通过特征压缩和选择性融合机制降低多模态特征计算复杂度。当前基于多塔架构的模型虽能处理各模态特征，但其串行处理模式导致重复计算和资源浪费。新一代架构需实现模态特征的并行交互处理，例如采用动态门控机制自动筛选关键特征，降低特征数量与计算量。同时，需要针对端侧设备的硬件特性（如异构计算单元、内存带宽限制等），以及任务特点（如感知任务、生成任务等）进行深度优化，开发硬件感知的模型压缩技术，通过混合精度量化、稀疏化剪枝等方法，使模型在保持性能的同时适配移动GPU、NPU等各类端侧芯片，并实现对不同任务的优化处理。此外，还需突破传统Transformer模型的平方级复杂度限制，探索基于网络架构自动搜索、状态空间模型或卷积—注意力混合架构的替代方案，降低模型计算复杂度。
其次，要构建端云协同学习与推理机制，利用知识蒸馏与动态增量学习充分发挥云端大模型的强大泛化能力和端侧数据的实时性优势，实现多模态大模型对端侧的增量学习与动态适配。一方面要通过知识蒸馏技术，利用云端模型为端侧生成高质量的伪标签和特征表示，有效弥补端侧标注数据不足。另一方面要采用参数解耦和动态微调策略，将模型划分为固定通用知识的共享层和可动态调整的任务特定层，使端侧模型既能保持已学知识，又能增量学习新知识，快速适应新场景和新任务。同时，要设计分层决策推理方法，在端侧处理实时简单任务，在云端处理复杂计算，实现算力与效能的平衡优化。端云协同不仅可以解决多模态大模型在自动驾驶、智能终端等场景的落地难题，还可以推动人工智能从“集中式智能”向“分布式智能”的范式升级，为产业智能化转型提供关键技术支撑。
再次，要布局新型算力硬件研发。新型算力硬件的突破性发展可为多模态大模型的端侧部署开辟新路径。目前，3D堆叠、chiplet等先进封装技术的成熟，为端侧设备集成了专用AI加速模块、通用计算单元和传感处理器等异构算力，为多模态大模型提供兼顾性能与能效的硬件底座。未来，需持续突破半导体制造工艺。2纳米及以下先进制程的持续演进可以使得端侧芯片在算力密度和能效比上实现跨越式提升，为百亿参数模型的本地化部署创造硬件条件。同时要创新神经形态计算架构，特别是要协同发展脉冲神经网络与类脑芯片，争取通过模拟生物神经元的脉冲编码机制，在改进计算精度的同时实现能效比的突破性提升。此外，要研发高性能光电互联I/O芯片，利用其光通讯超高带宽、远距离传输等优势，大幅提升云端算力平台上多GPU的互联效率，有力保障分布式学习与推理中多模型间的通讯效率，为构建高效的端云协同计算架构奠定硬件基础。这一系列创新将为多模态大模型的端侧部署提供新型硬件支撑，重塑人工智能计算的产业格局。
（作者系北京大学计算机学院长聘副教授）
