原创 DeepTalk 2025-03-17 20:23 北京

大模型浪潮下，你是否想过，“小”也能创造颠覆？当DeepSeek席卷全球时，另一场静默的革命正在发生——从你的手机、汽车到家用机器人，只需几亿参数的小模型，正以更快的响应、更低的功耗，

来自DeepTech深科技音频：参数即权力？小模型如何用“减法逻辑”重构AI基础设施

点击收听 DEEPTALK 播客

大模型浪潮下，你是否想过，“小”也能创造颠覆？当 DeepSeek 席卷全球时，另一场静默的革命正在发生——从你的手机、汽车到家用机器人，只需几亿参数的小模型，正以更快的响应、更低的功耗，悄然重塑 AI 落地的逻辑。它们如何在终端设备上实现“麻雀虽小，五脏俱全”？又如何与云端大模型协同，构建未来智能生态？本期 DeepTalk 揭开小模型的技术密码：从知识蒸馏到端云博弈，从隐私守护到开源平权，看“小而美”如何撬动万亿级 AI 商业化未来。

本期嘉宾

韩旭：清华大学计算机系助理研究员

主要研究方向为人工智能、自然语言处理、大模型、知识计算。在人工智能及自然语言处理领域会议及期刊发表数十篇，Google Scholar 他引 10000 余次。参与创建大模型开源社区 OpenBMB，相关开源项目在全球最大开源社区 Github 累计获得 6 万余星标。

时间轴

2:20

什么是小模型？

5:37

从技术角度对比小模型和大模型

10:54

小模型是否需要更加优质的数据？

15:44

小模型是否可以完全部署到端侧？

28:30

小模型的应用的优势和局限性

40:18

小模型的多模态

57:28

全球模型竞争中，小模型的竞争状态如何？

内容聚焦

小模型的核心特点

小模型通过精简参数规模（通常为几亿至几十亿）实现高效部署，结合稀疏激活、知识蒸馏等技术，在保持性能的同时显著降低算力与存储需求。其核心优势在于端侧部署能力，适用于手机、汽车、IoT 设备等终端，响应速度快、功耗低，且能通过本地化数据处理保护用户隐私。此外，小模型虽参数有限，但通过与大模型协同（端云互补），可覆盖 80% 的日常任务（如订票、简单推理），复杂任务则依赖云端大模型，形成通用性与专用性结合的智能生态。

技术路径与挑战

小模型的训练依赖知识蒸馏技术，即利用大模型生成高质量合成数据，指导小模型模仿大模型的行为逻辑，从而弥补参数规模的不足。同时，数据质量与芯片适配成为关键：需通过高信息密度数据提升单位参数效能，并针对终端芯片优化算力分配。多模态处理是另一挑战，需分通道编码图像、语音等输入，再融合特征进行跨模态理解，但需平衡存储效率与计算资源消耗。此外，小模型的幻觉问题（因参数少导致知识记忆不足）仍需通过强化数据对齐和上下文学习缓解。

应用场景

小模型在终端设备（如手机、智能家居）中实现本地化智能交互，例如冰箱监测食品状态、机器人理解语音指令。隐私敏感领域（医疗、金融）通过端侧处理数据，仅将复杂分析交由云端，既保障隐私又提升效率。教育场景中，小模型可本地部署为个性化学习助手，避免依赖云端服务的延迟与隐私风险。工业领域（无人机、机械臂）则结合端侧实时响应与云端决策支持，优化控制精度与能耗。

未来趋势与争议

云端协同将成为主流模式：终端处理高频低复杂度任务（如语音唤醒），云端专注高算力需求（如科研分析）。开源生态（如 DeepSeek）推动技术平权，降低企业部署门槛，但需平衡商业化与社区贡献。争议点集中于小模型的幻觉问题、多模态融合的技术瓶颈，以及“模型能力可用性”的评估标准缺失（依赖人工评测或固定测试集）。此外，端侧芯片算力提升可能模糊端云界限，促使小模型向更大参数演进，但需解决功耗与成本的矛盾。

行业影响

小模型推动科技平权，赋能中小企业和个人开发者低成本接入 AI 能力，例如开源框架支持本地化部署。教育领域从技能训练转向思维培养，AI 工具（如代码生成、知识检索）辅助学生聚焦逻辑构建而非机械记忆。人机协作模式深化，AI 在科研、法律咨询中成为“协作者”，但需应对伦理争议（如数据归属）与就业冲击（低技能岗位替代风险）。整体上，小模型与云端大模型共同构建下一代 AI 基础设施，驱动智能技术向普惠化、场景化发展。

制作团队

主持人：冰冉‍‍‍‍‍‍‍‍

剪辑：嘉鱼

运营：大壮

往期