面壁智能 2024-08-21 20:57 北京
首个端侧大脑+具身机器人演示
大模型与机器人融合的 “具身智能”，一定是未来三十年最令人期待的科技突破！
2024 世界机器人大会期间，面壁智能联手加速进化机器人（Booster Robotics），打造出完整“具身智能”的先驱方案，业界首个高效端侧模型运行在人形机器人的演示，理解、推理、并与物理世界互动的智能系统，这激动人心的未来场景，已拉开帷幕！
面壁小钢炮 MiniCPM 端侧模型之前在 PC、平板、手机已有实际运行，此次面壁智能与加速进化机器人（Booster Robotics）的合作，是 MiniCPM 端侧模型首次植入到机器人端，而且是运动控制、任务执行、场景复杂度最高、最通用的人形机器人。
作为「端侧大脑」适配的具身机器人，与面壁智能合作的加速进化机器人（Booster Robotics）成立于 2023 年，致力于打造人形机器人产品，联合全球开发者，推动生产力变革。加速进化机器人公司也是国内为数不多能正向设计人形机器人本体的团队，拥有行业稀缺的专注在双足/人形领域的研发经验，团队成员在运控算法、人形本体上有前沿技术积累。
2024 世界机器人大会期间，作为首个非云端大模型成为机器人“大脑”的方案，具身机器人在接收和理解人类指令、动作流畅、精确完成指定任务方面，给观众留下了深刻的印象。
现场，具身机器人要根据人类的语音命令，精准选择不同颜色的小球，开球，简单控球，指定门框射门。这对机器视觉、运动控制、定位导航、端侧模型的文本指令生成和流畅交互，均需要达到很高的水平，整个软硬件耦合，多系统协作，挑战不小。
语音识别，基于真实场景的多轮次大模型文本交互，语音回复或任务执行，此次表演，展示了从接收指令—端侧大脑处理—机器人任务执行，这一理想的人类与机器人交互过程的初步实现
端侧模型进入机器人的挑战要高于手机和 PC，却是面向最终级的应用。
端侧模型更适配一定的计算和内存硬件设定下，机器人高并发、高精度多模态数据处理。机器人在真实物理空间中自主导航，进行各种操作，需要精确和高帧率的空间感知、理解、计算能力。多传感器融合，不同传感器产生的数据在空间及时间上的同步和融合，使得机器人“大脑”对计算资源、内存和带宽、功耗要求较高。高效率的端侧模型，相比云端大模型，更擅长快速高并发的数据处理，特别是在硬件受限的情况下。
端侧模型超低延时的端侧指令，具有天然优势。机器人执行任务时需要低延迟的控制系统，确保动作的准确性和及时性，特别是在高速移动或精细操作时。执行真实任务，信号延迟和执行同步之间，差之毫厘，可能就带来灾难性的后果。端侧模型不依赖于网络即可正常运作，几乎不存在指令延迟。
以上种种，高效端侧模型与具身机器人的结合，都能大大加速具身智能的快速落地。面壁最新的 MiniCPM-V 2.6 端侧多模态模型，具有强大的实时视频理解、单图和多图理解能力，仅仅 8B 参数量尺寸，多模态性能达到全面对标 GPT-4V 的水平，而且压缩到最小 6-7GB 内存即可在端侧运行。端侧模型与机器人的融合，基于自然语言理解交互，泛化场景指令，端侧超低指令延时，强大全面的多模态能力，高并发实时数据处理，高效硬件资源利用，场景数据隐私和安全，面壁小钢炮 MiniCPM 端侧模型都已初步具备相关能力，应用潜力巨大。
真正智能的最后一步必然是物理智能（physical intelligence），机器人与之前的手机、PC 有所不同，它会进一步推进人工智能的发展。面壁智能「端侧大脑」和机器人的结合，向物理智能的探索，让人工智能正从数字世界逐渐走向真实的物理世界。
欢迎加入 OpenBMB 开源社区一起讨论：
? 面壁官网：https://modelbest.cn
? 商务合作：business@modelbest.cn
? 加入我们：career@modelbest.cn
