上海智元机器人团队与北大合作，提出了OmniManip架构，旨在解决视觉语言模型(VLM)在机器人通用操作中的挑战。该架构利用以对象为中心的3D交互基元，将VLM的高层次推理转化为机器人低层次的精确动作。通过引入VLM规划和机器人执行的双闭环系统，有效解决了大模型幻觉问题和真实环境操作的不确定性。OmniManip的关键设计包括基于VLM的任务解析、以物体为中心的交互基元作为空间约束以及闭环VLM规划和机器人执行，实现了操作性能的突破，并展现了通用的泛化能力。

💡 基于VLM的任务解析：利用VLM强大的常识推理能力，将复杂任务分解为结构化的阶段，明确指定每个阶段中的主动物体、被动物体和动作类型，从而实现任务的有效分解。

📐 以物体为中心的交互基元作为空间约束：通过3D基座模型生成任务相关物体的3D模型和规范化空间，使VLM能够直接在该空间中采样3D交互基元，作为动作的空间约束，优化求解主动物体在被动物体坐标系下的目标交互姿态。

🔄 双闭环系统设计：引入闭环VLM规划，通过渲染物体图像并由VLM评估与重采样，实现VLM对自身规划结果的闭环调整；同时，通过物体6D姿态跟踪器实时更新物体位姿，转换为机械臂末端执行器的操作轨迹，实现闭环机器人执行。

IT之家 1 月 23 日消息，如何将视觉语⾔基础模型（Vision  Language  Models,  VLMs）应⽤于机器⼈以实现通⽤操作是具身智能领域的⼀个核⼼问题，这⼀⽬标的实现受两⼤关键挑战制约：

VLM 缺少精确的 3D 理解能⼒：通过对⽐学习范式训练、仅以 2D 图像 / ⽂本作为输⼊的 VLM 的天然局限；

⽆法输出低层次动作：将 VLM 在机器⼈数据上进⾏微调以得到视觉 - 语⾔ - 动作（VLA）模型是⼀种有前景的解决⽅案，但⽬前仍受到数据收集成本和泛化能⼒的限制。

上海智元新创技术有限公司官方今日发文称，北⼤携⼿智元机器⼈团队提出 OmniManip 架构，基于以对象为中⼼的 3D 交互基元，将 VLM 的高层次推理能力转化为机器⼈的低层次高精度动作。

针对⼤模型幻觉问题和真实环境操作的不确定性，OmniManip 引⼊了 VLM 规划和机器⼈执⾏的双闭环系统设计，实现了操作性能突破。目前项⽬主⻚与论⽂已上线，代码与测试平台即将开源。

IT之家从智元机器人官方获悉，OmniManip 的关键设计包括：

基于 VLM 的任务解析：利⽤ VLM 强⼤的常识推理能⼒，将任务分解为多个结构化阶段（Stages），每个阶段明确指定了主动物体（Active）、被动物体（Passive）和动作类型（Action）。

以物体为中⼼的交互基元作为空间约束：通过 3D 基座模型⽣成任务相关物体的 3D 模型和规范化空间（canonical space），使 VLM 能够直接在该空间中采样 3D 交互基元，作为 Action 的空间约束，从⽽优化求解出 Active 物体在 Passive 物体规范坐标系下的⽬标交互姿态。

闭环 VLM 规划：将⽬标交互姿态下的 Active / Passive 物体渲染成图像，由 VLM 评估与重采样，实现 VLM 对⾃身规划结果的闭环调整。

闭环机器⼈执⾏：通过物体 6D 姿态跟踪器实时更新 Active / Passive 物体的位姿，转换为机械臂末端执⾏器的操作轨迹，实现闭环执⾏。

此外，OmniManip 具备通⽤泛化能⼒，不受特定场景和物体限制。团队已将其应⽤于数字资产⾃动标注 / 合成管道，实现⼤规模的机器⼈轨迹⾃动采集。该研究团队将开源泛化操作⼤规模数据集和对应的仿真评测基准。

据IT之家此前报道，以“天才少年”身份加入华为的稚晖君于 2022 年底宣布离职，创业智元机器人。2024 年 9 月 3 日，智元机器人完成 A++++++ 轮融资，估值已超过 70 亿元，得到了包括北汽、上汽、比亚迪在内的国内汽车巨头支持。

目前，智元机器人量产的第 1000 台通用具身机器人已于本月（1 月 6 日）正式下线，其中包括 731 台双足人形机器人（远征 A2 / 灵犀 X1）和 269 台轮式通用机器人（远征 A2-D / A2-W）。