智源社区 03月13日 16:01
李飞飞团队具身智能新作:500美元,一切家务机器人帮你干
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

李飞飞团队推出BEHAVIOR Robot Suite (BRS),这是一个旨在解决家庭服务机器人全身操作难题的综合框架,核心组件成本低于500美元。BRS通过新型双臂移动机器人,挑战机器人学习领域中“圣杯”级难题——通用日常家庭任务。该框架重点关注机器人三项关键能力:双臂协同、稳定导航和广泛的可操作范围。通过JoyLo遥操作接口和WB-VIMA学习算法,BRS实现了高效的全身协调控制,并在清洁、整理等家务任务中表现出色。该研究为实现通用家庭机器人迈出了重要一步,并已开源全部代码和数据。

🤖 BRS框架的核心在于解决机器人在家庭环境中执行通用日常任务时面临的全身操作问题,它提供了一个低成本的解决方案,使得更多研究者和开发者能够参与到家庭服务机器人的研究中。

🕹️ JoyLo是一种低成本的全身遥操作接口,它利用运动学孪生臂和任天堂Joy-Con控制器,实现了高效的全身控制,并提供了丰富的用户反馈,从而优化了策略学习的数据质量。用户研究表明,JoyLo在任务成功率和用户友好性方面均优于VR控制器和Apple Vision Pro。

🧠 WB-VIMA学习算法通过建模机器人的固有运动学层次结构来学习全身动作。它采用Transformer架构,并结合自回归全身动作去噪和多模态观察注意力机制,解决了移动基座或躯干动作中的微小错误在末端执行器处被放大的问题,从而实现整体的协调运动。

🏠 BRS框架在清洁房屋、清洁厕所、倒垃圾、放置物品到架子上和晾晒衣服等多个具有代表性的家庭任务中进行了评估,实验结果表明BRS能够有效地完成这些任务,并验证了JoyLo和WB-VIMA的有效性。

现如今机器人又是跑步又是后空翻,但到底什么时候能做上家务给人类养养老?

现在,为了挑战这个难题,李飞飞团队带来了具身智能研究最新成果——???????? ????? ????? (???),一个解决机器人在家庭任务中全身操作问题的综合框架。

并且,其核心组件的实现成本还不到500美元

机器人学习领域中的一个“圣杯”级挑战是执行通用的日常家庭移动操作任务。借助一款新型双臂移动机器人,我们的最新成果——BRS正在尝试攻克这一极为困难且尚未解决的难题!

拧开门把手,早上出去丢个垃圾:

等大人上班后,再帮忙整理下杂货架:

顺带收拾下客厅,将脏碗放到洗碗机里:

然后任劳任怨,再里里外外刷干净马桶:

吭哧吭哧一顿收拾下来,一个机器人就把所有家务活包圆了。

而且研究团队还发现,即使干活时出了岔子,机器人也能自我纠正。

(一开始手臂范围无法够着马桶盖,然后有一个向前倾斜身体的动作)

网友们纷纷表示,离实现可通用的家庭机器人又更进一步了。

那么,李飞飞团队究竟是如何做到的?

核心瞄准三项全身控制能力

根据论文介绍,通过细致分析BEHAVIOR-1K(包含1000项日常家庭活动的机器人测试基准),团队首先确定了机器人成功完成各种家务活动所必需的三项全身控制能力

    两只机械手臂之间的协同配合能力;

    稳定精确的导航;

    机械手臂末端执行器拥有广泛的可操作范围和触及能力;

尤其是最后一项,大多数人可能忽视了末端执行器控制这一关键能力。

因为在家庭环境中,日常物品通常位于不同高度和位置,因此机器人也必须相应地调整其伸展范围。

基于上述考虑,团队认为给家务机器人配备双臂、移动底座和灵活躯干,是实现全身操作的关键。

具体而言,他们选择了Galaxea R1机器人(国内星海图出品)作为硬件,其具备两个6自由度手臂(每个手臂都配备了一个平行钳口夹持器)、4自由度躯干和全向移动底座,能满足家庭任务所需的关键能力。

不过,这类复杂设计给策略学习方法带来了重大挑战,尤其是在数据规模化采集全身协作方面。

对此,BRS通过两项关键创新来解决软硬件协同问题:

    推出JoyLo,一种通用的低成本全身遥操作接口;

    提出新的学习算法WB-VIMA;

展开来说,JoyLo(Joy-Con on Low-Cost Kinematic-Twin Arms)通过基于操纵木偶的方法,利用运动学孪生臂和任天堂Joy-Con控制器,实现高效的全身控制。

同时提供丰富的用户反馈,优化了策略学习数据质量。

总成本不超过500美元的情况下,团队在R1机器人上实现了JoyLo的设计目标:

    高效的全身协调控制系统,实现复杂动作的流畅衔接;

    丰富的用户反馈机制,带来直观的远程操作体验;

    确保高质量的示范动作,提升策略学习效果;

    低成本实现方案,大幅提高系统可及性;

    实时、便捷的控制器设计,确保操作无缝顺畅。

而另一项WB-VIMA(Whole-Body VisuoMotor Attention)学习算法,核心目标是利用机器人的固有运动学层次结构来建模全身动作。

基于Transformer,通过自回归全身动作去噪和多模态观察注意力机制,WB-VIMA能帮助机器人有效学习协调的全身动作。

同时在训练和部署时,使用特定的优化器和噪声调度器,并在工作站上进行推理以实现低延迟控制。

值得一提的是,WB-VIMA还解决了一个关键问题:

尤其在人形机器人中,在移动基座或躯干动作中出现的微小错误会在末端执行器处显著放大

对此,WB-VIMA在预测下游组件动作时,不是孤立地进行,而是先分析上游组件当前的动作状态、位置等信息,将这些信息作为条件和依据,去推算下游组件应该做出怎样的动作,从而实现整体的协调运动。

BRS适用于各种家庭任务

研究团队在五个具有代表性的家庭任务上评估BRS,包括清洁房屋、清洁厕所、倒垃圾、放置物品到架子上和晾晒衣服。

结果表明,BRS能完成多种家庭任务。


同时,实验环节还进一步验证了两个创新方法的有效性。

整体而言,JoyLo在数据收集效率、策略学习适用性和用户体验方面表现出色,WB-VIMA在性能上优于基线方法。

对于JoyLo,团队对10名参与者进行了全面的用户研究,以评估JoyLo的效果及其收集数据对策略学习的适用性。

下图为JoyLo与VR控制器和Apple Vision Pro进行比较的示意:

从结果来看,JoyLo在所有接口中表现出色,任务成功率最高、完成时间最短,其完成任务平均成功率是VR控制器的5倍,而使用Apple Vision Pro无人能完成全部任务。

且在用户研究中,所有参与者都认为JoyLo是最友好的界面。

另外,WB-VIMA在所有任务中全面超越基准方法。

其端到端任务成功率比DP3高13倍,比RGB-DP高21倍;平均子任务表现分别优于DP3(1.6 倍)和RGB-DP(3.4 倍)。

而且WB-VIMA在任务中出错的几率更小。它与环境物体的碰撞极少,且几乎不会因施加过度力量而导致电机失去动力。

最后,关于BRS框架的所有工作已全部开源,感兴趣可以进一步了解。

项目主页:https://behavior-robot-suite.github.io/论文:https://arxiv.org/abs/2503.05652算法代码:https://github.com/behavior-robot-suite/brs-algo机器人代码:https://github.com/behavior-robot-suite/brs-ctrl训练数据:

https://huggingface.co/datasets/behavior-robot-suite/data

参考链接:
https://x.com/drfeifei/status/1899127976979226835

评选报名2025年值得关注的AIGC企业&产品

下一个AI“国产之光”将会是谁?

本次评选结果将于4月中国AIGC产业峰会上公布,欢迎参与!

一键关注 ? 点亮星标

科技前沿进展每日见


一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

内容中包含的图片若涉及版权问题,请及时与我们联系删除

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

具身智能 家庭机器人 机器人学习 李飞飞团队
相关文章