报告主题：OakInk与OakInk2数据集：解锁操作任务中的手物交互任务的“宝藏”框架

报告日期：02月21日（本周五）10:30-11:30

报告要点:

学习长程、复杂操作任务一直是具身智能面临的挑战。追溯以往的研究，数据驱动的操作行为学习依赖于物体操作知识和人类专家演示数据。本次分享将介绍我们构造的OakInk系列数据集，其中“Oak”对应物体可供性知识，即物体所能提供的功能；而“Ink”对应手物交互知识，即在指定物体功能之上人的交互和操作形式。OakInk数据集关注基于可供性物体抓取交互，以及这些手物交互在不同物体实例之间的迁移。OakInk2扩展了OakInk的数据与方法论，以物体功能为核心，在操作任务上构建了三个抽象层次：功能可供性、基本任务与复杂任务，涵盖了实际完成多个物体可供性的复杂操作任务演示。OakInk系列数据集以物体功能为中心的建模方式旨在赋予AI完成长程复杂任务的操作知识基础；所提供的大规模人类专家演示轨迹也为下游的机器人灵巧操作提供数据支持。

报告嘉宾：

詹欣宇，上海交通大学MVIG实验室在读博士生，目前在杨理欣老师组内开展学习与工作。主要研究领域为人类手物交互理解以及其在机器人操作任务完成之中的应用。参与了OakInk系列数据集的构建工作，并作为核心成员完成了OakInk2数据集的建模与构造。相关成果发表于ICCV、CVPR等会议。

扫码报名

更多热门报告