IT之家 21小时前
英伟达推出 Cosmos-Reason1 系列模型,让 AI 理解物理常识
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

英伟达发布了 Cosmos-Reason1 系列模型,旨在提升 AI 在物理推理和具身智能方面的表现。该模型分为 7B 和 56B 两个版本,通过监督微调和强化学习进行训练,结合视觉编码器处理视频数据,实现文本和视觉的同步推理。Cosmos-Reason1 引入了双本体系统,将物理常识细分为多个类别,并映射具身代理的推理能力。该模型在物理常识和具身推理基准测试中表现出色,尤其在强化学习训练后,在预测行动、验证任务和评估可行性等方面取得了显著进展,有望应用于机器人和自动驾驶等领域。

💡 物理 AI 面临的挑战:传统 AI 在物理环境中的应用受限,主要因为其缺乏对物理世界的直观理解。在物理世界中进行训练成本高昂且风险大,阻碍了开发进程。

🚀 Cosmos-Reason1 的创新之处:英伟达推出的 Cosmos-Reason1 系列模型,旨在解决上述挑战。该模型通过 Physical AI Supervised Fine-Tuning (SFT) 和 Physical AI Reinforcement Learning (RL) 两个阶段进行训练,为物理推理提供了新的解决方案。

🧐 模型的技术细节:Cosmos-Reason1 包含 7B 和 56B 两个版本,采用仅解码器的大型语言模型 (LLM),并结合视觉编码器处理视频数据。它引入了双本体系统,一个用于细化物理常识,另一个用于映射具身代理的推理能力。训练数据包含约 400 万条标注视频-文本对。

🏆 卓越的性能表现:Cosmos-Reason1 在物理常识和具身推理基准测试中表现出色。特别是在 RL 训练后,模型在预测下一步行动、验证任务完成和评估物理可行性等方面取得了显著进步。

⚙️ 应用前景:Cosmos-Reason1 模型在机器人、自动驾驶车辆等领域具有潜在的应用价值。它有望提升 AI 在复杂物理环境中的表现,推动相关技术的发展。

IT之家 5 月 21 日消息,科技媒体 marktechpost 昨日(5 月 20 日)发布博文,报道称英伟达针对物理推理任务,设计推出了 Cosmos-Reason1 系列模型,提升了 AI 在物理常识和具身推理方面的表现,为机器人、自动驾驶车辆等领域带来实际应用潜力。

Physical AI 挑战

人工智能(AI)在语言处理、数学和代码生成领域取得显著进步,但将其能力扩展到物理环境仍面临挑战。

不同于传统 AI,Physical AI(物理 AI)依赖视频等感官输入,结合现实物理法则生成反应,涉及导航、操作和交互等任务,需要常识推理和对空间、时间及物理规律的具身理解。

AI 模型目前对物理世界的连接薄弱,无法直观理解重力或空间关系,导致在具身任务中表现不佳,而直接在物理世界中训练成本高且风险大,严重阻碍了开发进程。

Cosmos-Reason1:创新突破物理推理

英伟达最新推出 Cosmos-Reason1 系列模型,迎接上述挑战,为物理推理提供了新方案。

IT之家援引博文介绍,该模型分为 Cosmos-Reason1-7B 和 Cosmos-Reason1-56B 两个版本,通过 Physical AI Supervised Fine-Tuning(SFT)和 Physical AI Reinforcement Learning(RL)两个阶段训练。

研究团队引入双本体系统:一个分层本体将物理常识分为空间、时间和基础物理三大类,细化为 16 个子类;另一个二维本体则映射人类、机械臂、人形机器人等五种具身代理的推理能力。

模型架构采用仅解码器的大型语言模型(LLM),结合视觉编码器处理视频数据,实现文本和视觉数据的同步推理。训练数据包含约 400 万条标注视频-文本对,涵盖动作描述和复杂推理任务。

团队为此构建了针对物理常识的三个基准(604 个问题,426 个视频)和针对具身推理的六个基准(610 个问题,600 个视频)。

Cosmos-Reason1 模型在物理常识和具身推理基准测试中表现出色,尤其在 RL 训练后,模型在预测下一步行动、验证任务完成和评估物理可行性等方面取得显著进步。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

英伟达 Cosmos-Reason1 物理 AI 具身智能 人工智能
相关文章