富途牛牛头条 01月08日
英偉達開源世界基礎模型,人形機器人加速邁向「ChatGPT時刻」
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

英伟达近日发布物理AI大模型Cosmos,旨在通过预测现实环境,如仓库、路况等,为机器人和自动驾驶汽车的训练提供支持。该模型能够理解世界语言、物理特性和空间位置,并合成物理数据,是加速AI终端普及的关键。Cosmos将以开源形式发布,首批用户包括多家机器人和汽车厂商。此前,英伟达已尝试使用仿真环境训练机器人,并证明合成物理数据的有效性。机构认为,在人形机器人训练中,合成数据将大大促进其发展,机器人行业或将迎来新的发展机遇。

🤖 Cosmos模型能够基于文本、图像、视频以及机器人传感器数据,生成物理学相关的视频,从而预测现实环境,如仓库、工厂、交通路况等,为机器人和自动驾驶汽车的训练提供支持。

⚙️ 英伟达的Cosmos模型将以开源形式发布,首批用户涵盖了1X、Agile Robots、Agility、Figure AI、小鹏汽车等国内外十余家机器人和汽车厂商,表明了其在行业内的广泛应用前景。

📈 机构认为,在人形机器人训练数据的收集方式中,合成数据将大大促进机器人发展,因为相较于采集真机数据,合成数据成本更低、速度更快,且已被学界证明可行,这预示着机器人大脑即将迎来ChatGPT时刻。

💡 与此同时,其他公司也在积极研发世界模型,例如谷歌发布了Genie2,可生成逼真的3D世界,而1X Technologies则发布了人形机器人世界模型,进一步推动了该领域的发展。

①近日,英伟达发布物理AI大模型Cosmos,能够预测仓库、路况等环境以训练机器人; ②据英伟达披露名单,Cosmos首批用户包括1X、Agility、Figure AI、小鹏汽车等厂商; ③券商认为,在人形机器人训练数据的收集方式中,合成数据将大大促进机器人发展。

《科创板日报》1月8日讯谷歌-A (GOOGL.US) / 谷歌-C (GOOG.US) 、OpenAI、 微软 (MSFT.US) 等全球顶尖科技大厂纷纷看好的具身智能,正加速迎来它的ChatGPT时刻。

近日, 英伟达 (NVDA.US) 掌门人黄仁勋在CES演讲上正式推出物理AI大模型Cosmos。据介绍,这款模型使开发者能够根据文本、图像和视频等输入组合以及机器人传感器或运动数据生成基于物理学的视频,实现对现实环境(如仓库、工厂、交通路况等)的预测,从而完成对机器人和自动驾驶汽车的训练。

所谓物理AI大模型,即是世界基础模型,其能够理解世界语言、物理特性、空间位置等要素,并合成相关物理数据。是加速智能汽车、具身智能等AI终端普及的关键所在。相较于ChatGPT等大语言模型的飞跃式进程,世界模型仍处于较为早期的阶段。其普遍面临开发成本高、无法持续遵守物理规则等问题。

值得一提的是,此次英伟达发布的Cosmos将以开源的形式发布。根据其披露的名单,首批用户包括1X、Agile Robots、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot,、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi 和小鹏汽车等十余个国内外机器人和汽车厂商。

事实上,英伟达采用逼真物理环境对机器人进行训练的尝试可以追溯至2024年6月,当时其运用仿真框架RoboCasa,提供了超过150个物体类别的数千个3D模型和数十种可交互的家具和家电。在相关实验中,证明了合成物理数据在机器人训练中的有效性。

黄仁勋表示,“世界基础模型是推动机器人和自动驾驶汽车开发的基础,但并非所有开发者都拥有自主训练模型所需的专业知识和资源。我们创建Cosmos是为了普及物理AI,让每一位开发者都能接触到通用机器人技术。”

截至目前,已有数个公司推出世界基础模型。2024年12月5日,谷歌发布大型基础世界模型Genie2,可生成较为逼真的3D世界;同年9月,1XTechnologies发布人形机器人世界模型,可以模拟出机器人在不同动作下的未来场景。

此外,视频生成模型也被视作通往世界基础模型的路径之一。在视频生成领域,Sora、Runway等均表达了希望进军世界模型的想法。开源证券指出,视频生成和世界模型均有诸多相似之处,均将复杂外部世界获取的数据进行编码和压缩、抽象成为低维度的向量,并采用Transformer或者其他模型在时空维度学习这些知识进而实现预测。

机构指出,受到文本大模型的启发,人形机器人也开始构建具身大模型,首当其冲的便是解决数据问题。自动驾驶可简化为3D空间中的2D运动,而机器人是3D空间中的3D运动,还需包括力触觉等信息,因此理论上机器人所需数据量高于自动驾驶。目前,人形机器人训练数据的收集主要依赖三种方式:

采集真机数据,例如人穿戴动作捕捉服,这种方式数据质量好,但采集成本高速度慢;

利用仿真环境生成合成数据,再对机器人进行训练;

根据现有的互联网视频捕捉动作数据,虽然不需要构建仿真物理引擎,但涉及复杂的坐标转换和缺少力触觉等信息维度。

机构认为,在上述三种方式中,合成数据将大大促进机器人发展,学界已经证明了上述方式的可行性,机器人大脑已迎来ChatGPT时刻。

机器人行业有望弹起?善用「投资主题」功能,捕捉投资机会!

编辑/jayden

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

英伟达 Cosmos 物理AI 机器人 合成数据
相关文章