AI & Big Data 02月11日
Pi0機器人模型整合到Hugging Face LeRobot
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Hugging Face宣布集成新创公司Physical Intelligence开发的Pi0机器人模型到LeRobot开发套件,标志着机器人通用智能模型的一大进展。Pi0是LeRobot的首批机器人基础模型,它是一种视觉语言行为模型,通过学习互联网规模的语义知识来生成行为,使机器人能够执行各种灵巧操作任务。Physical Intelligence是一家致力于开发结合通用人工智能的机器人的公司,获得了包括OpenAI和Jeff Bezos在内的投资,公司估值高达24亿美元。Pi0模型的开源,有望改变机器人学习和执行任务的方式。

🤖 Physical Intelligence开发的Pi0模型是一种视觉语言行为(VLA)模型,它与传统的视觉语言模型(VLM)不同,VLA模型专注于机器人与真实世界的互动,通过机器人数据进行训练,提升了模型的适应性和效能。

🦾 Pi0模型基于预训练的VLM模型,采用新的流匹配架构,继承了互联网规模的语义知识,从而能够生成行为,使得机器人可以执行不同形态的灵巧操作任务。该模型使用7种机器人平台和68种不同任务的数据进行训练。

🧽 Pi0模型具有强大的零样本和微调性能,能够依据人类语言指令和高阶VLM策略,以及微调来学习新技能。基于Pi0模型的机器人可以执行复杂的真实世界任务,例如折叠衣服、清理桌面、将商品装袋、组合纸箱或收拾物体。

🔓 Physical Intelligence公司首席科学家Remi Cadene强调,这是首个通过开源平台向大众开放的机器人基础模型,旨在改变机器人学习和执行任务的方式。Pi0及其自动回归版本Pi0-FAST模型,都已在Hugging Face LeRobot存储库中可供访问。

Hugging Face宣布,新創公司Physical Intelligence開發的π0(念作Pi-Zero)機器人模型已可整合到Hugging Face的開發套件LeRobot。π0(以下將稱Pi0)與π0-FAST是LeRobot儲存庫的第一批機器人基礎模型,使Hugging Face生態系有了通用機器智慧(generalist robotic intelligence)模型。人形機器人新創公司Physical Intelligence成員來自Google DeepMind、Tesla和X,公司宗旨是開發出能結合通用人工智慧(AGI)的機器人,讓用戶透過AI助理下指令代為執行任務。這家新創公司在最新募資中獲得4億美元投資,使公司市值來到了24億美元。最新一批金主包括了OpenAI和Jeff Bezos及數家投資銀行。最新發表的Pi0是一種為通用型機器人控制而設定的視覺語言行為(Vision-Language Action,VLA)模型。VLM和VLA模型都是以transformer為基礎,最大差別在行為表現。VLM雖也可處理和生成多模態(圖片和文字)表現,但欠缺和真實世界的互動。VLA則是以機器人資料訓練的模型。該公司的通用型機器人模型進一步以不同種機器人資料訓練而成,可提升模型的適應性、效率和效能。Physical Intelligence說明,Pi0在預訓練的VLM模型上使用新的流匹配(flow-matching)架構,以承襲Internet規模的語義知識來生成行為,使機器人可以不同形貌執行靈巧的操作任務。明確而言,Pi0以7種機器平臺和68種不同任務的資料訓練。而且在預訓練後具有強大的零樣本和微調效能,它能依據人類語言指令和高階VLM策略(policy),以及微調來學習新技能。以Pi0模型為基礎的機器人可執行複雜的真實世界任務,像是摺疊衣服、洗理桌面、將商品裝袋、組合紙箱或收拾物體。圖片來源/Physical IntelligencePhysical Intelligence研究首席科學家Remi Cadene指出,這是第一次機器人基礎模型透過開源平臺開放大眾使用。該公司希望藉此模型改變機器人學習和執行任務的作法。π0與其自動迴歸版的π0-FAST(Frequency-space Action Sequence Tokenization)模型,都已可在Hugging Face LeRobot儲存庫存取。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Hugging Face Pi0机器人模型 机器人通用智能 Physical Intelligence
相关文章