IT之家 06月09日 17:13
Hugging Face 公布 4.5 亿参数开源机器人模型 SmolVLA,消费级硬件设备即可运行
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Hugging Face 发布了开源机器人模型 SmolVLA,旨在降低开发者入门门槛。该模型可在MacBook Pro等消费级硬件上运行,采用“视觉-语言-行动”设计,整合感知、语言理解与行动决策。SmolVLA通过四项关键优化技术和预训练微调策略,在模拟和真实场景中表现出色。其异步推理架构提升了响应速度。该模型使用公开数据集训练,降低了训练成本,并在抓取、放置等任务中展现出优异性能。SmolVLA的发布,有望推动通用机器人智能体的研究进展。

👁️‍🗨️ SmolVLA 采用了“视觉-语言-行动”(VLA)设计,旨在整合感知能力、语言理解与行动决策,使机器人能自主执行复杂任务。这种设计是当前机器人模型的主流趋势。

💡 SmolVLA 通过四项关键优化技术降低了对硬件的要求:一是跳过视觉模型中一半层数;二是交替融合自注意力与交叉注意力模块;三是减少视觉 Token 数量;四是采用更轻量的 SmolVLM2 作为视觉编码器。这些优化使得模型可以在消费级硬件上运行。

⚙️ 在训练策略上,SmolVLA 先通过通用操作数据进行预训练,再针对特定任务进行微调,从而提升适应能力。尽管训练数据量远少于其他 VLA 模型,但在模拟环境和真实场景中的表现与大型模型相当,甚至在部分任务上实现“超越”。

🚀 SmolVLA 引入“异步推理架构”,将感知处理与动作执行解耦,使机器人在面对快速变化的环境时能做出更及时的响应,大幅提升其实用性。

💻 用户可以使用 MacBook Pro 等消费级硬件运行 SmolVLA-450M 模型,无需购买昂贵的 AI 训练服务器。Hugging Face 还提供了低成本机器人平台,进一步降低了使用成本。

IT之家 6 月 9 日消息,Hugging Face 现已公布 4.5 亿参数开源机器人模型 SmolVLA,该模型主打高普适性,可在 MacBook Pro 等的消费级硬件设备上运行,旨在帮助开发者降低入门成本。

当下,业界机器人模型通常采用“视觉-语言-行动”(Vision-Language-Action,VLA)设计,此类模型尝试在单一架构中整合感知能力、语言理解与行动决策,从而让机器人实现自主执行复杂任务。不过相应模型训练成本极高,目前大多数模型仍为闭源项目,训练过程中依赖昂贵硬件、大量工程资源和大规模私有数据集。

为此,Hugging Face 推出 SmolVLA 这一轻量级开源模型,使用公开数据集进行训练,并可在消费级硬件设备上运行,旨在降低爱好者入门成本,推动通用机器人智能体的研究进展。

据介绍,SmolVLA 在模型架构上结合 Transformer 结构与 flow-matching 解码器,并采用了四项关键优化技术:一是跳过视觉模型中一半层数,以提升推理速度并减小模型体积;二是交替融合自注意力与交叉注意力模块,提高多模态信息整合效率;三是减少视觉 Token 数量以提升处理效率;四是采用更轻量的 SmolVLM2 作为视觉编码器,从而进一步降低硬件要求。

▲ 图源 Hugging Face(下同)

而在训练策略方面,SmolVLA 首先通过通用操作数据进行预训练,再针对特定任务进行微调,以提升适应能力。因此虽然 SmolVLA 的训练数据远少于现有其他 VLA 模型(仅包括不到 3 万个任务记录),但 Hugging Face 表示,该模型在模拟环境和真实场景中的表现与大型模型相当,甚至在部分任务上实现“超越”

此外,Hugging Face 透露 SmolVLA 还引入“异步推理架构”(Asynchronous Inference Stack),将感知处理(如视觉和语音理解)与动作执行进行解耦,使机器人在面对快速变化的环境时能做出更及时的响应,大幅提升其实用性。

Hugging Face 强调,用户使用 MacBook Pro 笔记本电脑等消费级硬件即可运行 SmolVLA-450M 模型,无需花费大成本采购专用 AI 训练服务器。同时用户也可以考虑采购 Hugging Face 推出的低成本机器人平台(SO-100、SO-101 和 LeKiwi)等降低成本。

Hugging Face 援引自家进行的多项基准测试验证 SmolVLA 的性能,在 LIBERO 与 Meta-World 等模拟测试平台上,SmolVLA 的表现据称优于 Octo、OpenVLA 等业界竞品,而在使用真实机器人 SO-100 和 SO-101 进行抓取、放置、堆叠与分类任务中,SmolVLA 也展现出更好的性能。

目前,SmolVLA 的基础模型已在 Hugging Face 平台上线,完整训练方法也同步在 GitHub 上公开,IT之家附项目页面如下(https://huggingface.co/lerobot/smolvla_base)。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

SmolVLA Hugging Face 开源 机器人模型 轻量级
相关文章