英伟达发布新款Jetson Orin Nano开发套件，性能大幅提升，算力从40 TOPS增至67 TOPS，内存带宽提升50%，达到102GB/s，功耗仅25瓦，价格却从499美元降至249美元。该套件可运行主流7B、8B大模型量化版，支持多摄像头和视觉语言模型，被誉为“最实惠的生成式AI超级计算机”。新套件采用6核Arm CPU和NVIDIA Ampere架构GPU，支持多种AI软件，适用于机器人、视觉AI和传感器处理，并可使用工具缩短开发时间。同时，旧版用户也可通过软件更新获得生成式AI性能提升。

🚀性能飞跃: 新版Jetson Orin Nano开发套件算力从40 TOPS提升至67 TOPS，内存带宽增加50%，达到102GB/s，功耗仅为25瓦，性能大幅提升。

💰价格腰斩: 价格从499美元降至249美元，降幅高达50%，使得这款“掌心AI超算”更具性价比，惠及更广泛的开发者。

🤖应用广泛: 支持运行主流7B、8B大模型量化版，如阿里Qwen、Llama等，最高支持4个摄像头，可应用于RAG聊天机器人、视觉AI Agent和机器人等多种场景。

🛠️生态完善: 支持英伟达全套AI软件，包括用于机器人的NVIDIA ISAAC、用于视觉AI的NVIDIA Metropolis和用于传感器处理的NVIDIA Holoscan，并提供Omniverse Replicator和TAO工具包加速开发。

🎁软件升级: 不仅新用户受益，旧版开发套件用户也可通过软件更新获得生成式AI性能提升，体现了英伟达的良心之处。

“英伟达版树莓派”这波良心了，性能涨70%，降价50%。

老黄召开厨房发布会，从烤箱里端出这台“掌心AI超算”。

怎么不穿皮衣了

新版Jetson Orin Nano开发版套件，算力从40 TOPS涨到67 TOPS（INT8），内存带宽增加50%，达到102GB/s，功耗仅25瓦。

价格却降了50%，从$499降到$249（约人民币1800元）。

67 TOPS什么概念？

比目前英特尔、AMD或高通AI PC中的大部分NPU都快 能跑主流的7B、8B大模型量化版，如阿里Qwen，Llama等‍ 最高支持4个摄像头，也能跑8B的视觉语言模型和ViT模型

英伟达称这是“最实惠的生成式AI超级计算机”。

无论是用来创建基于RAG的聊天机器人、视觉AI Agent，还是部署基于AI的机器人，都是理想的解决方案。

开发套件包括一个Jetson Orin Nano 8GB系统级模块（SoM）和一个参考载板，可用于边缘AI应用的原型设计，功耗最高25w。

采用6核Arm CPU和NVIDIA Ampere架构GPU，GPU配备1024个CUDA核心和32个张量核心，支持多个并发AI应用管道和高性能推理。它最多可以支持4个摄像头，提供比以前版本更高的分辨率和帧率。

The Register估计在运行4位量化版Llama 3.1 8B模型时，能达到约18-20 tokens/s的速度。

Jetson支持一系列英伟达AI软件，包括用于机器人的NVIDIA ISAAC、用于视觉AI的NVIDIA Metropolis 和用于传感器处理的NVIDIA Holoscan。

另外可以使用NVIDIA Omniverse Replicator生成合成数据，并使用NVIDIA TAO工具包微调预训练模型，可以缩短开发时间。

老黄称这个系列为一种全新的处理器——机器人处理器。

推出第一代产品时，没人理解英伟达在做什么到现在，它已经支持了各种机器人，带轮子的、两条腿的、三条腿的。

额外的好消息是，新推出的软件更新，也将为买过旧版开发套件的用户带来生成式AI性能提升。

有网友表示，黄仁勋就是新的圣诞老人。

参考链接：

[1]https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/

[2]https://www.theregister.com/2024/12/17/nvidia_jetson_orin/

本文来自微信公众号“量子位”，作者：梦晨，36氪经授权发布。