英伟达发布NVIDIA TensorRT for RTX，专为GeForce RTX显卡设计，为Windows 11系统提供AI推理加速。该框架将于6月推出，速度可达DirectML方案的两倍。TensorRT支持即时GPU专属优化，推理库文件体积大幅缩减。英伟达已为超过150个AI SDK提供支持，本月还将推出5个新ISV集成，包括LM Studio、Topaz Video AI等，旨在提升PC端AI工作负载性能。TensorRT通过Windows ML框架构建，与各硬件厂商优化的AI执行层无缝衔接，为PC端AI工作负载提供超过50%的性能提升。

🚀 **性能提升显著：** NVIDIA TensorRT for RTX为GeForce RTX显卡提供AI推理加速，速度是DirectML方案的两倍，为PC端AI工作负载提供超过50%的性能提升。

💾 **优化与兼容性：** TensorRT原生兼容Windows ML框架，支持即时GPU专属优化，推理库文件体积缩减至原有1/8。这使得AI应用在RTX显卡上的运行更高效。

🛠️ **广泛支持：** 英伟达已为超150个AI SDK提供支持，并计划在本月推出5个新的ISV集成，包括LM Studio、Topaz Video AI、哔哩哔哩等，进一步扩大生态系统。

⚙️ **技术细节：** TensorRT 通过 ONNX Runtime 构建，与各硬件厂商优化的 AI 执行层无缝衔接。针对 RTX 显卡，Windows ML 会自动调用 TensorRT for RTX，实现高性能快速部署。

IT之家 5 月 20 日消息，英伟达今日宣布推出 NVIDIA TensorRT for RTX，支持 Windows 11 系统，将为 GeForce RTX 全系显卡提供 TensorRT AI 推理加速框架，速度相当于 DirectML 方案两倍。该框架将于 6 月通过开发者官网正式推送。

技术细节显示，TensorRT 原生兼容 Windows ML 框架， ComfyUI 应用在其中相比 DirectML 倍性能翻倍，而其他应用也有 1.5~1.7 倍的性能表现。

此外，TensorRT 支持即时 GPU 专属优化，推理库文件体积缩减至原有 1/8。

IT之家从官方获悉，英伟达目前已经为超 150 个 AI SDK 提供支持，并承诺本月还将推出 5 个全新的 ISV 集成，包括：

LM Studio（最新 CUDA 性能提升 30%）

Topaz Video AI（GenAI 视频加速 CUDA）

哔哩哔哩（NVIDIA Broadcast Effects）

AutoDesk VRED (DLSS 4)

Chaos Enscape  (DLSS 4)

英伟达表示：“当前 AI PC 软件生态迫使开发者在广泛硬件支持与高性能优化间抉择。全新 Windows ML 推理框架通过 ONNX Runtime 构建，与各硬件厂商优化的 AI 执行层无缝衔接。针对 RTX 显卡，Windows ML 会自动调用 TensorRT for RTX—— 专为高性能快速部署优化的推理库。相较 DirectML，TensorRT 可为 PC 端 AI 工作负载提供超 50% 的性能提升。”