英伟达开发与技术部门亚太区总监李曦鹏在WAIC大会上表示，英伟达CEO黄仁勋十分重视AI模型推理性能的提升，认为未来AI模型的推理性能将成为关注重点。目前，英伟达 TensorRT-LLM 是最快的推理解决方案，但团队仍在不断探索优化方式，并计划通过每月一次的迭代，进一步降低推理成本。

🤔 **黄仁勋高度重视AI推理性能**：英伟达CEO黄仁勋每周都会关注推理性能的提升，他认为未来AI模型对推理性能的要求是关注的重点。 推理性能是指AI模型在实际应用中处理数据的速度和效率，对于模型的部署和应用至关重要。推理性能越高，意味着模型能够更快地处理数据，并提供更及时的反馈，从而提高用户体验和效率。 黄仁勋对推理性能的重视，体现了英伟达对未来AI发展的深刻理解。随着AI模型的不断发展，模型的规模和复杂度不断增加，对推理性能的要求也越来越高。因此，提升推理性能是未来AI发展的重要方向。

🚀 **英伟达TensorRT-LLM是目前最快的推理解决方案**：英伟达TensorRT-LLM是专门为大型语言模型（LLM）设计的推理加速器，能够显著提高LLM的推理速度和效率。 TensorRT-LLM利用了英伟达的GPU硬件和软件优化技术，能够有效地将LLM模型的计算任务分配到GPU上进行加速。此外，TensorRT-LLM还支持多种模型格式和框架，能够满足不同用户的需求。 TensorRT-LLM的推出，标志着英伟达在AI推理领域取得了重大进展。它为LLM的应用提供了强有力的支持，推动了AI技术的快速发展。

💡 **英伟达团队持续优化推理性能，降低推理成本**：英伟达团队不断探索新的推理优化方式，并计划通过每月一次的迭代，进一步降低推理成本。 推理成本是指使用AI模型进行推理所产生的费用，包括硬件成本、软件成本和电力成本等。降低推理成本是提高AI模型应用价值的关键。 英伟达团队的努力，将推动AI技术的普及和应用，让更多人能够享受到AI技术带来的便利和效益。

7月5日，WAIC大会上，英伟达开发与技术部门亚太区总监李曦鹏表示，黄仁勋每周都会关心推理性能的提升，他认为未来AI模型对推理性能的要求是关注的重点。目前英伟达 TensorRT-LLM是最快的推理解决方案，但是团队也发现了更多推理优化的方式，随着一月一次的迭代，相信很快推理成本会再一次降低。（硬AI）