本文介绍了如何利用 NVIDIA TensorRT-LLM 优化魔搭社区的 Qwen3 系列大语言模型推理部署。文章详细阐述了安装 TensorRT-LLM、下载模型、部署推理服务及测试等步骤。TensorRT-LLM 是一款专为 LLM 推理加速优化的开源库，通过其高性能计算 Kernel、量化策略等，显著提升了 NVIDIA GPU 上的推理性能。Qwen3 系列模型，由阿里巴巴开发，在多项评测中表现出色，涵盖多种模型尺寸，并持续更新生态。结合 ModelScope 社区，开发者可以更便捷地进行模型部署和应用。

🚀 TensorRT-LLM 是 NVIDIA 专为 LLM 推理部署加速优化的开源库，提供高性能计算 Kernel、量化策略等，显著提升 NVIDIA GPU 上的推理性能。

💡 Qwen3 系列模型是阿里巴巴开发的混合推理大语言模型，包含多种模型尺寸，在推理、指令遵循等方面表现出色，并持续更新生态。

🛠️ 部署流程包括安装 TensorRT-LLM、从 ModelScope 下载模型、使用 trtllm-serve 命令部署推理服务以及进行服务测试。TensorRT-LLM 支持多种并行和量化策略，以满足大尺寸模型的并行切分和高服务级别目标的需求。

✨ TensorRT-LLM 针对 Qwen3 进行了优化，支持模型并行、量化、Prefill-Decode 分离式部署等特性，可提升推理系统的灵活性和性价比。

NVIDIA 2025-06-28 09:50 浙江

本文介绍了在魔搭社区使用 NVIDIA TensorRT-LLM PyTorch 新架构优化 Qwen3 系列模型推理部署的方法，包括安装 TensorRT-LLM、下载模型 checkpoint、部署推理服务及测试请求服务等步骤。

TensorRT-LLM 作为 NVIDIA 专为 LLM 推理部署加速优化的开源库，可帮助开发者快速利用最新 LLM 完成应用原型验证与产品部署。TensorRT-LLM 提供了一个全面的开源 SDK，用于加速和优化 LLM 推理，包含了最新极致优化的计算 Kernel、高性能 Attention 实现、多机多卡通信分布式支持、丰富的并行和量化策略等，从而在 NVIDIA GPU 上实现突破性的 LLM 推理性能。此外，TensorRT-LLM 采用了 PyTorch 的全新架构，提供了直观简洁的模型定义 API，便于定义和构建新模型，显著减少了代码量，同时大幅降低了 debugging 难度，进一步优化了模型部署流程，提升了开发者的使用体验。

本文将介绍如何在魔搭社区使用 TensorRT-LLM 加速优化 Qwen3 系列模型推理部署。

Qwen3 模型

(Optional) pip3 install torch==2.7.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128
sudo apt-get -y install libopenmpi-dev && pip3 install --upgrade pip setuptools && pip3 install tensorrt_llm

使用预编译好的 NGC 容器镜像

源码编译容器镜像：下载 TensorRT-LLM github 源代码后，在代码主目录运行编译命令

make -C docker release_build

# Using modelscope cmd tool to download
pip install modelscope
modelscope download --model Qwen/Qwen3-235B-A22B
# or using git clone
git lfs install
git clone https://www.modelscope.cn/Qwen/Qwen3-235B-A22B.git

# Setup LLM API configuration file
cat >./extra-llm-api-config.yml <<EOF
use_cuda_graph: true
cuda_graph_padding_enabled: true
cuda_graph_batch_sizes: [1, 2, 4, 8, 16, 32, 64, 128, 256, 384]
print_iter_log: true
enable_attention_dp: true
EOF
# Launch inference service
trtllm-serve \
  Qwen3-235B-A22B/ \
  --host localhost \
  --port 8000 \
  --backend pytorch \
  --max_batch_size 161 \
  --max_num_tokens 1160 \
  --tp_size 8 \
  --ep_size 8 \
  --pp_size 1 \
  --kv_cache_free_gpu_memory_fraction 0.8 \
  --extra_llm_api_options ./extra-llm-api-config.yml

curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
      "model": "Qwen3-235B-A22B/",
      "prompt": "Please describe what is Qwen.",
      "max_tokens": 128,
      "temperature": 0
  }'

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作，多种专业模板，深度分析，高质量内容生成。从观点提取到深度思考，FishAI为您提供全方位的创作支持。新版本引入自定义参数，让您的创作更加个性化和精准。

FishAI

鱼阅，AI 时代的下一个智能信息助手，助你摆脱信息焦虑

联系邮箱 441953276@qq.com