掘金 人工智能 前天 10:54
开源新王MiniMax -M1 vLLM本地部署教程:百万级上下文支持成大模型领域新标杆!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

MiniMax-M1是中国AI公司MiniMax于2025年6月推出的全球首个开源大规模混合架构推理模型。该模型以其百万级上下文支持、超高效计算性能和突破性成本表现,成为大模型领域的新标杆。本文提供了MiniMax-M1模型的下载、部署教程,包括使用Docker部署和直接安装vLLM两种方式,并提供了API调用示例和常见问题的解决方案,帮助用户快速上手。

🚀 MiniMax-M1 是 MiniMax 公司推出的全球首个开源大规模混合架构推理模型,发布于2025年6月17日,旨在为用户提供高性能、低成本的大模型推理解决方案。

💾 获取模型的方式:用户可以从 HuggingFace 存储库下载 MiniMax-M1-40k 和 MiniMax-M1-80k 模型,或者使用 git 命令下载。在下载过程中,需要确保已安装 Git LFS。

🐳 部署选项:推荐使用 Docker 进行部署,提供了详细的 Docker 部署步骤,包括获取容器映像、运行容器的配置。对于 0.8.3 和 0.9.2 之间的 vLLM 版本,需要修改模型配置。也可以直接安装 vLLM,但需要满足 CUDA 和 PyTorch 的版本要求。

💡 启动服务:启动 MiniMax-M1 服务需要设置环境变量,并运行相应的 Python 命令。文章提供了 API 调用示例,方便用户测试和使用模型。

❗ 常见问题:文章针对模块加载问题提供了两种解决方案,包括复制依赖项文件或从源安装 vLLM,帮助用户解决在使用过程中可能遇到的问题。

一、模型介绍

MiniMax-M1 是由中国 AI 公司 MiniMax 于 2025 年 6 月 17 日推出的 全球首个开源大规模混合架构推理模型,凭借其百万级上下文支持、超高效计算性能和突破性成本表现,成为大模型领域的新标杆。

MiniMax-M1 型号可以在配备 8 个 H800 或 8 个 H20 GPU 的单个服务器上高效运行。在硬件配置方面,配备 8 个 H800 GPU 的服务器可以处理多达 200 万个令牌的上下文输入,而配备 8 个 H20 GPU 的服务器可以支持高达 500 万个令牌的超长上下文处理能力。

二、部署教程

获取 MiniMax 模型

MiniMax-M1 模型获取

从 HuggingFace 存储库下载模型:MiniMax-M1-40kMiniMax-M1-80k

下载命令:

pip install -U huggingface-hubhuggingface-cli download MiniMaxAI/MiniMax-M1-40k# huggingface-cli download MiniMaxAI/MiniMax-M1-80k# If you encounter network issues, you can set a proxyexport HF_ENDPOINT=https://hf-mirror.com

或使用 git 下载:

git lfs installgit clone https://huggingface.co/MiniMaxAI/MiniMax-M1-40kgit clone https://huggingface.co/MiniMaxAI/MiniMax-M1-80k

⚠️ 重要提示:请确保您的系统已安装 Git LFS,这是完全下载模型权重文件所必需的。

部署选项

选项 1:使用 Docker 部署(推荐)

为了保证部署环境的一致性和稳定性,我们建议使用 Docker 进行部署。

⚠️ 版本要求

    获取容器映像:
docker pull vllm/vllm-openai:v0.8.3
    运行容器:
# Set environment variablesIMAGE=vllm/vllm-openai:v0.8.3MODEL_DIR=<model storage path>CODE_DIR=<code path>NAME=MiniMaxImage# Docker run configurationDOCKER_RUN_CMD="--network=host --privileged --ipc=host --ulimit memlock=-1 --shm-size=2gb --rm --gpus all --ulimit stack=67108864"# Start the containersudo docker run -it \    -v $MODEL_DIR:$MODEL_DIR \    -v $CODE_DIR:$CODE_DIR \    --name $NAME \    $DOCKER_RUN_CMD \    $IMAGE /bin/bash

选项 2:直接安装 vLLM

如果您的环境满足以下要求:

您可以直接安装 vLLM

安装命令:

pip install vllm

💡 如果您使用的是其他环境配置,请参阅 vLLM 安装指南

启动服务

启动 MiniMax-M1 服务

export SAFETENSORS_FAST_GPU=1export VLLM_USE_V1=0python3 -m vllm.entrypoints.openai.api_server \--model <model storage path> \--tensor-parallel-size 8 \--trust-remote-code \--quantization experts_int8  \--max_model_len 4096 \--dtype bfloat16

API 调用示例

curl http://localhost:8000/v1/chat/completions \    -H "Content-Type: application/json" \    -d '{        "model": "MiniMaxAI/MiniMax-M1",        "messages": [            {"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant."}]},            {"role": "user", "content": [{"type": "text", "text": "Who won the world series in 2020?"}]}        ]    }'

❗ 常见问题

模块加载问题

如果您遇到以下错误:

import vllm._C  # noqaModuleNotFoundError: No module named 'vllm._C'

MiniMax-M1 model is not currently supported

提供两种解决方案:

解决方案 1:复制依赖项文件

cd <working directory>git clone https://github.com/vllm-project/vllm.gitcd vllmcp /usr/local/lib/python3.12/dist-packages/vllm/*.so vllm cp -r /usr/local/lib/python3.12/dist-packages/vllm/vllm_flash_attn/* vllm/vllm_flash_attn
解决方案 2:从源安装

cd <working directory>git clone https://github.com/vllm-project/vllm.gitcd vllm/pip install -e .

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

MiniMax-M1 开源模型 大模型 推理
相关文章