🔍 智谱AI推出的GLM-4.1V-9B-Thinking视觉语言大模型仅10B参数，却在18项任务中持平甚至超越8倍参数量的Qwen-2.5-VL-72B，展现强大性能。

📚 该模型支持64k上下文长度，任意长宽比和高达4k的图像分辨率，提供支持中英文双语的开源模型版本，助力研究者探索视觉语言模型的能力边界。

🤖 GLM-4.1V-9B-Thinking通过引入「思维链」推理机制，在回答准确性、内容丰富度与可解释性方面全面超越传统的非推理式视觉模型，在28项评测任务中有23项达到10B级别模型最佳。

🎨 该模型是系列中首个推理模型，在数学领域及其他多个子领域均达到世界前列的水平，支持图像OCR微调，提供丰富的应用场景。

🌐 ms-swift已经支持GLM4.1V系列模型的微调，开发者可以使用自定义数据集进行模型训练，满足不同任务需求。

2025-07-02 20:03 浙江

智谱AI推出GLM-4.1V-9B-Thinking视觉语言大模型，仅10B参数却在18项任务中持平甚至超越8倍参数量的Qwen-2.5-VL-72B，支持64k上下文长度、4k图像分辨率及中英文双语，开源助力研究突破。

pip install git+https://github.com/huggingface/transformers.git

from modelscope import AutoProcessor, Glm4vForConditionalGeneration
import torch
MODEL_PATH = "ZhipuAI/GLM-4.1V-9B-Thinking"
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "url": "https://upload.wikimedia.org/wikipedia/commons/f/fa/Grayscale_8bits_palette_sample_image.png"
            },
            {
                "type": "text",
                "text": "describe this image"
            }
        ],
    }
]
processor = AutoProcessor.from_pretrained(MODEL_PATH, use_fast=True)
model = Glm4vForConditionalGeneration.from_pretrained(
    pretrained_model_name_or_path=MODEL_PATH,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=8192)
output_text = processor.decode(generated_ids[0][inputs["input_ids"].shape[1]:], skip_special_tokens=False)
print(output_text)

显存占用：

# pip install git+https://github.com/modelscope/ms-swift.git
git clone https://github.com/modelscope/ms-swift.git
cd ms-swift
pip install -e .

以

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model ZhipuAI/GLM-4.1V-9B-Thinking \
    --dataset AI-ModelScope/LaTeX_OCR:human_handwrite#20000 \
    --train_type lora \
    --torch_dtype bfloat16 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --freeze_vit true \
    --gradient_accumulation_steps 16 \
    --eval_steps 50 \
    --save_steps 50 \
    --save_total_limit 5 \
    --logging_steps 5 \
    --max_length 2048 \
    --output_dir output \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4

{"messages": [{"role": "user", "content": "浙江的省会在哪？"}, {"role": "assistant", "content": "浙江的省会在杭州。"}]}
{"messages": [{"role": "user", "content": "<image><image>两张图片有什么区别"}, {"role": "assistant", "content": "前一张是小猫，后一张是小狗"}], "images": ["/xxx/x.jpg", "/xxx/x.png"]}
{"messages": [{"role": "system", "content": "你是个有用无害的助手"}, {"role": "user", "content": "<video>视频中是什么"}, {"role": "assistant", "content": "视频中是一只小狗在草地上奔跑"}], "videos": ["/xxx/x.mp4"]}

CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --adapters output/vx-xxx/checkpoint-xxx \
    --stream false \
    --max_batch_size 1 \
    --load_data_args true \
    --max_new_tokens 2048

CUDA_VISIBLE_DEVICES=0 \
swift export \
    --adapters output/vx-xxx/checkpoint-xxx \
    --push_to_hub true \
    --hub_model_id '<your-model-id>' \
    --hub_token '<your-sdk-token>'

点击阅读原文， 即可跳转模型链接~

👇点击关注ModelScope公众号获取
更多技术信息~