在冷启动基础上，我们针对数学和编程任务、通用能力分别进行了两轮大规模强化学习。在初始阶段，我们特别针对数学和编程任务进行了强化学习。与依赖传统的奖励模型（奖励模型）不同，我们通过生成答案的正确性来为数学问题提供反馈，并通过代码执行服务器评估生成的代码成功，通过测试来提供代码是否提供反馈。

我们发现在强化学习扩展过程中，随着训练轮次的推进，这两个领域中的性能均表现出持续的提升。

在第一阶段的强化学习之后，我们增加了另一个针对通用能力的强化学习。该阶段使用通用奖励模型和基于一些规则的验证器进行训练。我们发现，通过少量步骤的通用强化学习，可以提升其他通用能力，同时在数学和编程任务上的性能没有显着下降。

此外，通义千问 QwQ-32B 模型还集成了与智能体 Agent 相关的能力，使其能够在使用工具的同时进行批判性思考，并根据环境反馈调整推理过程。

目前，通义千问 QwQ-32B 已经在魔搭社区及 HuggingFace 开源，并采用了 Apache 2.0 开源协议，欢迎大家下载体验。

以下为 API 调用示例代码：

from openai import OpenAIimport os
# Initialize OpenAI clientclient = OpenAI(    # If the environment variable is not configured, replace with your API Key: api_key="sk-xxx"    # How to get an API Key：https://help.aliyun.com/zh/model-studio/developer-reference/get-api-key    api_key=os.getenv("DASHSCOPE_API_KEY"),    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1")
reasoning_content = ""content = ""
is_answering = False
completion = client.chat.completions.create(    model="qwq-32b",    messages=[        {"role": "user", "content": "Which is larger, 9.9 or 9.11?"}    ],    stream=True,    # Uncomment the following line to return token usage in the last chunk    # stream_options={    #     "include_usage": True    # })
print("\n" + "=" * 20 + "reasoning content" + "=" * 20 + "\n")
for chunk in completion:    # If chunk.choices is empty, print usage    if not chunk.choices:        print("\nUsage:")        print(chunk.usage)    else:        delta = chunk.choices[0].delta        # Print reasoning content        if hasattr(delta, 'reasoning_content') and delta.reasoning_content is not None:            print(delta.reasoning_content, end='', flush=True)            reasoning_content += delta.reasoning_content        else:            if delta.content != "" and is_answering is False:                print("\n" + "=" * 20 + "content" + "=" * 20 + "\n")                is_answering = True            # Print content            print(delta.content, end='', flush=True)            content += delta.content

开源地址

魔搭社区

https://modelscope.cn/models/Qwen/QwQ-32B

Hugging Face

https://huggingface.co/Qwen/QwQ-32B