原创 Hugging Face 2025-03-28 10:30 广东
尝试补齐 DeepSeek R1 缺失的训练流程和合成数据
DeepSeek R1 发布已经两周 (注: 原文发布于 2 月 2 日) 了，而我们启动 open-r1 项目——试图补齐它缺失的训练流程和合成数据——也才过了一周。这篇文章简单聊聊: https://github.com/huggingface/open-r1
这既是项目的最新动态，也是一些关于 DeepSeek-R1 的有趣资料合集。
一周后的进展
先来看看 Open-R1 这周干了啥。我们一周前才开始这个项目，经过团队和社区的小伙伴们一起努力，已经有点成果可以分享了。
评估
要模仿人家，第一步得确认我们能不能复现 DeepSeek 的成绩。我们在 MATH-500 基准测试上试了试，果然能跟 DeepSeek 公布的数据对上号:
想知道怎么测的？去
我们还发现，DeepSeek 模型生成的回答特别长，评估起来都费劲。在 OpenThoughts 数据集里，DeepSeek-R1 的回答平均有 6000 个 token，有些甚至超过 20000 个 token。啥概念呢？一页书大概 500 个单词，一个单词可能由 1 个及以上的 token 组成，所以很多回答能写满 10 多页！(来源:
回答这么长，给后面用 GPRO 训练带来了很大的挑战。想要生成超长内容，需要很多的 GPU 显存来存储梯度和激活值。
为了让大家都能看到进展，我们搞了个 open-r1 评估排行榜，社区可以在这里随时关注我们的复现情况:
训练流程
Open R1 发布后，GRPO (分组相对策略优化) 被集成到了最新版 TRL (
from datasets import load_dataset
from trl import GRPOConfig, GRPOTrainer
dataset = load_dataset("trl-lib/tldr", split="train")
# 简单奖励: 回答接近 20 个字符的给高分
def reward_len(completions, **kwargs):
return [-abs(20 - len(completion)) for completion in completions]
training_args = GRPOConfig(output_dir="Qwen2-0.5B-GRPO", logging_steps=10)
trainer = GRPOTrainer(
model="Qwen/Qwen2-0.5B-Instruct",
reward_funcs=reward_len,
args=training_args,
train_dataset=dataset,
)
trainer.train()
不过现在内存用量还是有点高，我们正在想办法优化。
合成数据生成
R1 报告里最让人兴奋的是，主模型能生成合成推理过程，小模型用这些数据微调后效果也能跟主模型差不多。所以我们也想能够复现这个合成推理数据集，让大家都能拿去调模型。
R1 这种大模型，难点在于怎么高效快速地生成数据。我们试了一周，调了各种配置。
一开始用两个 8xH100 节点跑模型，用 vLLM 当推理服务器。但效果不好，吞吐量低，只能同时处理 8 个请求，GPU 的 KV 缓存很快就满了。缓存一满，请求就被打断，如果设置了 PreemptionMode.RECOMPUTE ，就得等显存空出来再重跑。
后来我们换成 4 个 8xH100 节点，总共 32 个 GPU。这样显存够用，能同时跑 32 个请求，几乎不会因为缓存满而重新排队。
一开始我们批量发请求给 vLLM，但发现批量里慢的会拖后腿，GPU 利用率忽高忽低。新一批次得等上一批全跑完才开始。后来改成流式处理，GPU 利用率稳定多了:
改代码也不难。原来的批量推理代码是:
# 每批 500 个请求
for batch in batch_generator(dataset, bs=500):
active_tasks = []
for row in batch:
task = asyncio.create_task(send_requests(row))
active_tasks.add(task)
if active_tasks:
await asyncio.gather(*active_tasks)
现在流式处理的代码是:
active_tasks = []
for row in dataset:
# 活跃请求控制在 500 个以下
while len(active_tasks) >= 500:
done, active_tasks = await asyncio.wait(
active_tasks,
return_when=asyncio.FIRST_COMPLETED
)
task = asyncio.create_task(send_requests(row))
active_tasks.add(task)
# 等所有任务跑完
if active_tasks:
await asyncio.gather(*active_tasks)
现在生成速度挺稳定，但我们还在琢磨，比如长请求被打断时，换用 CPU 缓存会不会更好。
想看现在的推理代码？参见
推广
open-r1 火了，连媒体都关注，过去一周团队成员频频上新闻:
还有一堆报道:
DeepSeek-R1 给我们带来了什么启发？
虽然大家还在研究 DeepSeek-R1 的成果和报告，但这款模型在发布短短两周后，就已经火遍了大街小巷，吸引了无数目光。
R1 引发了哪些反响？
发布后的第一周还算风平浪静，但到了第二周，市场突然热闹起来，各大 AI 研究机构纷纷发表看法:
与此同时，不少公司也忙着把 DeepSeek 模型塞进各种平台 (以下只是部分例子):
DeepSeek V3 的训练成本有多夸张？
大家对 V3 和 R1 的训练费用特别好奇。虽然具体数字可能没那么关键，但很多人还是拿计算器粗略估了估，结果发现这些数字大体靠谱。看看这些讨论就知道了:
不少团队正在努力复现训练过程，估计很快就能知道这个模型的训练效率到底有多牛。
训练数据那些事儿
上周有人猜想 DeepSeek 可能偷偷用了 OpenAI 的数据来训练自己的模型，比如《金融时报》就报道了这事儿。不过现在还不确定这些说法会闹出什么结果。
开源社区也很热闹
围绕 DeepSeek-R1，开源社区简直火爆得不行，好多人都在基于这个模型搞出各种有意思的项目。
有哪些好玩的项目？
有些项目试着以较小的规模复制基本的学习机制，让你自己在家就能试试:
TinyZero 的结果，模型的推理能力变强了
香港科大的图表，随着训练越久，模型的推理过程越长
数据集也忙得不亦乐乎
社区里好多人都在忙着搞 R1 相关的数据集，亮点有这些:
此列表仅涵盖 Hub 上的少量推理和问题解决相关数据集。我们期待可以看到社区在未来几周内能够构建其他哪些数据集。
下一步干啥？
我们这才刚起步呢，打算把训练流程弄完，在小模型上试试，再用放大版的推理流程搞出高质量的数据集。想帮忙的话，去 GitHub 上看
英文原文:
https://hf.co/blog/open-r1/update-1 原文作者: Leandro von Werra, Lewis Tunstall, Quentin Gallouédec, Guilherme Penedo, Edward Beeching, Anton Lozhkov, Brigitte Tousignant, Daniel van Strien
译者: yaoqih
