原创 Rocky Luo 2025-03-11 12:27 广东
如此小的 0.1B 模型，也支持全世界 100+ 种语言和代码
2025 年 3 月 10 日，RWKV 基金会发布第一个 RWKV-7 推理模型（Reasoning Model）：RWKV7-G1 0.1B。
RWKV7-G1 系列模型拥有杰出的推理能力，且原生支持世界 100+ 种语言和代码。即使是最小的 0.1B 也能回答开放性和创造性问题。
?TipsRWKV7-G1（"GooseOne"）系列推理模型是基于 World v3.5 数据集继续训练 RWKV-7 "Goose" World 系列模型。
World v3.5 数据集包含更多小说、网页、数学、代码和 reasoning 数据，总数据为 5.16T tokens。对于 0.1B 模型，我们会随机采样其中的 1T tokens 训练。
目前我们已能在手机芯片高通 8gen3 以 62 token/s 推理 RWKV-7 1.5B 模型，而 0.1B 模型在树莓派也能跑得挺快，欢迎做嵌入式的朋友加入 RWKV 技术群讨论。
模型表现
RWKV7-G1 0.1B 模型回答 simulate SpaceX mars landing using python（使用 python 模拟 SpaceX 火星着陆）”：
日本开发者测试 RWKV7-G1 0.1B 的多语言能力：
如此小的 0.1B 模型，也能同时支持世界 100+ 种语言和代码。更大参数的 RWKV7-G1 0.4B/1.5B/2.9B 正在同时训练中。
英文和多语言测评
RWKV7-G1 0.1B 的英文和多语言能力相比 RWKV-7-World 0.1B 继续提升：
我们也对 RWKV7-G1 0.1B 进行了 “无法作弊的模型评测” Uncheatable Eval，可见 RWKV7-G1 0.1B 对于多种新数据的压缩率，显著超越所有其它同尺寸的开源模型：
Uncheatable Eval：https://huggingface.co/spaces/Jellyfish042/UncheatableEval[1]
训练中的 RWKV7-G1 1.5B 模型
以下示例基于 RWKV7-G1-1.5B-16%trained模型，注意这个模型目前只训练了 16%。后续 100% 训练完成的 RWKV7-G1 1.5B 会显著更强：
RWKV7-G1-1.5B-16%trained 的示例二：
训练中的 RWKV 模型可在 https://huggingface.co/BlinkDL/temp-latest-training-models/tree/main 下载。
模型试用
可以在 Hugging Face Gradio Demo[2] 试用 RWKV7-G1 0.1B 模型。
G1 的整体 prompt 格式与 RWKV-7 模型类似，可选使用 <think> 标签开启 reasoning 功能：
User: 你不许参加学术派对！
Assistant: <think>
RWKV Runner 和 Ai00 等 RWKV 推理工具正在适配 reasoning 聊天模式，因此目前只能在续写模式中体验 reasoning 功能。
模型下载
下载已完成训练的 RWKV7-G1 0.1B 模型：
Hugging Face：https://huggingface.co/BlinkDL/rwkv7-g1/tree/main
魔搭社区：https://modelscope.cn/models/RWKV/rwkv7-g1/files
WiseModel：https://wisemodel.cn/models/rwkv4fun/RWKV-7-G1/file
下载其他训练中的 RWKV7-G1 模型：
Hugging Face：https://huggingface.co/BlinkDL/temp-latest-training-models/tree/main
魔搭社区：https://modelscope.cn/models/RWKV/temp-latest-training-models/files
G1 模型发布计划
当前已发布 G1 0.1B 模型，正在训练 G1 0.4B/1.5B/2.9B，具体发布计划如下：
| 模型 | 发布计划 |
|---|---|
| G1 0.1B | 3 月 8 日（已发布） |
| G1 0.4B | 3 月下旬 |
| G1 1.6B | 4 月 |
| G1 2.9B | 5 月 |
我们也在同时准备更大更优的数据集 World v3.7，用于 G1 7B 训练。
RWKV-7 学术支持
RWKV 社区近期新增了大量 RWKV 学术研究论文，以下是截至 2025 年 2 月的 RWKV 论文数量统计表格：
欢迎大家基于 RWKV-7 进行创业、科研，我们也会为基于 RWKV 的项目提供技术支持。
如果您的团队正在基于 RWKV 创业或开展研究，请联系我们！（在“RWKV元始智能”微信公众号留言您的联系方式，或发送邮件到“contact@rwkvos.com”。）
加入 RWKV 社区
欢迎大家加入 RWKV 社区，可以从 RWKV 中文官网了解 RWKV 模型，也可以加入 RWKV 论坛、QQ 频道和群聊，一起探讨 RWKV 模型。
? RWKV 中文文档：https://www.rwkv.cn
? RWKV 论坛：https://community.rwkv.cn/
? QQ 频道：https://pd.qq.com/s/9n21eravc | QQ 交流群：224287095
? BiliBili 视频教程：https://space.bilibili.com/3546689096910933
相关链接
[1]
Uncheatable Eval: https://huggingface.co/spaces/Jellyfish042/UncheatableEval
[2]Hugging Face Gradio Demo: https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-2
