原创 Rocky | manjuan 2025-03-25 20:38 广东
RWKV7-G1 0.4B 具备其它同尺寸模型不具备的推理能力，同时还支持现实世界 100+ 种语言。
2025 年 3 月 25 日，RWKV 基金会开源了一个中低端设备也可以运行的推理模型（Reasoning Model）：RWKV7-G1 0.4B。
RWKV7-G1 0.4B 具备其它同尺寸模型不具备的推理能力，同时还支持现实世界 100+ 种语言。在实际测试中，RWKV7-G1 0.4B 模型已经能够完成难度较高的多语言和代码任务。
💡TipsRWKV7-G1 0.4B 推理模型基于 World v3.5 数据集训练。它比此前发布的 RWKV7-G1 0.1B 更强，且性能超越了同参数量的 Transformer 架构模型。
World v3.5 数据集包含更多小说、网页、数学、代码和 reasoning 数据，总数据为 5.16T tokens。我们随机采样了 2T token 的数据来训练 RWKV7-G1 0.4B。
我们也开源了 RWKV 模型端聊天 APP，方便大家体验 RWKV-7 模型。
模型评测
英语和多语言能力
RWKV7-G1 0.4B 英语和多语言能力显著领先于同参数的开源模型：
无法作弊的评测
💡TipsUncheatable Eval[1] 是"无法作弊的评测"，它使用最新的论文和新闻文章等实时数据，评估开源大语言模型的真实建模能力和泛化能力。
RWKV7-G1 0.4B 的 Uncheatable Eval 综合得分在同参数规模的开源模型中处于领先地位：
RWKV7-G1 0.4B 甚至超越了部分 1.5B 模型：
模型实测
多语言能力
RWKV7-G1 0.4B 的多语言能力比 G1 0.1B 更强。
下面是 G1 0.4B 把中文翻译为英语和德语的推理过程和翻译结果。
可以在 Hugging Face Gradio Demo 体验更多语言。
代码能力
RWKV7-G1 0.4B 已经能准确完成一些进阶任务，下面是使用 RWKV7-G1 0.4B 写归并排序的示例。
模型试用
我们提供了多个在线 demo，也提供移动端聊天 APP。
在线 demo（续写模式）
可以在 Hugging Face Gradio Demo[2] 试用 RWKV7-G1 0.4B 模型。
RWKV G1 的整体 prompt 格式与 RWKV-7-World 模型类似，可选使用 <think> 标签开启 reasoning 功能：
User: 我已经是全速前进了!
Assistant: <think>
在线 demo（聊天模式）
为了方便社区体验 RWKV-G1 模型，我们也提供了聊天模式的在线 demo。
可在此体验已完成训练的 RWKV-7 G1 0.1B 和 0.4B 模型，也可以切换到其他正在训练中的 G1 模型，如 G1 1.5B/2.9B。
这个精美的 RWKV 对话界面由 RWKV 社区成员 @Leon[3] 开发，并在 GitHub 仓库 web-rwkv-realweb[4]中开源。
RWKV 端侧聊天 APP
我们也开发了处于内测阶段的 RWKV 端侧聊天 APP（Android 和 iOS 版本）。
在以下地址下载 APP：
贯彻开源开放的宗旨，RWKV 端侧聊天 APP 也已开源，在 GitHub rwkv_mobile_flutter[7] 仓库中可以看到项目代码。
💡Tips测试数据显示：经过 NPU 优化后，RWKV-7 1.5B 模型在高通 8Gen3 手机芯片实现了 62 token/s 的推理速度，G1 0.1B 模型的推理速度则高达 170 token/s。
模型下载
下载已完成训练的 RWKV7-G1 0.1B/0.4B 模型：
下载其他训练中的 RWKV7-G1 模型：
G1 模型发布计划
当前已发布 G1 0.1B/0.4B 模型，正在训练 G1 1.5B/2.9B，具体发布计划如下：
我们也在同时准备更大更优的数据集 World v3.7，用于 G1 7B 训练。
llama.cpp 已适配 RWKV-7
随着 RWKV 社区开发者 Molly 的 PR 被合并[8]，llama.cpp 现已支持 RWKV-7 模型。
我们也会继续向 llama.cpp 推送 RWKV-7 G1 模型的聊天模板，以支持 G1 模型 的推理（Reasoning）功能。
加入 RWKV 社区
欢迎大家加入 RWKV 社区，可以从 RWKV 中文官网了解 RWKV 模型，也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊，一起探讨 RWKV 模型。
💡Tips欢迎大家基于 RWKV-7 进行创业、科研，我们也会为基于 RWKV 的项目提供技术支持。
如果您的团队正在基于 RWKV 创业或开展研究，请联系我们！关注“RWKV元始智能”微信公众号并留言您的联系方式，或发送邮件到“contact@rwkvos.com”。
Uncheatable Eval: https://huggingface.co/spaces/Jellyfish042/UncheatableEval
[2]Hugging Face Gradio Demo: https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-2
[3]@Leon: https://leoncat.top/
[4]web-rwkv-realweb: https://github.com/SolomonLeon/web-rwkv-realweb
[5]RWKV Android 聊天 APP: https://www.pgyer.com/rwkvchat
[6]RWKV iOS 聊天 APP: https://testflight.apple.com/join/DaMqCNKh
[7]rwkv_mobile_flutter 仓库: https://github.com/MollySophia/rwkv_mobile_flutter
[8]llama.cpp 合并 RWKV-7 PR: https://github.com/ggml-org/llama.cpp/pull/12412
