RWKV-7-0.4B 模型正式发布，社区发布多款基于 RWKV-7 的新项目！

原创 Rocky Luo 2025-01-10 16:02 广东

RWKV-7-World-0.4B正式发布，社区正积极开发RWKV项目。

RWKV-7-World-0.4B-v2.9 模型于 2025 年 1 月 8 日正式发布！

随着 RWKV-7 架构的发布，RWKV 社区也开源发布了多款基于 RWKV-7 的新项目，包括 RWKV-7-WebGPU Demo 和基于 RWKV-7 架构的 CoT 黑白棋项目 “RWKV Othello”。

RWKV-7-World-0.4B 模型发布

RWKV-7-World-0.4B-v2.9 模型于 2025 年 1 月 8 日正式发布！

RWKV-7-World-0.4B 在 world-2.9（从 world-v3 数据集中采样 2T tokens）数据集上训练。其英文和多语言能力显著超越其他 0.4B 模型，且支持全球 100+ 种语言和代码。

在线 Demo

RWKV 官方和社区分别发布了在线 Demo，可在线体验 RWKV-7-World-0.4B 模型：

Hugging Face Demo：https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-1^[1]

社区 WebGPU Demo：https://cryscan.github.io/web-rwkv-puzzles^[2]

下载模型

RWKV-7-World-0.4B 现已上传到 Hugging Face 和 ModelScope，可从以下仓库下载：

Hugging Face：https://huggingface.co/BlinkDL/rwkv-7-world^[3]

ModelScope：https://modelscope.cn/models/Blink_DL/rwkv-7-world^[4]

RWKV-7-World-0.4B 生成案例

以下是 RWKV-7-World-0.4B 的生成案例（使用社区 WebGPU Demo 运行）：

RWKV Othello

RWKV 社区成员 @Jellyfish042^[5] 基于 RWKV-7 架构开发了 RWKV Othello 项目。

项目 GitHub 仓库：https://github.com/Jellyfish042/RWKV_Othello^[6]

RWKV Othello 项目利用 Othello（也称为反转棋或黑白棋）的 CoT 数据训练了仅 8.8M 参数的 RWKV-7-Othello 模型。

RWKV-7-Othello 模型可以和人类或其他模型自动对战 Othello 游戏，且在与人类对战时实现了非常高的胜率。

test time scaling

RWKV-7-Othello 模型支持两种推理模式：关闭搜索和开启搜索。

关闭搜索时，模型会直接预测最佳走法；开启搜索后， RWKV Othello 模型会根据搜索配置进行 cot，而且思考的 token 数越多，棋力越强（获胜概率增大）。

以下是不同的搜索配置与基线模型（深度=1，宽度=1）进行比较，测试不同搜索树深度和宽度的获胜率（模型：rwkv7_othello_26m_L10_D448_extended ，每个数据点包含 100 局游戏）：

RWKV Othello 项目证明 RWKV 模型的恒定资源占用特效在做 CoT 项目时有独特的优势，同时也展示 RWKV 模型在游戏策略和决策任务中的应用潜力。

RWKV WebGPU Demo

无需下载任何应用，在浏览器中运行 RWKV-7-World 模型进行对话、解 15 谜题、音乐作曲，以及可视化查看 state 变化！

基于 web-rwkv^[7] 的 RWKV WebGPU Demo^[8] 实现了在浏览器中本地运行 RWKV-7 模型！加载模型后，模型将在浏览器中离线运行，不需要任何服务器通信。

对话功能

在 chat 界面选择一个 RWKV-7-World 模型（0.1B 或 0.4B），点击 Load Model 按钮，即可下载并运行模型进行对话。

也可以从本地目录拖动一个 RWKV-7-World 模型到灰框内运行，省略下载的过程。

解 15 谜题

?Tips
15 谜题（也叫数字推盘游戏或 15 数码）是一个经典的滑块益智游戏，玩家需要在一个 4x4 的方格中放置 1-15 数字并留一个空格，然后通过滑动数字将数字按顺序排列。

在 Demo 的 15 puzzle 界面点击 New Game 按钮，可以设置一局全新的 15 谜题。

点击 start 按钮，WebGPU Demo 会运行 RWKV-puzzle15 模型自动解开当前的 15 谜题，左侧则显示模型的 CoT 推理过程。

RWKV 作曲功能

在 Demo 的 Music 界面，可以驱动 RWKV ABC 模型进行作曲。操作步骤：

点击 Load Model 按钮下载作曲模型

点击 prompt下拉框选择一个 ABC 格式的 prompt

点击 Generate Music 按钮，开始作曲

更多作曲模型，请查看：

RWKV-5 作曲模型：https://modelscope.cn/models/RWKV/rwkv-5-music^[9]

RWKV-4 作曲模型：https://modelscope.cn/models/RWKV/rwkv-4-music^[10]

State 可视化

在 Demo 的 State Replay 界面，可以查看 RWKV 作为 RNN 模型的隐藏状态演变。

?Tips
State Replay 功能需要提前在 chat 界面启动一个 RWKV 模型。

下图是对 RWKV-7-World-0.1B 模型输入 “你好” 后，模型的隐藏状态演化。

RWKV-7-World-0.1B 的设计是 L12-D768，所以我们可以在 State Replay 中查看模型 12 层的状态演化，每层按照维度（一个 head）划分为 12 个可视化小方格。

小方格的颜色解释：

深蓝色：较低值或接近负数的数值

黄色：较高值或接近正数的数值

灰色或黑色：数值接近 0

加入 RWKV 社区

RWKV 是一种创新的深度学习网络架构，它结合了 Transformer 与 RNN 的优点，同时实现高度并行化训练与高效推理。

RWKV 中文官网（包括大量RWKV多模态论文）：https://rwkv.cn/

RWKV 英文官网：https://rwkv.com/

RWKV-5/6（Eagle & Finch）论文：https://arxiv.org/abs/2404.05892

RWKV-4 论文：https://arxiv.org/abs/2305.13048

欢迎大家加入 RWKV 社区！您可从 RWKV 官网了解 RWKV 模型，也可加入我们的 QQ 频道和群聊，一起探讨 RWKV 模型。

QQ 频道：https://pd.qq.com/s/9n21eravc

QQ 交流群：224287095

RWKV-7-World-1.5B 预计在一月底发布， RWKV-7-World-2.9B 预计将于二月初发布。请关注我们的公众号，第一时间获取 RWKV 动态！