RWKV社区开发者训练的Sudoku-RWKV模型，对最高50个空单元格的数独实现100%准确率。该模型用700k条数独专用CoT数据训练，推理速度和显存占用有优势。数独是逻辑游戏，RWKV将Transformer与RNN优点结合，欢迎大家加入RWKV社区。

🧠RWKV社区开发者@Jellyfish042训练的Sudoku-RWKV模型，是一个29M参数的小模型，训练代码和数据制作脚本已开源，其使用700k条数独专用的CoT数据进行训练，数据总量约250亿token。

💯在测试中，Sudoku-RWKV对最高50个空单元格的数独实现了100%的准确率。对于高达50个空单元格的数独，解题难度呈指数上升，但RWKV模型通过几万个token的CoT仍能实现近乎100%的解题率。

🎯数独是一种逻辑游戏，玩家需根据9×9盘面上的已知数字，推理出所有剩余空格的数字，满足每行、每列、每一个粗线宫（3×3）内的数字均含1 - 9，不重复。

🌟RWKV是一种创新的深度学习网络架构，将Transformer与RNN各自的优点相结合，同时实现高度并行化训练与高效推理。大家可从RWKV中文官网了解，也可加入QQ频道和群聊探讨。

原创 Rocky Luo 2024-10-31 18:56 广东

RWKV 对最高 50 个空单元格的数独实现了 100% 的准确率

?Tips

RWKV 做 CoT 特别有优势，因为推理速度和显存占用与上下文无关。即使做几百万 token 的 CoT 也不会变慢或额外消耗显存。

RWKV 社区开发者 @Jellyfish042[1] 训练了一个用于解决数独谜题的专用 RWKV 模型 Sudoku-RWKV 。这是一个 29M 参数的小 RWKV 模型，训练代码和训练数据制作脚本均已开源。

GitHub 仓库：https://github.com/Jellyfish042/Sudoku-RWKV

Sudoku-RWKV 使用 700k 条数独专用的 CoT 数据进行训练，数据总量约 25B（250 亿） token。训练数据均使用仓库内的 generate_sudoku_data.py脚本自动生成。

100% 准确率

在 Jellyfish042 的测试中，Sudoku-RWKV 对最高 50 个空单元格的数独实现了 100% 的准确率。

高达 50 个空单元格的数独，解题难度会呈指数上升，而 RWKV 模型通过几万个 token 的 CoT 仍然可以实现近乎 100% 的解题率。

后续我们会展示更多的推理例子，展示 RWKV 在各类问题的 CoT 优势。

什么是数独

?Tips

数独是一种逻辑游戏，玩家需要根据 9×9 盘面上的已知数字，推理出所有剩余空格的数字，并满足每一行、每一列、每一个粗线宫（3×3）内的数字均含 1-9，不重复。

加入 RWKV 社区

RWKV 是一种创新的深度学习网络架构，它将 Transformer 与 RNN 各自的优点相结合，同时实现高度并行化训练与高效推理。

RWKV 中文官网（有多篇多模态论文）：https://rwkv.cn/

RWKV-5/6（Eagle & Finch）论文：https://arxiv.org/abs/2404.05892

RWKV-4 论文：https://arxiv.org/abs/2305.13048

欢迎大家加入 RWKV 社区！可以从 RWKV 中文官网了解 RWKV 模型，也可以加入我们的 QQ 频道和群聊，一起探讨 RWKV 模型。

QQ 频道：https://pd.qq.com/s/9n21eravc

QQ 交流群：224287095

相关链接

[1]

RWKV 社区开发者 @Jellyfish042: https://github.com/Jellyfish042

跳转微信打开