原创 RWKV 2024-07-31 18:28 广东
RWKV 社区 7 月最新动态，一起来看看吧
大家好，《RWKV 社区最新动态》迎来了第三期内容，本期统计了 RWKV 社区 7 月的重要动态，一起来看看吧！
省流版本：
RWKV 官方动态
RWKV-6-World 14B 模型已发布
RWKV 中文官网 rwkv.cn 正式上线
RWKV 社区新项目
RWKV RAG：一键式 RWKV RAG 本地搭建项目，实现了最小封装和极高的扩展性
RWKV-Keras：RWKV 的 Keras 实现，支持 RWKV 模型和 State 的推理和训练
rwkv6-keras-operator：RWKV6 模块的 RWKV 核算子，已发 PIP 包
RWKV Runner：更新版本并启动易用性改版计划，正在招募前端贡献者
RWKV 的新学术研究：
GoldFinch：RWKV/Transformer 混合模型架构
Restore-RWKV：RWKV 医学图像修复模型
Decision-RWKV：基于 RWKV 模型的机器人终身学习算法
8 月预告：RWKV 的小说微调模型（7B、14B）正在训练中，有望在 8 月发布！
RWKV 官方动态
RWKV-6-World 14B 开源发布
2024 年 7 月 19 日，RWKV 开源基金会宣布正式向全球开源 RWKV-6-World 14B 模型。
RWKV-6-World 14B 是迄今最强的稠密纯 RNN 大语言模型。在最新的性能测试中，该模型英文性能相当于 Llama2 13b。在同参数的模型评测中，RWKV-6-World 14B 的多语言性能显著最强，且支持全球 100+种语言和代码。
在“无法作弊的模型评测” Uncheatable Eval 排行榜中，RWKV-6-World 14B 的综合评测分数比 llama2 13B 和 Qwen1.5 14B 更强。
RWKV 中文官网正式上线
RWKV 中文官网（rwkv.cn）正式上线了，RWKV 中文官网目前有四大板块，分别是首页、生态页、资讯页，以及 RWKV 中文文档页面。
你可以在 RWKV 中文官网找到关于 RWKV 的绝大多数信息，包括但不限于 RWKV 架构的介绍、RWKV 多模态等研究和相关论文、RWKV 的本地部署和推理教程、RWKV 的全参/微调训练教程，以及 RWKV 最新新闻动态等信息。
RWKV 社区的新项目/更新
RWKV RAG 项目
RWKV_RAG 是 RWKV 的本地 RAG 项目，实现了傻瓜式的本地 RWKV RAG 系统搭建流程。
RWKV_RAG 架构实现了实现了最小封装和高扩展性：所有功能异步化且无封装，想怎么调接口就怎么调接口。
此外，RWKV_RAG 已支持带图形化界面的 LoRA、State tuning、Pissa 等主流 RWKV 微调方法，可以一键微调以适应任何下游任务。
RWKV_RAG 很快会适配多模态和知识图谱功能，敬请期待！
RWKV-RAG 仓库地址[1]： https://github.com/AIIRWKV/RWKV_RAG
RWKV6-Keras
RWKV6-Keras 项目是基于 RWKV 模型的 Keras 实现，由 RWKV 社区的 infiy-quine 兴趣组牵头开发，基于 bert4keras3[2] 和 RWKV6_Keras 算子[3]两个项目。
除了支持训练和推理 RWKV 模型，RWKV6-Keras 还支持 RWKV State 的训练和推理。
以下是 RWKV6-Keras 基于不同后端的生成速度对比：
| 前置条件 | torch(keras) | jax(keras) | tensorflow(keras) | RWKV-Pytorch |
|---|---|---|---|---|
| 有 cuda 算子(bs=1) | 4 token/s | 78.0 token/s | / | / |
| 无 cuda 算子(bs=1) | 4 token/s | 77.0 token/s | 77.0 token/s | 25.75 tokens/s |
| 有 cuda 算子(bs=64) | / | 1500.0 token/s | / | / |
| 无 cuda 算子(bs=64) | / | 1289.0 token/s | / | 578.68 tokens/s |
| prefill(有 cuda) | 185ms | 5ms | / | / |
| prefill(无 cuda) | 6s | 209ms | 186ms | 480 ms |
对比测试显示，更推荐使用 jax 作为 RWKV6-Keras 后端，以获得最佳性能。
RWKV6-Keras 模型下载[4]：https://www.modelscope.cn/models/q935499957/RWKV6-1.6B-Keras
rwkv6-keras-operator 项目
rwkv6-keras-operator 是一个适用于 bert4keras3 库中 RWKV6 模块的 RWKV 核算子，这个算子在 jax、pytorch 框架提供了原生 CUDA 实现，但对于 TensorFlow 框架只提供基本的上层 api 实现。
RWKV6_Keras 算子 pip 包地址[5]:https://pypi.org/project/rwkv6-keras-operator
GitHub 仓库：https://github.com/infiy-quine/RWKV6_Keras_Operator
rwkv.cpp 新增 RWKV-6 支持
rwkv.cpp 项目新增了对于 RWKV-6 架构的支持，这意味着 RWKV-6 模型可以在 CPU 上实现较快的推理速度。
详情可见：https://github.com/RWKV/rwkv.cpp/pull/174
zy在 1.8.5 版本的更新中 ，RWKV Runner 的 rwkv.cpp 模式也同步支持 RWKV-6 架构。
RWKV Runner 项目更新
1. RWKV Runner 发布 1.8.5 版本
RWKV Runner 更新到了 v1.8.5，新版本支持了开发者工具，允许用户自定义头像，并且修复了一些已知问题。
2. RWKV Runner 易用性改版
RWKV Runner 正在启动易用性改版计划，使得软件更开箱即用，对新手更友好。
易用性改版主要围绕前端板块展开，具体任务如下：
RWKV Runner 开发组正在寻找有意向参与改版的前端高手（技术栈 react, typescript, tailwindcss），以加快改版的进度。如果您有意向参与到改版计划，欢迎在公众号后台留言“改版计划”，我们将第一时间联系您。
Runner API 指南
RWKV 社区发布了关于 RWKV Runner API 的详细用法。文章列出 RWKV Runner 每一个 API 的作用、请求主体的参考结构、必需字段和可选字段等内容，帮助大家更轻松、更灵活地调用 RWKV Runner 的 API。
RWKV 学术研究相关
格灵深瞳开源 RWKV-CLIP 模型
格灵深瞳近日在 WiseModel 平台上开源了 RWKV-CLIP 模型。
RWKV-CLIP （Contrastive Language-Image Pre-training）是一个 RWKV 驱动的视觉语言表示学习模型，该框架可以利用大型语言模型（LLMs）来合成和细化基于网络的文本、合成标题和检测标签的内容。
RWKV-CLIP 模型下载[6]：https://wisemodel.cn/models/deepglint/RWKV-CLIP/file
RWKV-CLIP 更多链接：
RWKV-CLIP GitHub 仓库[7]：https://github.com/deepglint/RWKV-CLIP
RWKV-CLIP 论文地址[8]：https://arxiv.org/abs/2406.06973
Restore-RWKV
Restore-RWKV 是首个基于 RWKV 的医学图像修复模型。文章提出了一种循环 WKV(Re-WKV)注意力机制，该机制以线性计算复杂度捕获全局依赖关系。Restore-RWKV 在各种医学图像修复任务中均具有卓越的性能，包括 MRI 图像超分辨率、CT 图像去噪 PET 图像合成和一体化医学图像修复。
相关链接：
Restore-RWKV 论文地址[9]：https://arxiv.org/abs/2407.11087
Restore-RWKV GitHub 仓库[10]：https://github.com/Yaziwel/Restore-RWKV
GoldFinch
GoldFinch 是一种 RWKV/Transformer 混合序列模型，将新的 GOLD transformer 叠加在 Finch(RWKV-6) 架构的增强版本之上，有效地在线性时间和空间中生成高度压缩和可重用的 KV-Cache。相对于 1.5B 参数的 Finch 和 Llama 模型而言，GoldFinch 的建模性能显著提高。
相关链接：
GoldFinch 论文地址[11]：https://arxiv.org/abs/2407.12077
GoldFinch GitHub 仓库地址[12]：https://github.com/recursal/GoldFinch-paper
Decision-RWKV
南方科技大学的研究团队提出了 Decision-RWKV (DRWKV) 模型，并将经验回放（experience replay）的概念与 Decision-RWKV 模型相结合，设计出适合机器人的终身学习算法。
实验结果显示 DRWKV 模型在单任务测试和终身学习场景中拥有先进的性能。与此同时， Decision-RWKV 相比 DT（Decision-Transformer）显著地减少了推理时间和内存占用，使其成为现实应用（尤其是机器人领域）的更佳选择。
相关链接：
Decision-RWKV 论文地址[13]：https://arxiv.org/abs/2407.16306
Decision-RWKV GitHub 仓库[14]：https://github.com/ancorasir/DecisionRWKV
8 月预告
RWKV 小说模型
据可靠消息，专用于写小说的 RWKV 小说微调模型（7B、14B）正在训练中，敬请期待！
关于《RWKV 社区动态》栏目
《RWKV 社区动态》栏目会不定期播报 RWKV 社区的最新消息，以帮助 RWKV 的关注者、爱好者、开发者更好地了解 RWKV 的发展情况。
《RWKV 社区最新动态》不定期更新，所以请保持关注我们的微信公众号（RWKV 元始智能）、QQ 频道（RWKV）等公开平台，以获取最新的消息。
加入 RWKV 社区
欢迎大家加入 RWKV 社区，可以从 RWKV 中文官网了解 RWKV 模型，也可以加入我们的 QQ 频道和群聊，一起探讨 RWKV 模型。
RWKV 中文官网：https://rwkv.cn/
QQ 频道：https://pd.qq.com/s/9n21eravc
QQ 交流群：224287095
相关链接
[1]
RWKV-RAG 仓库地址: https://github.com/AIIRWKV/RWKV_RAG
[2]bert4keras3: https://github.com/pass-lin/bert4keras3
[3]RWKV6_Keras 算子: https://github.com/infiy-quine/RWKV6_Keras_Operator
[4]RWKV6-Keras 模型下载: https://www.modelscope.cn/models/q935499957/RWKV6-1.6B-Keras
[5]RWKV6_Keras 算子 pip 包地址: https://pypi.org/project/rwkv6-keras-operator
[6]RWKV-CLIP 模型下载: https://wisemodel.cn/models/deepglint/RWKV-CLIP/file
[7]RWKV-CLIP GitHub 仓库: https://github.com/deepglint/RWKV-CLIP
[8]RWKV-CLIP 论文地址: https://arxiv.org/abs/2406.06973
[9]Restore-RWKV 论文地址: https://arxiv.org/abs/2407.11087
[10]Restore-RWKV GitHub 仓库: https://github.com/Yaziwel/Restore-RWKV
[11]GoldRWKV 论文地址: https://arxiv.org/abs/2407.12077
[12]GoldRWKV GitHub 仓库地址: https://github.com/recursal/GoldFinch-paper
[13]Decision-RWKV 论文地址: https://arxiv.org/abs/2407.16306
[14]Decision-RWKV GitHub 仓库: https://github.com/ancorasir/DecisionRWKV
