RWKV元始智能 前天 00:36
Ollama 已支持 RWKV-7 模型,可灵活开关思考模式
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文介绍了 Ollama 最新版本对 RWKV7-G1 和 RWKV-7-World 模型的支持,以及如何在 Ollama 中运行 RWKV 模型。文章详细阐述了安装 Ollama、下载模型、运行模型以及使用思考模式的步骤。此外,还推荐了 RWKV Chat 端侧聊天助手,并提供了下载链接和社区参与方式,方便用户体验 RWKV 模型,并加入 RWKV 社区进行交流。

🚀 Ollama 最新版本已支持 RWKV7-G1 和 RWKV-7-World 模型,用户可通过 Ollama 运行 RWKV 模型,体验端侧 AI。

💻 在 Ollama 中运行 RWKV 模型非常简单,只需下载安装 Ollama,然后运行 ollama run mollysama/rwkv-7-g1:2.9b 命令即可。

🤔 Ollama 的 RWKV7 G1 模型默认开启思考模式,用户可通过 /set nothink 和 /set think 命令灵活开关,控制模型的行为。

📱 除了 Ollama,RWKV Chat 端侧聊天助手也推荐使用,它针对端侧设备进行深度推理优化,提供更便捷的 RWKV 模型体验。

🤝 文章鼓励用户加入 RWKV 社区,提供了 RWKV 中文官网、论坛、QQ 频道和群聊等多种交流渠道,共同探讨 RWKV 模型。

原创 Rocky Luo 2025-06-20 17:12 广东

Ollama 最新版本已支持 RWKV7-G1 和 RWKV-7-World 模型。

Ollama 最新版本已支持 RWKV7-G1[1] 和 RWKV-7-World[2] 系列模型。

3 月初,随着 RWKV 社区成员 @MollySophia[3] 的 PR 被合并,llama.cpp 正式支持 RWKV-7 模型。Ollama 近期更新了最新版 llama.cpp,因此同步支持 RWKV-7 架构和对应模型。

Ollama 官方模型仓库现已包含 RWKV-7 系列模型(推荐使用 RWKV7-G1 系列模型):

RWKV-G1:https://ollama.com/mollysama/rwkv-7-g1

RWKV-7-World:https://ollama.com/mollysama/rwkv-7-world

Ollama-rwkv-7-g1-model

在 Ollama 中运行 RWKV 模型

以下是在 Ollama 中体验 RWKV-7 G1 2.9B 模型的最简路径。

https://ollama.com/download 页面,根据您的系统下载 Ollama 安装包:

Ollama-Download下载完毕后,双击安装包以安装 Ollama。任务栏出现 Ollama 图标时,意味着安装已完成:

Ollama-Install在终端中运行 

ollama run mollysama/rwkv-7-g1:2.9b

 命令,Ollama 将自动下载并运行 RWKV7-G1 2.9B 模型。您可以在终端中与 RWKV 模型进行对话,如下图所示:
💡Tips若您曾经下载过 

mollysama/rwkv-7-g1:2.9b

 模型,请运行 

ollama pull mollysama/rwkv-7-g1:2.9b

 命令,拉取最新的变更。
ollama-RunOllama 的 RWKV7 G1 模型默认开启思考模式,可以通过 

/set nothink

 和 

/set think

 命令灵活地开关思考模式:ollama-run-nothink-mode使用 

ollama stop mollysama/rwkv-7-g1:2.9b

 命令可以停止当前模型实例,从而重置对话上下文,否则 Ollama 会持续保留当前会话的上下文(历史消息)作为后续对话的参考
💡TipsOllama 官方仓库提供 

Q6_K

 量化的 RWKV7 G1 模型。如需使用其他量化类型,需手动创建自定义 RWKV 模型,详细教程请在 RWKV 教程 - Ollama 推理[4] 中查看。

RWKV Chat 端侧聊天助手

除了在 Ollama 中运行 RWKV 模型,我们也推荐使用 RWKV Chat 端侧聊天助手体验 RWKV 模型。

RWKV Chat 是 RWKV 官方推出的离线 AI 聊天应用,针对各类端侧设备进行深度推理优化。APP 内含多种小参数模型,支持会话配置调整、灵活切换思考模式,是你的高效生产力伙伴!

在开启和关闭思考模式两种情况下,RWKV Chat 回答同一个问题:

RWKV-chat-dual-mode下载 RWKV Chat APP:https://rwkvos.com/rwkv-chat[5]

💡Tips希望抢先体验更多 RWKV APP?请加入 RWKV 应用内测 QQ 群:332381861

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

📖 RWKV 中文文档:https://www.rwkv.cn

💬 RWKV 论坛:https://community.rwkv.cn/

🐧 QQ 频道:https://pd.qq.com/s/9n21eravc | QQ 交流群:224287095

📺 BiliBili 视频教程:https://space.bilibili.com/3546689096910933

相关链接

[1] RWKV7-G1: https://huggingface.co/BlinkDL/rwkv7-g1

[2] RWKV-7-World: https://huggingface.co/BlinkDL/rwkv-7-world/tree/main

[3] @MollySophia: https://github.com/MollySophia

[4] RWKV 中文教程 - Ollama 推理: https://rwkv.cn/tutorials/intermediate/RWKV-Inference/Ollama

[5] 下载 RWKV Chat: https://rwkvos.com/rwkv-chat

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Ollama RWKV AI模型 端侧推理
相关文章