Showan Hou 2025-01-10 22:37 北京
最新 RWKV-7 架构可全面超越同等参数规模 Transformer 架构性能
奇绩创业营 2024 年春季校友「元始智能」完成千万级人民币天使轮融资。本轮融资由天际资本投资。募集资金将主要用于加速 RWKV 新架构的演进，开发更多 ToC 端应用和支持建设更繁荣的开发者社区生态。
图为元始智能参加奇绩创坛 2024 年春季创业营路演日
内容来源 | 元始智能
深圳元始智能有限公司（以下简称“元始智能”）宣布已于 2024 年 12 月 25 日走完工商变更，成功完成千万级人民币天使轮融资。
元始智能成立于 2023 年 6 月，是一家专注于研发大模型架构和 AI 应用的高新技术企业。作为在人工智能领域迅速崛起的新兴力量，元始智能凭借其创新的技术和清晰的发展战略，持续获得资本市场的青睐。在此次融资之前，元始智能已于 2024 年 1 月完成由奇绩创坛领投的种子轮融资，展现了资本市场对元始智能技术实力、发展前景以及团队执行力的认可，彰显了元始智能在人工智能领域的强劲发展势头和市场潜力。
资金用途与战略规划
本轮融资将重点用于以下几个方面：
1. 加速 RWKV 新架构的演进：持续投入并加大对 RWKV 架构底层技术的研发投入，不断提升模型的性能、效率和稳定性；扩大研发团队，探索多模态融合，对 RWKV 多模态模型进行改进和优化，拓展 RWKV 的应用领域；推进模型轻量化和端侧部署，实现 RWKV 模型在移动端、IoT 设备等资源受限场景的高效运行。
2. 开发更多 ToC 端 AI 应用：拓展多元化应用场景，将 RWKV 技术应用于更广泛的 C 端场景；注重用户的产品体验反馈，优化产品设计。
3. 支持生态发展：构建更繁荣的开发者社区，降低 RWKV 的使用门槛，开展 RWKV 技术交流活动及相关赛事，如目前已公开的《2025 RWKV 生态内容征集大赛》，后续还将发布《2025 RWKV 生态年度大奖》的奖项设置和评审规则；赋能产业合作，与产业链上下游企业共同推动RWKV架构的应用和普及；积极与高校、研究机构和开源社区合作，推动RWKV技术的开源和发展。
RWKV-7 赋能端侧 AI，实现边推理边学习
值得一提的是，元始智能最新推出的 RWKV-7 架构采用动态状态演化机制，超越了传统的 attention/linear attention 范式，拥有强大的上下文学习能力和真正持续学习的能力。这意味着模型在实际应用过程中能够不断地根据新的数据进行自我优化和改进，从而大大提高了模型的适应性和效率。
此外，RWKV-7 在保持 100% RNN 特性的同时，拥有极强的长文本处理能力，能够轻松应对复杂的文本处理任务。例如 RWKV-7-World 0.1B 模型在 4k 上下文长度下预训练后，无需任何微调即可完美通过 16k 上下文长度的大海捞针测试。
RWKV-7 外推到 ctx32k+，完美通过 ctx16k 大海捞针实验
RWKV 技术获业界认可，开源生态蓬勃发展
自 RWKV 架构诞生以来凭借其高效性和实用性，获得了广泛的关注和应用，成为人工智能领域备受瞩目的技术解决方案之一。2024 年 9 月，RWKV 社区发现微软 Windows 系统在其 Office 组件更新后，内置了 RWKV 的运行库。这意味着全球数亿台 Windows 设备已经搭载了 RWKV 技术，预计未来用于支持 Windows 系统中的某些功能，例如本地 Copilot、本地记忆回调器等。这充分体现了 RWKV 在端侧部署和低功耗方面的优势，以及其在实际应用中的巨大潜力。
Windows 系统内置 RWKV dll 文件
RWKV 蓬勃的开源生态也吸引了众多顶尖企业和研究机构的参与，如：阿里巴巴、腾讯、地平线等企业基于 RWKV 开展了多模态信息处理和具身智能等前沿技术的研究；浙江大学、南方科技大学等高校也在 RWKV 的基础上进行了多项创新研究（多模态模型、类脑模型和决策模型等），进一步推动了人工智能技术的多元化应用与突破。
目前在 rwkv.cn 官网已记录了 40 多篇由多家高校和企业撰写的使用 RWKV 的论文，证明了 RWKV 在语言、多模态、时间序列等领域的可行性和能力。
rwkv.cn 上记录的各高校和企业使用 RWKV 的论文
（全文完）
元始智能是一家专注于研发大模型架构和人工智能应用的高新技术企业，公司核心技术围绕 RWKV 架构展开，致力于打造高效、轻量化的 AI 模型，突破传统 Transformer 架构的瓶颈，实现更高效的端侧部署和更广泛的应用场景。欢迎大家关注「元始智能」。
加入 #奇绩创业社区#
扫描创业营二维码，提交奇绩创业营申请表，即可【免费】加入社区，【滑动】查看并免费领取创业社区独家资源：
左右滑动查看更多资源
