IT之家 2024年08月07日
月之暗面 Kimi 开放平台上下文缓存 Cache 存储费用降价 50%:现价 5 元 / 1M tokens / min
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Kimi 开放平台的上下文缓存 Cache 存储费用降低至 5 元 / 1M tokens / min,有效降低长文本旗舰大模型的使用成本,提升模型响应速度。该技术适用于频繁请求,重复引用大量初始上下文场景,例如 QA Bot、上市公司信息披露问答工具、代码库分析等。Kimi 开放平台上下文缓存功能目前处于公测阶段,优先开放给 Tier5 等级用户,其他用户范围放开时间待定。

🚀 **上下文缓存技术简介** 上下文缓存是一种数据管理技术,允许系统预先存储会被频繁请求的大量数据或信息,例如 QA Bot 中的预设内容、上市公司信息披露问答工具中需要频繁查询的固定文档集合、代码库分析中需要周期性分析的静态代码库或知识库等。当用户请求相同信息时,系统可以直接从缓存中提供,无需重新计算或从原始数据源中检索。

💰 **上下文缓存费用说明** 上下文缓存收费模式主要分为三个部分: 1. **Cache 创建费用**: 24 元 / M token 2. **Cache 存储费用**: 5 元 / M token / 分钟 3. **Cache 调用费用**: - 按模型原价收费(增量 token) - 0.02 元 / 次(调用次数)

⏳ **公测时间和资格说明** Kimi 开放平台上下文缓存功能目前处于公测阶段,公测时间为 3 个月,公测期价格可能随时调整。公测期间优先开放给 Tier5 等级用户,其他用户范围放开时间待定。

⏱️ **上下文缓存的优势** 上下文缓存技术可以有效降低长文本模型的使用成本,提升模型响应速度,适用于各种需要频繁请求和重复引用大量初始上下文的场景。

🌐 **适用业务场景** 上下文缓存适用于以下业务场景: - 提供大量预设内容的 QA Bot - 针对固定的文档集合的频繁查询 - 对静态代码库或知识库的周期性分析 - 瞬时流量巨大的爆款 AI 应用 - 交互规则复杂的 Agent 类应用

IT之家 8 月 7 日消息,AI 独角兽公司月之暗面今日宣布,Kimi 开放平台的上下文缓存 Cache 存储费用降价 50%,Cache 存储费用由 10 元 / 1M tokens / min 降低至 5 元 / 1M tokens / min,即日起生效。

7 月 1 日,Kimi 开放平台上下文缓存(Context Caching)功能开启公测。官方表示,该技术在 API 价格不变的前提下,可为开发者降低最高 90% 的长文本旗舰大模型使用成本,并提升模型响应速度。

IT之家附 Kimi 开放平台上下文缓存功能公测详情如下:

技术简介

据介绍,上下文缓存是一种数据管理技术,允许系统预先存储会被频繁请求的大量数据或信息。当用户请求相同信息时,系统可以直接从缓存中提供,无需重新计算或从原始数据源中检索。

适用场景

上下文缓存适用于频繁请求,重复引用大量初始上下文场景,可降低长文本模型费用,提高效率。官方表示费用最高降低 90 %,首 Token 延迟降低 83%。适用业务场景如下:

计费说明

上下文缓存收费模式主要分为以下三个部分:

Cache 创建费用

Cache 存储费用

Cache 调用费用

公测时间和资格说明

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Kimi 开放平台 上下文缓存 AI模型 长文本 费用降低
相关文章