IT之家 05月10日 11:28
谷歌 Gemini 2.5 API 推“隐式缓存”,开发者成本最高降低 75%
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

谷歌为Gemini 2.5 API推出了“隐式缓存”功能,旨在降低开发者的使用成本。该功能自动识别并重用API请求中的常见前缀,无需开发者手动配置,系统默认开启,最高可降低75%的成本。谷歌建议开发者在构建提示词时,将稳定内容放在开头,并短时间内发送相似前缀的请求,以提高缓存命中率。同时,显式缓存仍作为可选方案存在。实际成本节省效果尚待验证。

💰Gemini 2.5 API的隐式缓存功能,核心在于自动识别并重用API请求中的常见前缀,无需开发者手动配置,系统默认开启,简化操作流程。

💡为了充分利用隐式缓存,谷歌建议开发者在构建Prompt时,将稳定、常见的内容放在开头,后面再添加用户特定的变量内容。短时间内发送具有相似前缀的请求也能提高缓存命中率。

📏谷歌对隐式缓存设定了最低Token数量要求:Gemini 2.5 Flash 需 1024 个 Token,Gemini 2.5 Pro 则需 2048 个 Token。API 响应中新增的“cached_content_token_count”字段会显示缓存 Token 的使用情况和优惠计费详情。

✨显式缓存仍作为可选方案,支持 Gemini 2.5 及 2.0 模型,允许开发者自定义缓存内容和生存时间(TTL,默认 1 小时)。

IT之家 5 月 10 日消息,科技媒体 WinBuzzer 昨日(5 月 9 日)发布博文,报道称谷歌为其 Gemini 2.5 API,推出了“隐式缓存”(Implicit Caching)功能,自动识别并重用 API 请求中的常见前缀,开发者的成本最高可以降低 75%。

该功能适用于 Gemini 2.5 Pro 和 Gemini 2.5 Flash 模型,自动检测 API 请求中的重复前缀并加以重用,开发者的使用成本最高可以降低 75%。

IT之家注:与 2024 年 5 月推出的“显式缓存”(Explicit Caching)不同,隐式缓存无需开发者手动配置,系统默认开启,节省成本的同时大幅简化操作流程。

为帮助开发者充分利用隐式缓存,谷歌建议在构建提示词(Prompt)时,将稳定、常见的内容放在开头,后面再添加用户特定的变量内容。此外,短时间内发送具有相似前缀的请求也能提高缓存命中率。

谷歌还设定了最低 Token 数量要求:Gemini 2.5 Flash 需 1024 个 Token,Gemini 2.5 Pro 则需 2048 个 Token。API 响应中新增的“cached_content_token_count”字段会显示缓存 Token 的使用情况和优惠计费详情。

与此同时,显式缓存仍作为可选方案,支持 Gemini 2.5 及 2.0 模型,允许开发者自定义缓存内容和生存时间(TTL,默认 1 小时)。

谷歌此举虽宣称成本节省 75%,但实际效果尚待第三方验证,且可能因使用模式不同而有所差异。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Gemini API 隐式缓存 成本降低 谷歌 开发者
相关文章