近期，科技界传来一则新动态，谷歌在其Gemini 2.5 API中引入了名为“隐式缓存”的新功能，旨在通过智能化手段降低开发者的成本。据科技媒体WinBuzzer于5月9日报道，这一创新技术能自动识别并重用API请求中的常见前缀，从而帮助开发者实现成本的大幅缩减，最高可达75%。
具体而言，“隐式缓存”功能适用于Gemini 2.5系列中的Pro和Flash模型。该功能无需开发者进行任何手动配置，系统默认启用，大大简化了操作流程。它通过自动检测并重用API请求中的重复前缀，有效提升了效率，降低了成本。
值得注意的是，“隐式缓存”与谷歌早前在2024年5月推出的“显式缓存”有所不同。后者需要开发者自行配置，而前者则完全由系统自动处理，不仅节省了成本，还显著提升了用户体验。为了最大化隐式缓存的效果，谷歌建议开发者在构建提示词时，将稳定且常见的内容置于开头，随后再添加用户特定的变量内容。
谷歌还指出，如果开发者在短时间内发送具有相似前缀的请求，将有助于提高缓存的命中率，进一步提升效率。不过，为了享受这一功能，开发者需要满足一定的Token数量要求：Gemini 2.5 Flash模型需至少1024个Token，而Gemini 2.5 Pro模型则需至少2048个Token。
为了帮助开发者更好地了解缓存的使用情况，谷歌在API响应中新增了“cached_content_token_count”字段。这一字段将显示缓存Token的使用详情以及优惠计费信息，让开发者能够清晰掌握成本节约的具体情况。
尽管谷歌宣称“隐式缓存”功能能够带来高达75%的成本节省，但实际效果仍需第三方进行验证。同时，由于不同开发者的使用模式可能存在差异，因此具体节省的幅度也可能有所不同。
谷歌并未完全放弃“显式缓存”方案。作为可选方案，显式缓存仍然支持Gemini 2.5及2.0模型，并允许开发者自定义缓存内容和生存时间（TTL，默认1小时）。这一灵活性使得开发者能够根据自身需求选择最适合的缓存方案。
本文链接：http://www.28at.com/showinfo-21-149047-0.html谷歌Gemini 2.5 API新推隐式缓存功能，开发者成本有望大幅削减
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
