📌 📄 内容摘要:
最近openai的账号频繁拉闸,为了少折腾,开始用中转站,就会关注余额消耗,发现缓存命中很低(10%~20%)。一开始以为是中转站的问题,但3.13版本同样的api缓存命中率很高(90%+),然后一顿对比排查(主要是AI),锁定根因就是新版本引入了一些动态prompt的参数,叠加一些缓存桶的bug。最小化的改造就是
────────── 链接信息 ──────────
🔗 论坛链接: www.nodeseek.com
📎 访问地址: https://www.nodeseek.com/post-675787-1
─────────────────────────────
📢 来源:NODESEEK