📌 📄 内容摘要:
NICAI (@systemoutprintlnhell) 在 咨询下gpt-5和gemini 2.5 pro 大批量调用如何节省成本 中发帖
目前我需要进行一次大批量测试，需要调用标题所示两个模型，通过相同的sys提示词和不同的instruction提示词来对他们分别进行21w次调用，目前测试一次调用平均大约是0.02元，算下来合计是8k左右
[d3b9876262a59f17bc1999278430ba8a]
这对于我们是一笔不小的费用，但是调用次数过大，而且要求过程稳定，能够较短时间内完成
经过研究发现目前存在两个可以节省成本的点
提示词缓存命中：由于sys提示词不变，根据ds文档，缓存命中的部分输入能降低到1/10
[image]
[image]
但是我们发现我们所在站并不支持这个做法
az/ （vertex | google cloud） 账号
据信，这种携带100-5000刀的账号能以较低价格购入，并且通过部署gpt/gemini 能够节省一定成本
2api项目
这一方案对要求稳...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1564807/1
─────────────────────────────
📢 来源：LINUX DO
