AI论坛 AI论坛 beta

Arvin Xu 在 LobeChat 的 Context Caching 来了! 实测 Claude 3.7 平均节省一半,最高狂省 86% ! 中发帖

📌 📄 内容摘要: Arvin Xu 在 LobeChat 的 Context Caching 来了! 实测 Claude 3.7 平均节省一半,最高狂省 86% ! 中发帖 经过三天孜孜不倦地优化,我们在 v1.69.0 正式完成了 Anthropic Context Caching 的支持,实测日用成本平均降低50%,最高能降到 86% !🤩 我的一个具体测试 query : 分析下 LinuxDo ,然后给出一份深度报告。和你自己的评价 然后让 Claude 3.7 自己跑了几分钟,视频如下: https://github.com/user-attachments/assets/98e9903f-b8f6-4dbf-b530-88be94f6debb 总共跑了12 条消息,中间存在了一次网络请求导致的停顿,然后做了重新生成(缓存失效了),就当模拟日常使用的 case 了。然后完整的统计数据如下: 轮次 Token数 缓存前总积分 缓存后总积分 缓存后 / 缓存前 节省 1 2,512 10,380 4,917 47.37% 5...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/479365/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888