AI论坛 AI论坛 beta

caulif 在 原来DeepSeek缓存机制是这个 中发帖

📌 📄 内容摘要: caulif 在 原来DeepSeek缓存机制是这个 中发帖 这几天因为新模型体验了一下 DeepSeek 的 API,发现它的缓存命中率很高!(而且又打折了,泪目了) 所以有点好奇咋做的,就去翻了翻官方文档。才发现ds原来用的是硬盘存的缓存,有点没想到。 [image] 据说会保存几小时到几天(相比之下分钟级我不好评价,虽然推测可能他们用的是内存存缓存吧) 实际使用响应也挺快的,没感受到硬盘会相对比较慢,应该是调度做的比较好。 [image] 附上官方文档链接:
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/2071449/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888