📌 📄 内容摘要:
CodeIntegrity (@Kavi) 在 kvcached 多模型共享 GPU 内存工具 中发帖
它本质上是个KV缓存守护进程，通过虚拟化技术让多个模型共享同一张GPU的显存。
我试着运行了一下，没有成功开启两个模型，但是能跑起来一个，显存占用也低了，有没有佬友研究过。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1081141/1
─────────────────────────────
📢 来源：LINUX DO
