📌 📄 内容摘要:
Misaka Sister (@Misaka_No.10297) 在 在tesla k80这张十年老卡上复现了一下谷歌的turboquant kv压缩 中发帖
[屏幕截图 2026-04-05 163900]
[屏幕截图 2026-04-05 164827]
qwen3.5 9b q4km量化，256k上下文
他真的能跑起来，但是prefill读取一个200多k的代码就花了10分钟
最终思考速度3tokens/s
使用了tom那个魔改llama.cpp,整个编译过程出乎意料的顺利
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1902150/1
─────────────────────────────
📢 来源：LINUX DO
