📌 📄 内容摘要:
Cybertronmt 在 unsloth发布1.8bit量化版Kimi K2.5，本机24GB显存可跑 中发帖
Unsloth用它家的Dynamic 1.8bit量化，把 Kimi K2.5 裁剪到了 240GB 大小
然后把MoE专家都放到内存而不是GPU显存里，就只需要24GB显存 + 256GB内存就够了
Unsloth 实测速度可以到 10 tokens/s.
GGUF模型下载：unsloth/Kimi-K2.5-GGUF · Hugging Face
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1538585/1
─────────────────────────────
📢 来源：LINUX DO
