📌 📄 内容摘要:
yeyucca 在 qwen 3.6 27B 单卡部署5090 60+toks/s质量可以，够用了~ 中发帖
使用的是Unsloth家的动态，选的Qwen3.6-27B-UD-Q5_K_XL.gguf量化版本，用的是5090单卡，32G vram，大家可以根据这个表格，快速选配下
[image]
[image]
目前输出感觉是 qwen 3.6 27B ≈ Jackrong/Qwen3.5-27B-GLM5.1 > qwen 3.6 35B_A3B ≈ qwen 3.5 27B
再期待下 其他家对 qwen 3.6 27B的进一步变种专训结果，有机会在Herems上再跑下~
附上启动参数，
-ngl 99 -c 262144 -np 1 -fa on --cache-type-k q4_0 --cache-type-v q4_0
–no-mmap --mlock --threads 16 --threads-batch 16 --batch-size 256 --ubatch...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/2036516/1
─────────────────────────────
📢 来源：LINUX DO
