📌 📄 内容摘要:
@lucepuff 在 8xa40服务器部署全精qwen27b，首发延迟高，约10s，速度慢，90-100tokens/s，何解 中发帖
鄙人使用学校的8xa40-Pcle服务器，部署全精qwen27b，首发延迟高，约10s，速度慢，90-100tokens/s，看到很多人用3090部署速度都没这么慢，这是为什么？有没有推荐部署的模型，27b对显存浪费有点大，不过pcle带宽比较低
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/2001053/1
─────────────────────────────
📢 来源：LINUX DO
