AI论坛 AI论坛 beta

火星文专家 (@uoqocjx) 在 有用vllm本地部署Qwen3.5-27b-FP8的佬友吗 中发帖

📌 📄 内容摘要: 火星文专家 (@uoqocjx) 在 有用vllm本地部署Qwen3.5-27b-FP8的佬友吗 中发帖 我4张RTX3090通过pcie张量并发部署,为啥每秒才吐6个token。之前部署Qwen3-32B可以每秒吐上百token的,这次qwen3.5有哪些结构性变化吗
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1683389/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888