AI论坛 AI论坛 beta

ALEX000V 在 qwen3似乎比qwen2.5更慢 中发帖

📌 📄 内容摘要: ALEX000V 在 qwen3似乎比qwen2.5更慢 中发帖 我在相同的硬件环境(2*4090)下部署了Qwen/Qwen2.5-32B-Instruct-AWQ,Qwen/QwQ-32B-AWQ,Qwen/Qwen3-32B-AWQ,swift/Qwen3-30B-A3B-AWQ,在都使用vllm/vllm-openai:v0.8.5.post1镜像,且确保显存充足的情况下,swift/Qwen3-30B-A3B-AWQ和Qwen/Qwen3-32B-AWQ速度几乎相同,且都比Qwen/Qwen2.5-32B-Instruct-AWQ和Qwen/QwQ-32B-AWQ更慢,Qwen/Qwen3-32B-AWQ比Qwen/Qwen2.5-32B-Instruct-AWQ大约慢了17%,不知道这是不是正常的,想咨询一下有没有别的佬友遇到该问题
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/635169/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888