📌 📄 内容摘要:
sususu 在 vLLM 本地部署 Qwen/QwQ-32B-AWQ 求指导 中发帖
硬件：单卡4090
目前使用的参数
vllm serve Qwen/QwQ-32B-AWQ --quantization awq \
--enable-reasoning --reasoning-parser deepseek_r1 \
--api-key token-xxx
有懂 vLLM框架的佬友来指导下嘛
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/477534/1
─────────────────────────────
📢 来源：LINUX DO
