AI论坛 AI论坛 beta

CyDione 在 解决vllm推理QwQ-32B在OpenWebUI无法正确折叠思考过程的问题 中发帖

📌 📄 内容摘要: CyDione 在 解决vllm推理QwQ-32B在OpenWebUI无法正确折叠思考过程的问题 中发帖 蒸馏的deepseek-R1-32b-gguf及用vllm也有同样的问题,应该也适用吧 第一步:vllm命令中加入**–enable-reasoning --reasoning-parser deepseek_r1** 第二步:openwebui添加 @he0119的函数https://openwebui.com/f/he0119/reasoning并开启全局 [image] over
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/475523/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888