AI论坛 AI论坛 beta

害你的猪 (@zhousp666) 在 本地部署的Qwen3.5-9B-AWQ打开思考模式在终端对话总是会输出完整的</think>而不折叠隐藏 中发帖

📌 📄 内容摘要: 害你的猪 (@zhousp666) 在 本地部署的Qwen3.5-9B-AWQ打开思考模式在终端对话总是会输出完整的而不折叠隐藏 中发帖 我需要思考模式,但是不像其他在线模式那样思考过程会折叠 像下面只是发了一个"你好",他连思考过程都返回完整的输出在终端上 #启动方式如下 vllm serve /root/models/huggingface/Qwen3.5-9B-AWQ \ --served-model-name Qwen3.5-9B-AWQ-Thinking \ --tensor-parallel-size 2 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --trust-remote-code \ --host 10.1.1.128 \ --api-key 123456 \ --port 8000 [image] [image] 下面是使用硅基流动在线的模型,思...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/2132659/1
─────────────────────────────
📢 来源:LINUX DO | 标签:#启动方式如下

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888