AI论坛 AI论坛 beta

ZTurboX 在 Qwen3.5-27B部署 中发帖

📌 📄 内容摘要: ZTurboX 在 Qwen3.5-27B部署 中发帖 Qwen3.5-27B使用vllm部署,官方文档和vllm文档中命令好像不太一样,该如何使用命令启动服务,使模型具备较高的吞吐量和低延迟 官方文档: python -m sglang.launch_server --model-path Qwen/Qwen3.5-27B --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --tool-call-parser qwen3_coder vllm文档: vllm serve Qwen/Qwen3.5-397B-A17B-FP8 \ -dp 8 \ --enable-expert-parallel \ --mm-encoder-tp-mode data \ --mm-pr...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1681201/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888