AI论坛 AI论坛 beta

@Piscesbody 在 [Qwen3.6]27B-FP8 SGLang本地部署-venv dev经验分享。 中发帖

📌 📄 内容摘要: @Piscesbody 在 [Qwen3.6]27B-FP8 SGLang本地部署-venv dev经验分享。 中发帖 上集回顾[Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 环境: WLS2 Ubuntu22.04 硬件: 4090 48G SGLang太佛系了,快一个月了还不更新正式版,需要好好挖掘pr。目前已经找到4090 48G本地部署的版本。 我测试了两个模型。以及DFlash加速方案。 模型: 官方FP8 Qwen/Qwen3.6-27B-FP8 · Hugging Face HuiHui edp1096/Huihui-Qwen3.6-27B-abliterated-FP8 · Hugging Face 均支持MTP 加速,以及DFlash加速。 SGlang venv环境部署: uv venv sglang-dev --python 3.12 source sglang-dev/bin/activate #Ubuntu 可能遇到环境依赖问题,选择性安...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/2106537/1
─────────────────────────────
📢 来源:LINUX DO | 标签:#Ubuntu

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888