AI论坛 AI论坛 beta

@Piscesbody 在 【SGLang】4090 48G魔改 部署 Qwen3.5-27B-FP8 一些心得经验分享。 中发帖

📌 📄 内容摘要: @Piscesbody 在 【SGLang】4090 48G魔改 部署 Qwen3.5-27B-FP8 一些心得经验分享。 中发帖 先介绍环境: 4090 48G i5 13600k ddr4 32Gx4 win11 LTSC WSL2 Ubuntu22.04 目前性能结论(个人感受): 4并发,单路50-60tok/s,kvcache fp8 310k缓存池子,显存总占用~46G。 主要使用环境openclaw、opencode 工具tools遵循度完美,长任务执行完美。 不建议使用社区微调的opus、gguf、或者其他非官方版本。(我全踩过,都没有官方的好使!!!) 长时间使用无任何断流、tools调用出错等情况出现。 ———————————————————————————————————— SGLang 部署在WSL2 Ubuntu22.04中(后续为了简化,我只写WSL2)。 虚拟环境部署比docker容器部署在prefill阶段高10%性能。(如果为了省事,直接docker) 1...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1874426/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888