AI论坛 AI论坛 beta

@douglarek 在 大家部署的 Qwen3.5-27b 的性能如何 中发帖

📌 📄 内容摘要: @douglarek 在 大家部署的 Qwen3.5-27b 的性能如何 中发帖 抽空对 sglang 部署的 qwen3.5-27b-fp8 做了个简单的性能测试(输入 4096 tokens,输出 2048 tokens,并发数 10,共 100 个请求,默认部署的模型开启了 thinking),摘要如下: ============ Serving Benchmark Result ============ Backend: sglang Traffic request rate: inf Max request concurrency: 10 Successful requests: 100 Benchmark duration (s): ...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1804890/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888