📌 📄 内容摘要:
@zshuai 在 模型压力测试工具调研 中发帖
老板让调研一下业界有什么模型压力测试工具，我整理了一些，佬友们有无从事相关方向工作的？
类别
工具名称
核心支持指标
适配后端 / 推理框架
支持模型类型
归属 / 维护方
官方榜单
框架原生
vLLM Benchmark
首字速度、生成速度、总时延、吞吐量、并发能力
vLLM 原生，也能测 OpenAI 兼容接口
主流 LLM，部分 pooling 场景
vLLM 官方
无
框架原生
GuideLLM
更偏生产视角的压测；看 TTFT、ITL、总时延、吞吐拐点、SLO/SLA 是否达标
OpenAI 兼容服务、vLLM-native
主流 LLM，也支持多模态输入数据
vLLM 项目
无
框架原生
SGLang Bench
单批/服务压测、延迟、吞吐、Profiling 分析
SGLang 原生
LLM、VLM/多模态
SGLang 官方
无
框架原生
Ge...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1842677/1
─────────────────────────────
📢 来源：LINUX DO
