📌 📄 内容摘要:
loouis 在 分享一个自用的LLM API性能测试工具 中发帖
一直没找到易用直观的LLM API性能测试工具，索性自己做了一个，目前自用很稳定
优点
无需安装，下载即用
体积小，速度快
输出直观
快速开始
Linux
# 下载并赋予可执行权限
wget https://github.com/Yoosu-L/llmapibenchmark/releases/download/v1.0.2/llmapibenchmark_linux_amd64
chmod +x ./llmapibenchmark_linux_amd64
# 将 base_url 替换为你的 api 服务 url，以v1结尾
# 这条主要测试总解码速度（生成吞吐）可达到的最大值，场景为短输入长输出，并发默认从1 -> 128
./llmapibenchmark_linux_amd64 -base_url=https://your-api-endpoint.com/v1
# 将 ...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/452683/1
─────────────────────────────
📢 来源：LINUX DO
