📌 📄 内容摘要:
xiniah 在 OpenWebUI的响应速度竟然与外部模型有关 中发帖
话说今天突然遇到 OpenWebUI 输出需要 10s + 以上，
[image]
去看 newapi 后台首字也才零点几秒，也没有出现渠道重试。然后又去渠道提供商那里看，也是首字时间很低。
[image]
接下来就是漫漫的 DEBUG 之旅…
1. 网络
首先看浏览器的开发者工具发现 **/completions** 的请求等待时间极长
[image]
然后用 curl 测试了以下几个内容
本地 -> 服务器 0.5s
服务器 -> 供应商 0.5s
本地 - > 供应商 0.5s
都没出现问题… 说明不是网络出现的问题
2. 日志
通过 1panel 的容器日志查看，我观察了生成对话时日志的反应，发现在发送对话请求后，日志会在这里卡一会（下图的红色箭头）
[image]
难道是获取模型时比较慢？
我又在 newapi 中将它对应 key 的模型限制为只...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/266130/1
─────────────────────────────
📢 来源：LINUX DO
