AI论坛 AI论坛 beta

半夏 (@Scyu) 在 请教关于newapi模型加载的一点疑问 中发帖

📌 📄 内容摘要: 半夏 (@Scyu) 在 请教关于newapi模型加载的一点疑问 中发帖 众所周知,openwebui每次都要重新加载模型,而且如果某个渠道出问题,轻则卡半天重则卡死。 我在openwebui前面套了一层newapi,方便管理各个渠道。 我现在的疑问是, OpenWebUI 重新加载模型时如果通过 newapi中转,那加载模型的流程是怎样的? 我理解的第一种方式是 OpenWebUI 每次进入时,向 newapi 发起请求,要求加载模型。 newapi 接收到请求后,分别向各个渠道的 API 请求加载模型。 newapi 将各个渠道的模型加载结果整合后,返回给 OpenWebUI。 我猜测的第二种方式是Newapi有缓存机制 OpenWebUI 每次进入时,直接在 newapi 中加载模型。 newapi 已经预先整合了各个渠道的模型,直接返回给 OpenWebUI。 麻烦知道他工作流程的佬解惑一下。如果是第一种,我就要删掉一些不那么好用的渠道了。...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/464443/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888