AI论坛 AI论坛 beta

@chunkBurst 在 记一次解决OpenWebUI卡的飞起的经历 中发帖

📌 📄 内容摘要: @chunkBurst 在 记一次解决OpenWebUI卡的飞起的经历 中发帖 前情提要:Openweb ui 你让我陷入疯狂! 因为使用Openwebui的问题让我开始发癫 当时佬们给了很多的方案,于是我开始尝试各种方法 首先是尝试换用其他应用,例如LobeChat,但是其对权限的隔离不足(毕竟有私有模型需求) hivechat:没有联网搜索和代码解释器,还得观望 next:没有多用户 /back 然后便是用回: OpenWebUI 😡 尝试用New-api中转:仍然没有解决问题,还是卡顿 然后开始owu+pg的方案:确实解决了很大的性能问题(模型列表(models接口)加载从10+秒变成了2秒,确实比sqlite快了很多) 然后我开始从Nginx和服务器本身开始着手: 开启BBR (我居然忘了开局给海外VPS开BBR属实难绷) BBR直接让我的速度起飞🚀,延迟降到1s内(models平均760ms) 内容压缩 (6级) + 缓存规则(...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/446236/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888