AI论坛 AI论坛 beta

黑格尔 (@kkk2) 在 openwebui联网搜索另一个很卡的原因找到了 中发帖

📌 📄 内容摘要: 黑格尔 (@kkk2) 在 openwebui联网搜索另一个很卡的原因找到了 中发帖 慢的一个原因是外部模型,要选输出快的,这个用来生成搜索关键词 [image] 另外一个原因,是他每次交给嵌入模型都是同步操作的,这可以从时间顺序看出来。 [image] 还有就是如果选了重排,模型只能在vps上运行,我甲骨文4c24g输出非常慢,会卡很久。 可以看到cpu爆红了。 [image] 所以要想快,只能用默认的嵌入模型,但是质量就很一般了。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/482201/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888