📌 📄 内容摘要:
ee (@qwe_ewqqq) 在 open-webui怎么设置外部重排序模型？ 中发帖
佬们好！发个求助的帖子！
open-webui支持了设置外部的重排序模型，于是我就本地使用vllm跑了bge-reranker-v2-m3，将模型接入了open-webui，但是我发现利用知识库进行外部排序时，重排序模型并没有起作用，vllm的日志显示每次POST都是404 Not Found，接着排查open-webui的日志显示AttributeError:‘NoneType’ object has no attribute ‘tolist’，其实就是重排序模并没有真正的进行排序得出分数！ :tieba_087:
有没有已经应用成功的佬呢？我该如何进行配置？还是运行vllm的重排序模型的指令有问题？请教各位！ 🫡
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/737961/1
─────────────────────────────
📢 来源：LINUX DO
