AI论坛 AI论坛 beta

@LeftRigid 在 手动修复RagFlow的vLLM重排模型调用问题 中发帖

📌 📄 内容摘要: @LeftRigid 在 手动修复RagFlow的vLLM重排模型调用问题 中发帖 在使用RagFlow 0.17.2版本镜像尝试调用vLLM部署的重排模型(例如BAAI/bge-reranker-v2-m3)时,可能会遇到一些小麻烦,界面上会弹出以下错误提示。经过排查,这通常是RagFlow调用逻辑的问题,而非vLLM部署的锅! [image] 如果你也遇到了类似问题,除了耐心等待官方版本更新或者尝试切换到nightly发布通道镜像外,这里还有一个临时的解决方案——手动修改容器内的代码。可以参考以下PR中的思路。 Fix: rerank with vllm issue. 接下来,我将以Docker Desktop为例,带你一步步完成操作。如果你不熟悉Docker Desktop也没关系,等效的操作可以询问ChatGPT,或者直接使用docker exec命令,效果是一样的。 首先,让我们打开Docker Desktop,找到RagFlow的容器列表,准备开始我...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/544911/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888