📌 📄 内容摘要:
ee (@qwe_ewqqq) 在 newapi 怎么支持vllm部署的rerank模型 中发帖
佬们好！请教一些技术问题~
vllm 部署了bge-v2-m3的rerank模型（以–task score形式）
在0.6.0.3版本的new-api中指定端口和api-key可以获取到当前的模型，但是点击测试就会报一段很长的错误，好像是没有被调用，这个应该怎么解决呢？有遇到过相关问题的大佬么，请求大佬指点一二！ 🥲
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/584296/1
─────────────────────────────
📢 来源：LINUX DO
