📌 📄 内容摘要:
ee (@qwe_ewqqq) 在 new-api如何连接vllm本地部署模型服务 中发帖
各位佬好，打扰大家！
我在我本地使用vllm部署了deepseek，以及bge-m3的模型服务。同时还部署了new-api的服务。我打算使用new-api来做中台管理这些模型服务，统一出口。但是new-api怎么连接本地模型的服务呢？有没有佬有相关的经验？还得请佬们多多指点！ 🙏
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/507729/1
─────────────────────────────
📢 来源：LINUX DO
