📌 📄 内容摘要:
nite07 在 litellm proxy 感觉卡卡的，佬们都用什么管理公益中转站 中发帖
先简单介绍一下，litellm proxy 是一个工具，可以把不同AI厂商的大模型统一成一套接口来用，并且有模型名称映射、自定义条件路由等功能。功能做的挺不错的，但是高强度用了一下感觉它的 web ui 卡卡的，新增模型也不方便，每次改配置都需要重启服务，而且它服务启动的速度还巨慢。
此外我尝试了 new-api，但是遇到一个问题，不同公益站里相同模型的命名不同，new-api 没有办法很好的路由请求，我发现 github 已经有了这个 issue
我还尝试了 bifrost 和 Portkey，它们的大部分功能都必须是企业版才能用，所以没有深入研究。
佬友们都用什么好用的工具啊。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1674959/1
─────────────────────────────
📢 来源：LINUX DO
