AI论坛 AI论坛 beta

@thelamb 在 交流一下自用部署的api管理工具,顺便求推荐 中发帖

📌 📄 内容摘要: @thelamb 在 交流一下自用部署的api管理工具,顺便求推荐 中发帖 最近想把手上的一些公益站、硅基、火山的渠道统筹一下,免得导出管理key啥的。部署了几个工具都不太理想。 比较流行的newapi,每个渠道加进去后,不同渠道的相同名称模型不能区分渠道商,要不就需要在渠道配置这里配置重定向,把模型名称改成好区分的。虽然可以找ai帮忙写这个配置,但是类似硅基这种,获取的模型太多了,而且很多没必要加进来了,就需要自己再筛一遍。newapi配置渠道可用模型这块工作量有点大,而且上游什么时候加新模型还要自己加。 另外部署了个octopus,这个优势就是渠道只管加渠道进去,然后在创建模型里配置聚合的各种渠道里的模型id,好处就是可以按自己喜好来组装对外的模型名称。上游加了什么新模型之后,需要在在模型管理这边配置增加就行。目前也是这个项目比较符合我的使用习惯,但是目前可能遇到的一个问题时这边的负责均衡规则或者性能不知道如何,大部分模型我都配置成了故障转移。 PS另...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1570260/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888