AI论坛 AI论坛 beta

PPKun 在 [开源] Berry API - 负载均衡AI网关 中发帖

📌 📄 内容摘要: PPKun 在 [开源] Berry API - 负载均衡AI网关 中发帖 项目地址: 简介 面对多个api供应商,创建多个配置在chatbot里显得杂乱麻烦,使用new-api统一又有点过于复杂和庞大,因此开发berry-api。 berry-api可以对多个渠道的api进行负载均衡,并且可以手动映射模型到指定名字 为了轻量和简洁,只支持了OpenAI格式的后端和请求(毕竟大部分用的还是new-api的上游) 代码超一半使用augment编写 是否支持thinking不太清楚,但是因为是直接转发的,并没有修改请求内容,应该决定于上游 并没有测试过,目前自己用着还行,也没有实际压测过 其实就是自己写着玩玩的小项目 😂
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/707634/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888