📌 📄 内容摘要:
shock (@seanzhao) 在 求推荐一个 AI 渠道聚合代理 中发帖
万能的佬友们，有没有人使用过AI渠道聚合代理的。
能将多个渠道的同类模型聚合成一个端点供业务测调用；并且支持失败/超时 重试，支持观测渠道链路质量并且自动屏、切换的。
我们的业务对于模型的并发要求不算高， 但是对于速度比较敏感，部分模型厂商在高峰期会有很高的返回延迟，我们希望能自主探测并且切换到其他模型渠道。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1296026/1
─────────────────────────────
📢 来源：LINUX DO
