AI论坛 AI论坛 beta

mass4ia 在 用CCR分流降低RPM,复杂多routing时代到来 中发帖

📌 📄 内容摘要: mass4ia 在 用CCR分流降低RPM,复杂多routing时代到来 中发帖 对 CCR 2.0 进行了超前开发了一个 monitor plugins,监控不同 router,不同 provider + model 被路由到不同服务商,不同模型(见后面截图) 有这么几个发现: claude code 默认发出 haiku request,无论你主模型选什么,它都存在 cc 发出的 haiku request 甚至可以数量上达到主模型的同等数量,甚至2倍 wong 随时跑路 等公益站的 RPM 限制是比较容易触碰到限制,而表现 429 拒绝服务的 通过使用 CCR 将 background 路由设置为非同一个供应商(公益站)可以大大降低 RPM 压力,我这里使用的是第三方提供的 glm−4.7,实际上就是替代 CC 默认的 haiku,处理质量是没什么问题的,而且我判断 haiku 也不与主模型共用 cache,不用考虑节约费用或者质量 @pDJJq 在这里提出 ...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1447337/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888