AI论坛 AI论坛 beta

BenjaminAaron 在 佬们codex的api并发怎么处理的呢 中发帖

📌 📄 内容摘要: BenjaminAaron 在 佬们codex的api并发怎么处理的呢 中发帖 这几天做了个codex公益api,目前随着使用人数增多遇到一些问题。 目前是cpa号池+claude code hub来做路由和分发,目前是搭建在一个ovh杜甫上,cpu是e3-1270v6 ,32g运行内存 目前的问题是,如果cch同时在线sessions在1300以上,cpa和cch就容易都吃不消,cpa这边好想,大不了再多拆两台机器负载均衡一下,我后台看机器其实没有满载的(实际负荷大概30%左右),但是cch卡顿比较严重(不过貌似没有影响核心调度) 正常情况下首字1500ms以内就能出,今天晚上最卡的时候首字直奔一二十秒去了 之前看到有佬用sub2api,不知道这个易用性和高并发下的支持如何呢 现在初步是准备把cpa号池拆到不同的机器看看情况 想问问佬们的建议 (当然我也怀疑有人在压测,因为session的在线数量变化非常快,例如前一秒同时在线sessions六百左右,...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1710461/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888