AI论坛 AI论坛 beta

深圳小王子 (@xiaowz) 在 如何优雅解决第三方 AI 并发限制?Spring + Vue 项目真实场景求教 中发帖

📌 📄 内容摘要: 深圳小王子 (@xiaowz) 在 如何优雅解决第三方 AI 并发限制?Spring + Vue 项目真实场景求教 中发帖 我最近在给公司内部做一个平台,技术栈是 Spring Boot + Vue,主要集成了多个第三方 AI 服务(即梦、可灵、豆包等)。 平台使用人数不算多,但是遇到了一个比较棘手的问题: 每个服务都是单账号调用,各自都有并发限制。比如说即梦只有一个key,可灵只有一个key。 比如同一个 key 只能 QPS 1~3,或者有严格的 rate-limit。几个人同时使用时就容易触发限流,体验很差。 我现在的思路 因为平台是内部用,并发规模不大,所以不想上 RabbitMQ、Kafka 这种重量级方案。 我目前想到的是: 用 Redis 做一个轻量级排队系统: 1.每种 provider 的 key 设置一个并发上限(比如 1 或 2) 2.达到上限时,把请求 push 到 Redis 队列 3.消费端用一个简单的 Lua + 定时消费去拉取 4.实现类似「排队 → 执行 ...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1211052/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888