AI论坛 AI论坛 beta

xiaoshan (@podman) 在 Kakfa 消息积压问题 中发帖

📌 📄 内容摘要: xiaoshan (@podman) 在 Kakfa 消息积压问题 中发帖 blcs 性能问题: 一个同步mysql数据到es中系统,通过监听binlong,发送Kafka消息,消费者记录变化,然后同步es中 问题就出现在这个Kafka这,有个批处理会执行一段时间,期间会更新较多表数据,需要同步到es中,因为短时间内,生产者速率大于消费者速率了,导致消息积压,然后es中数据滞后了,导致了一些依赖es业务展示出问题了 Kafka配置:三个分区,三个消费者 如何优化这个短时间内大量消息消费问题: 1、增加分区,增加消费者 2、因为批处理不是每天执行,考虑成本问题,可能分区都加不了,还有没有其他方案,降低延迟到秒级别
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/662540/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888