AI论坛 AI论坛 beta

konglquan 在 求助 clickhouse 大佬 中发帖

📌 📄 内容摘要: konglquan 在 求助 clickhouse 大佬 中发帖 clickhouse使用kafka引擎,再通过视图入到本地表 入数据的过程中,kafka出现堆积(2000w)这个时候clickhouse本地表有1000w, 这个时候kafka里面有数据,clickhou也不去拉数据,半天才回拉一次,一次拉几百万这种 观察cpu占用只有在拉数据的时候clickhouse才能占满cpu(1000%),不拉的时候很低就想在歇着一样(20%) 这种怎么解决,是要改什么配置吗? kafka引擎配置 kafka_num_consumers = 10, --消费者数量 kafka_commit_every_batch = 1, – 0全部写入后再提交 1同步提交 kafka_skip_broken_messages = 65409, – 避免因坏数据阻塞消费 kafka_thread_per_consumer = 1;-- 每个消费者的处理线程 ...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/645320/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888