kafka分区消费不均衡

kafka分区有12个,有9个be,所以routine load显示当前并行度为9,发现kafka有2个分区消费延迟非常大,导致丢数据。之前其他分区没有lag,但有2个分区lag达到好几亿。


看现象,像是消费不均衡,请问怎么解决呢?
【业务影响】
【StarRocks版本】例如:2.1.12
【集群规模】例如:3fe+9be
【机器信息】CPU虚拟核/内存/网卡,例如:48C/64G/万兆

您好 麻烦确认下使用的是哪个版本?

2.1.12版本,有啥解决方案么

应该是调度的问题,可以适当调大这两个参数看看

max_routine_load_task_concurrent_num 5 每个 Routine Load 作业最大并发执行的 task 数。
max_routine_load_task_num_per_be 5 每个 BE 最大并发执行的 Routine Load task 数,需要小于等于 BE 的配置项 routine_load_thread_pool_size

我们配置是已经调大了的了。max_routine_load_task_num_per_be=30
max_routine_load_task_concurrent_num=20 routine_load_thread_pool_size = 50

还是会出现这样

消费不过来的话,你可以起2个任务每个任务消费6个分区看看

不是消费不过来, 是有个别分区不消费。如果是消费不过来,应该每个分区都延迟差不多。

您看张图