两个routine load任务,使用相同groupid消费组,消费同一个topic,入库数据翻倍

【详述】两个routine load任务,使用相同groupid消费组,消费同一个topic,入库数据翻倍。正常应该同一个消费组的,只会消费一次,不会消费多次?
【背景】下面做了测试,发了一条数据,入库确实两条。
【业务影响】
【StarRocks版本】:1.19.1
【集群规模】4fe+11be(fe与be混部)
【机器信息】
【附件】


c1c7ea34c5aa9955a0ca33f77e4e77c

您好,偏移量sr会自己保管一份,所以启动多个任务会消费多次。如果想增大导入效率,可以增加topic的分区,创建不同的routine load任务去消费不同范围的分区。

1赞

3.0按照你的做法,只能消费一个topic,一个分组下的数据,另外一个不起作用。这种场景业务上规避掉!!!