FROM KAFKA
(
“kafka_broker_list” =“k1:9092,k2:9092,k3:9092”,
“kafka_topic” = “topic”,
“property.kafka_default_offsets”=“OFFSET_BEGINNING”,
“property.group.id” = “groupId”
);
大佬们，帮忙看下，配置了OFFSET_BEGINNING 和group.id 为啥删除routine load 后再重建(group.id不变)会导致从起始位置开始消费，不会从消费者组的已消费的位点接着消费
因为配置了从头开始消费，就会从beginning开始消费，把这个配置去掉再重建任务看看
文档上说默认的是OFFSET_END ，发现有个问题就是，这个在删除routine load 到重建routine load 期间，kafka生产者产生的消息不会消费了，导致丢消息。
昨晚想了一个方案，就是自己配置消费点位，先暂停（pause）routine load，记录此时已经消费到的OFFSET位置再删除routine load，然后在重建routine load 的时候指定分区的OFFSET（不过这个方案比较麻烦的就是如果分区数过多，需要配置每个分区的OFFSET）
嗯嗯，也是建议这么做的，暂停后旧任务后 可以直接复制下来所有kafka分区的offset，创建新任务的时候复制过去调一下格式就好