flink-connector连接器导出数据卡在最后

flink-connector导出数据写进es,中间都是正常,到最后几条的时候一直卡着,然后报错,未找到原因

目前的数据量是十几万条列转行5000条的数据后写出,会卡在4995条,小数据量没遇到过,之前写入过50w,这个错误就会随机出现,不过基本都会在半小时左右出现,初步来看可能是在做checkpoint的时候,并行读取be可能比较快导致了某个be的instance的context id没有获取到,建议官方找找这个连接器做ck的时候是否有问题


简单看了一下源码,flink-connector是按照批次去扫描的吧,如果数据量有限或者有延时,扫描到的数据可能不在某个批,然后一直去找就找不到,就会报错,不知道sr内部有没有对此进行处理。
因为很多人用这个连接器,都是用它导入,前期数据在flink的分布式快照可以搞好,在导出就不太一样了,希望sr的同学能关注一下,十分感谢


在这个过滤条件下跑了两次,一次完全成功,一次失败,问题是随机出现的